(資料圖片)
618臨近,各大電商APP的預熱活動已然拉開序幕。對企業(yè)而言,一場活動從策劃到上線,中間經(jīng)過效果驗證,其業(yè)務成本很高。一個好的活動創(chuàng)意從策劃、開發(fā)、到最終發(fā)布,至少會經(jīng)歷幾周實踐,如果中間還經(jīng)歷A/B實驗的小流量效果驗證,會更加耗時耗力。但一個不容忽視的現(xiàn)狀是,很多短期的線上活動很可能前幾次的A/B實驗結(jié)果都是不顯著的,但由于活動排期緊湊、實驗調(diào)試時間短,常規(guī)A/B實驗能為活動優(yōu)化帶來的收益常會收效甚微。
企業(yè)在短周期的活動運營場景中,如何通過快速、低成本的A/B實驗,獲得更好的收益呢?火山引擎A/B測試DataTester推出的新功能——MAB智能調(diào)優(yōu)實驗,可以解決企業(yè)短周期活動運營場景的A/B實驗痛點。
傳統(tǒng)A/B實驗依賴于統(tǒng)計顯著性的經(jīng)典假設檢驗,在實驗期間不能夠變更每個子版本的流量;因此這類實驗需要至少7天的專門預留周期、要有足夠的樣本進入實驗,并且在實驗開始后不能有任何變動,才可能得出顯著結(jié)果。而不同于傳統(tǒng)的A/B實驗,DataTester的MAB智能調(diào)優(yōu)實驗能支持1-2天的短期快速A/B實驗,實驗以整個活動收益最優(yōu)為核心目標,可實現(xiàn)動態(tài)實時的流量調(diào)節(jié)。
通過上述案例可以發(fā)現(xiàn),在兩組實驗中,實際觀測的點擊率(CTR)最高的文案并不太一樣。這意味著,受推送發(fā)布時間、用戶心理等多種不確定影響因素影響,假設以對照組策略(固定均勻分流實驗)作為先導實驗來選擇文案,最終獲得的實驗結(jié)論并不見得可靠。
而如果采用MAB智能調(diào)優(yōu)實驗,企業(yè)只需接入DataTester并啟動所有的標題文案,DataTester會采用智能優(yōu)化能力來進行流量的實時的調(diào)整和分配,企業(yè)的轉(zhuǎn)化效率平均可提升10%以上。而除去推送文案實驗場景之外,有多種營銷活動場景,如落地頁擇優(yōu)、折扣策略擇優(yōu)等,也都能通過DataTester MAB智能調(diào)優(yōu)實驗實時開啟。
DataTester是火山引擎數(shù)智平臺旗下產(chǎn)品,能夠深度耦合推薦、廣告、搜索、UI、產(chǎn)品功能等多種行業(yè)場景需求,為業(yè)務增長、轉(zhuǎn)化、產(chǎn)品迭代,運營提效等各環(huán)節(jié)提供科學的決策依據(jù),目前已服務了美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè)。
據(jù)了解,火山引擎DataTester目前推出了30天免費試用的活動,用戶只要在火山引擎A/B測試官網(wǎng)申請試用,無需企業(yè)認證,一鍵申請即刻開通!(作者:潘樺佑)