查詢速度最高提升50倍!火山引擎ByteHouse在廣告投放領域實踐分享

據QuestMobile報告顯示,移動互聯(lián)網已經進入了下半場,在使用人數和使用時長方面已經沒有明顯增長,互聯(lián)網已經流量趨于飽和。

作為廣告投放主要陣地,由于互聯(lián)網平臺流量紅利逐漸消退,越來越多的廣告企業(yè)和從業(yè)者開始探索精細化營銷的新路徑,取代以往的全流量、粗放式的廣告轟炸。精細化營銷意味著要在數以億計的人群中優(yōu)選出那些最具潛力的目標受眾,這無疑對提供基礎引擎支持的數據倉庫能力,提出了極大的技術挑戰(zhàn)。


(資料圖)

在人群圈選分析中, 分析師一般利用各種標簽組合,挑選出最合適的人群,進而完成廣告推送,達到精準投放的效果。但由于人群查詢在不同標簽組合下的結果集大小不同,在一次廣告投放中,分析師需要經過多次的邏輯調整,以獲得"最好"的人群包。抖音集團擁有廣泛的廣告投放場景,在日常實踐中,我們發(fā)現以下痛點問題:

●首先,數據預估。廣告主需要對選定的人群組合進行預估,以便判斷投放情況并確定投放預算。但廣告平臺用戶越來越多,有的平臺DAU達到上億,使得人群包數據量過大,技術上只能采用1/10抽樣存儲,將導致10%誤差。

●其次,性能問題。為了保證人群圈選精準度,廣告主往往會設定多樣、復雜的人群圈選條件,導致底層計算邏輯復雜,比如單次計算可能包含幾百,甚至上千個人群包。Hive和Elasticsearch等方案在處理大數據量時,查詢速度慢。如果研發(fā)人員查詢某個廣告主的所有用戶,該方案需要掃描整個用戶庫,整個過程需要幾分鐘甚至幾個小時,無法滿足廣告主實時性要求。

●最后,存儲問題。Hive和Elasticsearch等方案需要額外的索引結構,使得存儲空間變大,導致成本增加。

在以往,研發(fā)團隊通常使用兩種方案來解決以上問題:

方案一:將每個人群包存儲為一個Array類型的數據結構,每次查詢需要從Array中找到某一個特定ID。

方案二:使用一個表來存儲用戶ID,在查詢的時使用In/Join計算多個人群的交集。

經過內部長期使用經驗,無論是方案一或方案二,都存在當數據量逐漸增大,查詢速度無法滿足實時分析需求的問題?;诟咝阅?、分布式特點,ClickHouse可以滿足大規(guī)模數據的分析和查詢需求,因此研發(fā)團隊以開源ClickHouse為基礎,研發(fā)出火山引擎云原生數據倉庫ByteHouse,并在其中定制一套處理模型——BitEngine,用于解決集合的交并補計算在實時分析場景中的性能提升問題。

據介紹,BitEngine是一個高效集合數據處理模型,底層基于MergeTree Family存儲引擎,并在此基礎上引入了BitMap64類型,開發(fā)了系列相關運算函數。BitEngine提供的BitMap64類型適合表達具有特定關系的大量實體ID的集合,將集合的交并補運算轉化為bitmap之間的交并補運算,從而達到遠超普通查詢的性能指標。

那么,BitEngine如何應用在人群圈選場景中?舉個例子,廣告主需求為圈選出“人群包A”和“人群包B”的交集人群,完成廣告精準投放。

人群包情況:

●人群包A = [10001, 20001,30001,40001,50001],人群包B = [10001, 20001,20002,20003,20004]

期望結果: 

●通過BitEngine計算A&B = [10001, 20001]

首先,人群包按照一定規(guī)則劃分為多個區(qū)間,任意兩個區(qū)間之間的人群包沒有交集,由BitEngine保障數據的讀取和計算是嚴格按照區(qū)間進行;其次,BitEngine在數據讀取時會為每一個文件構建一個讀任務,由一個線程調度模塊完成整個任務調度和讀??;最后,BitEngine完成所有中間結果計算后,按照結果的輸出要求做一次數據合并,由此完成交集計算。已上線業(yè)務的測試表明,相比普通和Array或者用戶表方式,BitEngine在查詢速度上有10-50倍提升。

BitEngine上線前后查詢耗時監(jiān)控

BitEngine不僅僅在抖音集團海量廣告投放場景中使用,目前更是集成在火山引擎云原生數據倉庫ByteHouse中對外輸出?;鹕揭鍮yteHouse主要為用戶提供極速分析體驗,能夠支撐實時數據分析和海量數據離線分析,具備便捷的彈性擴縮容能力,極致分析性能和豐富的企業(yè)級特性,目前已經與中國地震臺網中心、海王集團、莉莉絲游戲、極客邦科技等諸多行業(yè)企業(yè)達成合作,深度助力各個行業(yè)數字化轉型。(作者:陳升)

推薦DIY文章
當智能健身走向全民化:AEKE輕力量家庭智能健身房引領未來
海藝AI:迎合“AI時代”發(fā)展潮流,刷新繪圖市場傳統(tǒng)認知
布局產業(yè)新高地!海星醫(yī)藥健康創(chuàng)新園B區(qū)奠基儀式隆重舉行
未來五年500億投入打底,北汽藍谷錨定細分市場增量
【展會直擊】華秋慕尼黑上海電子展精彩ing,助力電子產業(yè)高質量發(fā)展!
桂花網藍牙網關助力司乘人員職業(yè)健康監(jiān)測
精彩新聞