auuc 评估指标_广告中增益模型理解
由于工作的需要,廣告增益越來越進入到我們的視野當中,收益永遠是廣告主評價廣告投放的重要標準,但是這種收益也慢慢被認為有兩種。
一種是廣告投放所帶來的直接收益,比如用戶A廣告投放后的cvr為3%,用戶B廣告投放后的cvr為2%,我們就會給A用戶投放廣告。
另一種是廣告投放本身所帶來的收益,例如用戶A廣告投放之后cvr是3%,投放之前cvr2.5%,那么我們認為廣告本身所帶來的收益為0.5%,用戶B廣告投放之后的cvr是2%,但是廣告投放之前的cvr是1%,那么我們認為廣告投放本身所帶來的收益為1%,我們最終會把廣告投給B。
以上就是兩種不同收益評價策略。本文我們將重點介紹第二種,廣告投放本身所帶來的收益,即增益。主要從以下4個方面來介紹增益模型。增益模型(Uplift Model)的定義
求解增益模型面臨的問題
增益模型的建模方法
增益模型的評估方法
具體業務問題抽象建模與理解
1.增益模型(Uplift Model)的定義
智能營銷增益模型幫助商家計算人群營銷敏感度,驅動收益模擬預算和投放策略制定,促成營銷推廣效率的最大化。同時如何衡量和預測營銷干預帶來的“增量提升”,而不是把營銷預算浪費在“本來就會轉化”的那部分人身上,成為智能營銷算法最重要的挑戰。增益模型(Uplift model)的定義:增量模型,用于預測/估計某種干預對個體狀態/行為的因果效應。可以形式化為以下等式:
其中,Y表示潛在的后果(比如轉化、點擊等行為),X表示用戶的特征,T表示某種干預。那么應用在廣告營銷中就可以形象的表示為某用戶在經過廣告投放行為之后,用戶發生某種行為(點擊或購買)增加的概率。
補充:在很多介紹增益模型的博客/文章中,提到增益模型是為了幫助廣告主找到營銷敏感人群,但又沒有具體量化給出怎么樣的人群是營銷敏感人群,那我們的增益模型就無從談起尋找營銷敏感人群。我的理解增益模型的作用是計算人群營銷敏感度,具體就是計算每個用戶的增益,再根據廣告主設置的預算以及其它限制看是否對該用戶投放廣告。
2.求解增益模型面臨的問題
模型建模的難點在于我們獲取的訓練數據是不完整的,對于個體用戶來說,我們不可能同時觀測到在有干預和沒有干預兩種情況下的表現,也就是因果推斷中經常提到的反事實的問題。這里解決的方法一般是尋找同質人群,或者我們經常說的鏡像人群,實際的建模可以人為歸檔的某類人群,然后分為對照組(不進行廣告投放)和實驗組(進行廣告投放干預),統計這兩類人在轉化率上的差值,一般可以采用隨機化的A/B Test。
3.增益模型的建模方法
目前提出的建模方法中有三種增益模型的建模方法:Two-Model,One-Model,Modeling Uplift Directly。其中One-Model是目前最常用的方法。下面先分別簡單介紹一下三個模型,然后重點介紹One-Model。
Two-Model:訓練2個模型,首先圈定一個人群(同質人群),里面有被投放廣告的,也有沒有投放廣告的,注意兩個人群(投放廣告與沒有投放廣告)的選取一定要有隨機性。其中未投放廣告的為對照組,投放廣告的為實驗組。對兩個人群分別建模,分別為model1和model2,當新來一個該圈定的同質人群流量,會分別輸入到moedl1和model2分別得到p1和p2,p2-p1就是該用戶流量的增益。
One-Model:與Two-Model最大的區別是訓練是只用訓練一個模型。同樣首先圈定一個人群(同質人群),里面有被投放廣告的,也有沒有投放廣告的,注意兩個人群(投放廣告與沒有投放廣告)的選取一定要有隨機性。其中未投放廣告的為對照組,投放廣告的為實驗組,把是否被廣告干預當作一個特征輸入到模型中,然后與用戶信息以及上下文信息一起訓練一個模型model,當新來一個該圈定的同質人群流量,會分別賦予該流量是否被廣告干預特征T=0和T=1,和該廣告流量對應的用戶信息以及上下文信息一起輸入到model中,得到p1和p2,p2-p1就是該用戶流量的增益。
Modeling Uplift Directly:通過現有的模型內部進行深層次改造來直接刻畫Uplift,目前研究較多的基于數模型的。通過對類似于數模型一樣尋找分類特征來對刻畫treatment組和control組轉化率的差異來表示uplift。這種方法實現成本最大,需要進行大量的優化和改造。
下面重點介紹第二種One-Model模型,下圖是關于One-Model的具體框圖。
圖中,A代表廣告文信息,C代表上下文信息,U代表用戶流量以及用戶自身的信息。可以知道模型統一,保證了數據集的充足。這里最重要的一點是,干預當成了了一個特征,這樣會帶來另外一個便利,T可以等于2,3,...(雖然都是廣告投放,但是可以是不同的廣告投放手段),那么就會給模型的創建帶來更大的便利以解決更多的實際場景。
4.增益模型評估方法
目前常用的增益模型評價方法有三種:Uplift柱狀圖,Qini曲線(AUUC),累計增益曲線。
Uplift柱狀圖
驗證集中,分別將對照組(Control)和實驗組(Treament)預測結果進行排序(按照預測的概率的高低),并分別劃分十等份,對每等份內部求均值(預測概率求均值),然后對應等份相減,得到每等分的uplift值。
Qini曲線
Qini曲線,又稱為AUUC曲線,也是將對照組(Control)和實驗組(Treament)分別分成十份,分別計算對應等份的Qini值,計算方法為:對照組和實驗組中最終預測為1的用戶分別除以總用戶,然后相減,得到該等份的Qini值,具體的公式如下:
其中
是第t等份輸出為1的用戶,
表示對照組和用戶組的總人數,十等份,計算出十個點,繪制折線圖。(注:這里也可以劃分更多的等份,這樣曲線繪制更精確),折現圖如下:
圖中的折線圖為Qini曲線,曲線為random曲線,兩條曲線之間的面積即為AUUC。
累計增益曲線
累計增益曲線是Qini曲線的補充和改進,具體公式如下:
其中,
分別表示第k等份的總流量。累積增益的分母是該k等份的實驗組或對照組人數,并且乘以了
作為全局系數,避免因對照組和實驗組數據不均勻帶來的指標評估失效。
注:當實驗室組和對照組流量數據不均勻時,分兩種情況討論:一是如果數據量本身不大,再加上實驗室組和對照組數據分布不均,則其中一組數據必然很少,這樣再將每組進行十等份,每組的數據就更少,計算比例是會有很強的隨機性,使整個評估指標失效。二是如果數據量本身很大,即使分布不均,兩個組的數據量分別還是很大,由于都是計算比例,所以計算結果還是可靠的。
5.具體業務的抽象問題并建模
基于增益的問題,可以把增益問題抽象為兩層,外是規劃問題,內層是求解增益問題。
其中外層抽象為以下問題:
其中
表示是否贏得第i個流量,
表示第i個流量的增益,
表示第i個流量的贏價,
表示第i個流量的預估點擊率,B/C分別表示預算以及CPC限制。外層問題為在預算以及CPC限制下獲取最大增益的問題。
內層是計算每個流量的增益,如下圖所示
圖中橫坐標表示每個流量,縱坐標表示增益。
最終的解決思路是,在每個流量增益已知的情況下,在預算以及CPC的限制下,求流量的最大增益和。而不是哪個流量增益大就投哪個流量,這是在沒有限制條件的情況下。我們的目的是在B/C在設置條件下,尋找最大的增益和。
《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的auuc 评估指标_广告中增益模型理解的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ftp上传当天文件的方法_五种方法将文件
- 下一篇: android pcm频谱_Androi