在推薦業(yè)務(wù)中經(jīng)常有“既要、也要、還要”的場(chǎng)景，比如做視頻推薦業(yè)務(wù)的時(shí)候既要提升用戶對(duì)于視頻的點(diǎn)擊率，也希望同時(shí)提升用戶觀看視頻的時(shí)長(zhǎng)。面對(duì)這樣的訴求，通常需要在推薦系統(tǒng)中使用多目標(biāo)建模算法。

多目標(biāo)建模目前業(yè)內(nèi)有兩種模式，一種叫Shared-Bottom模式，另一種叫MOE，MOE又包含MMOE和OMOE兩種。MMOE也是Google提出的一套多目標(biāo)學(xué)習(xí)算法結(jié)果，被應(yīng)用到了Google的內(nèi)部推薦系統(tǒng)中，接下來分別介紹下這些多目標(biāo)算法的結(jié)構(gòu)。

算法結(jié)構(gòu)介紹

上圖基本能把Shared-Bottom、OMOE、MMOE講清楚。

Shared-Bottom的思路就是多個(gè)目標(biāo)底層共用一套共享layer，在這之上基于不同的目標(biāo)構(gòu)建不同的Tower。這樣的好處就是底層的layer復(fù)用，減少計(jì)算量，同時(shí)也可以防止過擬合的情況出現(xiàn)。

接著就是MOE類型的算法介紹了，MOE是Mixture of experts的縮寫，也就是說MOE結(jié)構(gòu)的算法底層是有多個(gè)experts組成，這些experts網(wǎng)絡(luò)是彼此獨(dú)立的，最終的輸出結(jié)果其實(shí)是目標(biāo)在多個(gè)experts上的概率分布結(jié)果。MOE可以通過一個(gè)Gate去控制，Gate network也叫門控網(wǎng)絡(luò)，可以控制在不同應(yīng)用場(chǎng)景下每個(gè)expert的參與權(quán)重。OMOE指的是one gate MOE， MMOE指的是multi gate MOE，從字面意思理解，MMOE一定是比OMOE更全面的。

效果說明

?

最終選用MOE結(jié)構(gòu)的算法還是Shared-Bottom結(jié)構(gòu)的呢？其實(shí)取決于業(yè)務(wù)效果。上面一張圖介紹了Shared-Bottom以及OMOE、MMOE在不同目標(biāo)相關(guān)性下的的效果比對(duì)。

不難發(fā)現(xiàn)，無論目標(biāo)Correlation是什么數(shù)值，MOE結(jié)構(gòu)的算法的loss永遠(yuǎn)低于Shared-Bottom類型的，顯然MOE結(jié)構(gòu)更優(yōu)。

而OMOE在目標(biāo)相關(guān)性最高的情況下（Correlation=1）和MMOE的效果相似，其它情況下不如MMOE。也就是說，目標(biāo)相關(guān)性越低MMOE較其它二者的優(yōu)勢(shì)越明顯，相關(guān)性非常高的情況下MMOE會(huì)近似于OMOE。

另外，解釋下相關(guān)性Correlation的概念，可以理解為業(yè)務(wù)正相關(guān)性。比如點(diǎn)贊和踩，這兩個(gè)行為肯定是相關(guān)性很低的，如果一個(gè)模型既要支持點(diǎn)贊率提升，也支持踩提升，一定要選MMOE。比如收藏和點(diǎn)贊，這兩個(gè)目標(biāo)就是相關(guān)性非常高的目標(biāo)。

參考：

[1]https://zhuanlan.zhihu.com/p/55752344?edition=yidianzixun&utm_source=yidianzixun&yidian_docid=0LC8kTgk

[2]https://zhuanlan.zhihu.com/p/145288000

[3]https://www.cnblogs.com/xindi/p/12349940.html

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的推荐业务多目标建模算法介绍：MMOE、OMOE、Shared-Bottom的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。