作 者：一元 公眾號(hào)：煉丹筆記

背景

許多現(xiàn)有的建模開始基于用戶的歷史行為序列進(jìn)行建模并且取得了相當(dāng)不錯(cuò)的效果,為了捕獲用戶動(dòng)態(tài)和變化的興趣, 我們觀測(cè)到用戶經(jīng)常在某個(gè)時(shí)間點(diǎn)擁有大量的興趣, 與此同時(shí), 潛在的主導(dǎo)興趣是通過行為表現(xiàn)出來的。潛在主導(dǎo)興趣的切換會(huì)導(dǎo)致最終的行為變化。因此,建模和跟蹤潛在的多重興趣將是有益的。本篇文章,我們提出了一種新的方法DMIN(Deep Multi-Interest Network),通過建模用戶潛在的對(duì)于CTR任務(wù)的多興趣,來提升模型的效果。

模型

本文的核心框架如下：

和其它文章不一樣的地方在于,DMIN有兩大核心的組成成份, Behavior Refiner Layer以及Multi-Interest Extractor Layer。

Embedding Layer

此處共存在四組特征:用戶的Profile信息,用戶的歷史行為,上下文信息以及目標(biāo)商品信息。

• 用戶Profile信息：例如用戶的id, 國(guó)家等信息;
• 目標(biāo)商品(Target Item)：帶有特定特征的候選商品,例如item id,類別id,統(tǒng)計(jì)的ctr等信息;
• 用戶歷史行為: 用戶歷史點(diǎn)擊/加購(gòu)/購(gòu)買的商品；
• 上下文信息: 包括時(shí)間,匹配類型,trigger id等;

Behavior Refiner Layer

我們對(duì)用戶的行為序列使用multi-head self-attention來微調(diào)商品的表示。

1. 輔助Loss

在獲得提煉的商品表示之后,我們需要從提煉的商品表示中抽取大量的興趣。我們使用另外一個(gè)multi-head self-attention來獲取這些興趣。

最后我們使用attention單元來捕捉每個(gè)輸出的head和目標(biāo)商品的相關(guān)性,此外,我們加入位置的embedding來引入位置信息,因?yàn)?第h個(gè)用戶的興趣可以被表示為：

最終的Loss

實(shí)驗(yàn)

• Wide & Deep和手工設(shè)計(jì)的特征表現(xiàn)不佳。
• PNN是一個(gè)自動(dòng)學(xué)習(xí)特征間交互的表，它比Wide & Deep要好。
• DIN表示用戶對(duì)目標(biāo)項(xiàng)的興趣，結(jié)果優(yōu)于Wide&Deep和PNN。
• DIEN使用一個(gè)特別設(shè)計(jì)的GRU結(jié)構(gòu)來捕捉用戶興趣的變化，這有助于獲得比DIN更好的興趣表示。
• DMIN在三個(gè)數(shù)據(jù)集中的AUC得分最高，顯示了對(duì)用戶潛在的多重興趣進(jìn)行建模和跟蹤的有效性。
• 輔助損失函數(shù)和位置嵌入的使用帶來了非常大的增益

小結(jié)

針對(duì)CTR預(yù)測(cè)任務(wù)，本文提出了一種新的用戶潛在多重興趣網(wǎng)絡(luò)(DMIN)建模方法。具體地說，我們?cè)O(shè)計(jì)了一個(gè)行為提煉(Refined)層，使用多頭自我注意來捕捉更好的用戶歷史商品表示。然后應(yīng)用多興趣提取層提取多用戶興趣。實(shí)驗(yàn)結(jié)果也驗(yàn)證該方案的優(yōu)勢(shì)。

參考文獻(xiàn)

• Deep Multi-Interest Network for Click-through Rate Prediction:https://dl.acm.org/doi/pdf/10.1145/3340531.3412092

---

總結(jié)

以上是生活随笔為你收集整理的推荐系统炼丹笔记：阿里DMIN多重兴趣网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。