作者丨紀(jì)厚業(yè)

單位丨北京郵電大學(xué)博士生

研究方向丨異質(zhì)圖神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

引言

推薦系統(tǒng)尤其是深度推薦系統(tǒng)已經(jīng)在工業(yè)界得到了廣泛應(yīng)用，尤其是在電商場景下（如淘寶和京東的商品推薦）。一個好的工業(yè)級推薦系統(tǒng)可以推動業(yè)務(wù)增長帶來大量的經(jīng)濟(jì)效益。那么，工業(yè)級推薦系統(tǒng)的最佳實踐是怎樣的呢？Facebook 的推薦團(tuán)隊在本文給出了他們的答案。
本文詳細(xì)介紹了 Facebook 最新的推薦系統(tǒng)實踐包括特征處理、算法建模、代碼實現(xiàn)和平臺介紹。如此詳細(xì)清楚的論文，可以說是工業(yè)界推薦系統(tǒng)的必讀論文之一。作者也開源了代碼和最優(yōu)超參數(shù)供大家學(xué)習(xí)：https://github.com/facebookresearch/dlrm

模型架構(gòu)

本文所設(shè)計的推薦系統(tǒng)架構(gòu)如 Fig 1 所示。整個模型主要包含：特征工程（包含 spare 和 dense 特征），用于特征建模 Embedding 和 Embedding Lookup，用于特征轉(zhuǎn)換的 NNs，用于特征交互的 Interactions 以及最后的預(yù)測 NNs。

特征表示?Embedding

在實際的推薦場景中，用戶和商品通常都有豐富的特征信息。用戶的特征通常用性別，年齡，居住地等。如何將這些類別特征轉(zhuǎn)為模型可以處理的向量呢。本文的做法是將這些類別特征編碼為 one-hot 的向量，然后通過 embedding lookup 來得到其表示。

以用戶的性別為例，性別男的 one-hot 編碼為?[1, 0] 性別女的 one-hot 編碼為?[0,1]。然后，我們針對性別初始化一個關(guān)于性別的 embedding matrix，該矩陣大小為 2*d，2 代表性別的可能取值，d 代表 embedding 的維度。那么通過 embedding lookup，性別男的 embedding 其實就是 embedding matrix的第一行，性別女的 embedding 就是 embedding matrix 的第二行。通過上述操作，我們就將難以處理的類別特征轉(zhuǎn)化為了神經(jīng)網(wǎng)絡(luò)方便處理的向量。

上述過程得到是類別特征的初始 embedding，我們可以通過 MLP 對其進(jìn)行非線性轉(zhuǎn)換。初始的特征 embedding 會在模型優(yōu)化過程中學(xué)習(xí)到具有區(qū)分度的特征表示。

特征交互?Interaction

在得到特征的表示后，我們通過內(nèi)積等簡單操作實現(xiàn)模型的預(yù)測：

但是，如果我們能夠抓住的描述特征關(guān)聯(lián)性，那么模型的預(yù)測能力可能會進(jìn)一步提升。例如，經(jīng)典的 FM：

特征交叉的好處到底在哪呢？這里給一個形象的例子：經(jīng)度和緯度分開看并不能精準(zhǔn)定位某個地區(qū)，但是當(dāng)經(jīng)緯度結(jié)合起來就可以精準(zhǔn)定位地區(qū)，該地區(qū)的每一部分擁有的類似的特性。

模型預(yù)測?NNs

有了特征的表示及其交互之后，我們可以將其送入到 MLP 中，并利用 Sigmoid 函數(shù)預(yù)測最終的點擊概率。

可以看出，本文所提出的 DLRM 模型其實并沒有很復(fù)雜，但是卻將工業(yè)界的一些實踐方法給出了清晰的介紹。

模型實現(xiàn)

DLRM 實現(xiàn)所需要的相關(guān)接口在 PyTorch 和 Caffe2 中都有實現(xiàn)，見 Table 1。

模型并行

在工業(yè)界的大規(guī)模數(shù)據(jù)下，模型并行是必不可少的一個步驟。DLRM 模型的主要參數(shù)來自于特征的 embedding，后面特征交互和模型預(yù)測部分的參數(shù)其實很少。假設(shè)我們有一億個用戶，如果對其 ID 進(jìn)行 embedding，那么 embedding matrix 就會有一億行，這是一個非常大的參數(shù)矩陣。

對于特征 embedding 部分，這里采用的是模型并行，將一個大的embedding 矩陣放到多個設(shè)備上，然后更新相應(yīng)的特征 embedding。

對于特征交互和模型預(yù)測部分，這里的參數(shù)量相對較少而且用戶/商品的數(shù)量無關(guān)，本文采用的是數(shù)據(jù)并行的方式。在多個設(shè)備上計算梯度，然后將梯度合并來更新模型。

實驗

本文在隨機(jī)數(shù)據(jù)，合成數(shù)據(jù)和公開數(shù)據(jù)上進(jìn)行了實驗。對比算法主要是Deep cross network。整個實驗運行在 Facebook 的 Big Basin platform 上。

具體實驗結(jié)果如下：

可以看出，本文所提出的 DLRM 算法明顯超越谷歌的 DCN。

總結(jié)

本文提出了一種工業(yè)級推薦系統(tǒng) DLRM 并實驗驗證了其優(yōu)越性。同時，作者也給出了工業(yè)界推薦系統(tǒng)的最佳實踐，相關(guān)代碼和超參數(shù)設(shè)置也進(jìn)行了開源。可以說，本文是在工業(yè)界做推薦系統(tǒng)的必讀論文之一。

點擊以下標(biāo)題查看更多往期內(nèi)容：?

• KDD 2019?| 基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的用戶意圖推薦
  

• 深度學(xué)習(xí)推薦系統(tǒng)是否真的優(yōu)于傳統(tǒng)經(jīng)典方法？
  

• 知其所以然：基于多任務(wù)學(xué)習(xí)的可解釋推薦系統(tǒng)
  

• 推薦系統(tǒng)閱讀清單：最近我們在讀哪些論文？
  

• 近期必讀的12篇「推薦系統(tǒng)」相關(guān)論文
  

• 基于小樣本學(xué)習(xí)的意圖識別冷啟動
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結(jié)

以上是生活随笔為你收集整理的工业界推荐系统必读论文：基于深度学习的推荐模型——DLRM的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。