在碎片化閱讀充斥眼球的時代，越來越少的人會去關(guān)注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第?76?篇文章

本期推薦的論文筆記來自 PaperWeekly 社區(qū)用戶 @spider。盡管現(xiàn)在很多工作已經(jīng)把深度學習運用到了推薦的任務(wù)當中，但大多只是利用深度學習給一些輔助信息建模，在表示 user 與item 之間的交互時，仍是使用矩陣分解等用內(nèi)積來建模。

本文是新加坡國立大學發(fā)表于?WWW '17 的工作，作者提出用多層神經(jīng)網(wǎng)絡(luò)給 user 和 item 進行交互建模，并提出了一種基于神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾通用框架 NCF。

如果你對本文工作感興趣，點擊底部閱讀原文即可查看原論文。

關(guān)于作者：黃若孜，復(fù)旦大學軟件學院碩士生，研究方向為推薦系統(tǒng)。

■?論文 | Neural Collaborative Filtering

■ 鏈接 | https://www.paperweekly.site/papers/635

■ 源碼 | http://t.cn/ROuhFZP

論文動機

許多利用深度學習來做推薦的工作 focus 在輔助信息的提取上，而對協(xié)同過濾最關(guān)鍵的元素——user 和 item 之間的交互作用，這些工作仍然利用的是矩陣分解模型，利用 latent feature 的內(nèi)積進行推薦，而內(nèi)積的描述能力是有限的。

Neural Collaborative Ffiltering（NCF）是一種用神經(jīng)網(wǎng)絡(luò)取代這個內(nèi)積部分的技術(shù)，以學到 latent feature 之間任意的函數(shù)關(guān)系。

模型

MF 利用特征向量 pu、qi 的內(nèi)積評估 u 對 i 的偏好：

由于將 user 和 item 映射到了同樣的特征空間，然后使用內(nèi)積也就是兩個向量的 cosine 來衡量相似性；同樣的，我們也可以用內(nèi)積來衡量兩個用戶的相似性。

使用 jaccard 系數(shù)（集合 A 與 B 的交集與并集的比值作為集合的相似度）來作為用戶之間真實的相似程度，那么下面評分矩陣用戶 123 之間 S23>S12>S13，在 latent space 中的幾何關(guān)系如右圖所示，加入用戶 4 時，S41>S43>S42，于是我們讓用戶 4 的特征靠近 1，然而無論怎么放，都無法使用戶 3 比用戶 2 更接近用戶 4。

這就是使用內(nèi)積描述相似度的局限性，我們可以增大 K 來解決這個問題，但是存在過擬合的風險。

下圖是 NCF 的框架，user 和 item 的 id 先經(jīng)過 embedding 層得到一個特征，然后輸入到 MLP 中得到打分結(jié)果，用 pointwise 的目標函數(shù)進行訓(xùn)練：

其中 user 和 item 的 embedding 結(jié)果可以通過逐元素乘積的形式結(jié)合，然后作為 MLP 的輸入，稱為 GMF 模型。

這種情況下 NCF 可以包含 MF（即使用 identity 的激活函數(shù)，同時將隱藏層全部置為 1，可起到內(nèi)積的效果），如果使用非線性的激活函數(shù)，那么比起線性 MF，這個設(shè)置使模型具有更強的表達能力。

此外一個常規(guī)的思路就是講兩個 vector 拼接起來作為 MLP 的輸入，稱為 MLP 模型。本文也提出了一個將這兩種方法融合起來的模型，稱為 NeuMF：

由于本模型使用的是隱式反饋（1/0），如果使用平方誤差函數(shù)：

那么實際上相當于認為預(yù)測的 yui 是以 f(u,i|θ) 為均值的高斯分布，而這樣的假設(shè)顯然是不適合二值的隱式反饋。所以我們可以將待遇測的值看做是一個分類問題，即用戶和項目是否有交互。

使用邏輯回歸進行訓(xùn)練，得到一個二元交叉熵損失，其中 Y- 可以是全部或者部分的負樣本（也會就是負采樣方法）：

實驗

本文在 MovieLens，Pinterest 兩個數(shù)據(jù)集上進行了驗證，使用了 HR@10，NDCG@10 作為指標，使用了 itempop，itemknn，bpr，eALS 作為 baseline：

評價

在 MF 出來之后，一大批用各種方法融合屬性、上下文的基于 MF 的方法冒了出來，這篇 NCF 的方法提出來之后，在最近比較火的 cross domain 等 task 上，已經(jīng)出了一批基于 NCF 的方法，可以說在深度學習浪潮下，NCF 是一代新的基礎(chǔ)模型（之一）了。

本文由 AI 學術(shù)社區(qū) PaperWeekly 精選推薦，社區(qū)目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數(shù)據(jù)挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區(qū)！

點擊標題查看更多論文解讀：?

• ??Tree-CNN：一招解決深度學習中的災(zāi)難性遺忘

• ??深度神經(jīng)網(wǎng)絡(luò)模型壓縮和加速都有哪些方法？

• ??深度強化學習在指代消解中的一種嘗試

• ??綜述：圖像風格化算法最全盤點

• 5 篇 AAAI 2018 論文看「應(yīng)答生成」

• 基于置信度的知識圖譜表示學習框架

▲?戳我查看招募詳情

#作 者 招 募#

讓你的文字被很多很多人看到，喜歡我們不如加入我們

? ? ? ? ? ?

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 查看原論文

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的深度协同过滤：用神经网络取代内积建模的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。