文章目錄

• 1.NCF
• • 1.1 問題：基于FM的問題
  • • 問題
    • 動機(jī)：神經(jīng)網(wǎng)絡(luò)替代點積
  • 1.2 NCF模型圖
  • 1.3代碼
• 2. Deep Crossing：微軟：ResNet
• 3.Deep&Cross

1.NCF

1.1 問題：基于FM的問題

問題

FM->MF來自于矩陣分解的思想，所以也有矩陣分解的問題

實際上u1和u4更相似，但沒有交互不代表不想似，而latent space隱式空間考慮的是交互。
所謂潛在因素就是雖然用戶與項目間有交互，但不一定用戶就喜歡了，而沒交互也不代表不喜歡，這就對隱形學(xué)習(xí)帶來了噪音

動機(jī)：神經(jīng)網(wǎng)絡(luò)替代點積

直接使用DNN從數(shù)據(jù)中學(xué)習(xí)交互函數(shù)（以代替MF的內(nèi)積交互部分），從而突破了由于MF表達(dá)時的限制

1.2 NCF模型圖

• GMF:通用矩陣分解，線性部分
  $\widehat{y_{ui}}=a_{out}(h^T(p_u\odot q_i))$
  $p_u$：用戶向量,$q_i$：商品向量？item
  點乘，element-wise

• MLP：非線性部分

• 最終
  $NCF(x)=\widehat{y_{ui}}=\sigma (h^T([p_u\odot q_i,MLP(p_u,q_i)]))$

上述兩者共享Embeding

建議預(yù)訓(xùn)練：通用框架建議使用 GMF 和 MLP 的預(yù)訓(xùn)練模型來初始化NeuMF

初始化很重要：NeuMF的目標(biāo)函數(shù)是非凸的，gradient-based會使得模型陷入局部最優(yōu)

1.3代碼

x = self.embedding(x) user_x = x[:, self.user_field_idx].squeeze(1) item_x = x[:, self.item_field_idx].squeeze(1) x = self.mlp(x.view(-1, self.embed_output_dim)) gmf = user_x * item_x x = torch.cat([gmf, x], dim=1) x = self.fc(x).squeeze(1)

2. Deep Crossing：微軟：ResNet

3.Deep&Cross

Cross+MLP
Cross:處理交叉特征（和FM功能一致）

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的【搜索/推荐排序】NCF，DeepCross,Deep Crossing的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。