前言

在大規模特征的場景當中，我們通常（2016年之前）是使用將非線性特征應用在線性模型上的做法來實現的，使用這種方式，我們的輸入會是一個非常稀疏的向量。雖然我們要實現這樣的非線性特征，通過一些特征轉化以及特征交叉的方法是可以實現的，但是這會需要消耗大量的人力物力。
這個問題其實我們之前在介紹FM模型的時候也曾經提到過，對于FM模型來說，其實解決的也是同樣的問題。只是解決的方法不同，FM模型的方法是引入一個n x k的參數矩陣V來計算所有特征兩兩交叉的權重，來降低參數的數量以及提升預測和訓練的效率。而在本篇paper當中，討論的是使用神經網絡來解決這個問題。
解決問題的核心在于embedding，embedding直譯過來是嵌入，但是這樣并不容易理解。一般來說我們可以理解成某些特征的向量表示。比如Word2Vec當中，我們做的就是把一個單詞用一個向量來表示。這些向量就稱為word embedding。embedding有一個特點就是長度是固定的，但是值一般是通過神經網絡來學習得到的。
我們可以利用同樣訓練embedding的方式來在神經網絡當中訓練一些特征的embedding，這樣我們需要的特征工程的工作量就大大地減少。但是僅僅使用embedding也是不行的，在一些場景當中可能會引起過擬合，所以我們需要把線性特征以及稀疏特征結合起來，這樣就可以讓模型既不會陷入過擬合，又可以有足夠的能力可以學到更好的效果。

簡介

正如我們之前文章所分享的一樣，推薦系統也可以看成是搜索的排序系統。它的輸入是一個用戶信息以及用戶瀏覽的上下文信息，返回的結果是一個排好序的序列。
正因為如此，對于推薦系統來說，也會面臨一個和搜索排序系統一個類似的挑戰——記憶性和泛化性的權衡。記憶

總結

以上是生活随笔為你收集整理的机器学习从入门到精通150讲（一）-推荐系统经典模型Wide Deep（附部分代码）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。