Wide & Deep 模型是谷歌在2016年發(fā)表的論文中所提到的模型。在論文中，谷歌將 LR 模型與 深度神經(jīng)網(wǎng)絡(luò) 結(jié)合在一起作為 Google Play 的推薦獲得了一定的效果。

官方提供的 Wide & Deep 模型的（簡稱，WD 模型）教程 都是使用 TensorFlow （簡稱，TF ）自帶的函數(shù)來做的特征工程，并且模型也進(jìn)行了封裝，所以如果要簡單驗(yàn)證這個(gè)模型的話，自己用tf直接搭建一個(gè)或許是一個(gè)更好的主意。

所以本文就向您展示了如何自己用 TF 搭建一個(gè)結(jié)構(gòu)清晰，定制性更高的 WD 模型。

---

1.先讓我們來看看wide_deep模型是如何工作的：

上圖左邊是wide模型，對(duì)于右邊是deep模型。可見wide模型就是一個(gè)RL模型，而右邊的deep網(wǎng)絡(luò)隱藏層有三層，神經(jīng)元個(gè)數(shù)分別為256,128,64。

谷歌教程的圖

?

上面的圖示谷歌教程里，可見最后將wide的輸出和deep的輸出進(jìn)行相加。最后用一個(gè)Relu激活函數(shù)，然后輸出最終預(yù)測(cè)。

我自己寫了一個(gè)小小的demo,可以展示這個(gè)過程，思路還是很清晰的，下面我將用自己的demo來解釋這個(gè)過程。

2. demo解析

outline:
我用了三個(gè)函數(shù)，分別為：
wide_model：來建立wide模型
deep_model: 來建立deep模型
build_w_d : 來結(jié)合上面二者進(jìn)行預(yù)測(cè)與反向傳播

1. wide_model函數(shù)解析

下面是我的代碼，用的是TensorFlow框架：
我再代碼內(nèi)部已經(jīng)給了一些注釋，有一定解釋作用

def wide_model(data) :#得到數(shù)據(jù)的長度，即每個(gè)樣例有多少個(gè)輸入len = np.shape(data)[1]#隨機(jī)初始化參數(shù)tf.set_random_seed(1)W = tf.get_variable("W" , [len , 1] , initializer = tf.contrib.layers.xavier_initializer())b = tf.get_variable("b" , [1 , 1] , initializer = tf.zeros_initializer())#前向傳播：Z = tf.add(tf.matmul(data , W) , b)A = tf.nn.relu(Z) #這個(gè)Relu我不知道要不要用。。。# 輸出每個(gè)樣本經(jīng)過計(jì)算的值output = tf.reshape(A, [-1, 1])return output#======分割線由于不要反向傳播,這里wide就寫完了============

值得注意的是：
1.我用的是隨機(jī)初始化，但是我見過用修正方式初始化權(quán)重的，我不知道這個(gè)模型，用那種方式是不是會(huì)更好，所以這里可能會(huì)有錯(cuò)誤。
2.對(duì)于前向傳播完成后，是否需要用一個(gè)relu激活函數(shù)，我也沒有查到什么確切的資料，這也是個(gè)問題。

2. deep_model函數(shù)解析

這里我只做了個(gè)demo,所以我直接用了和之前圖中一樣的隱藏層網(wǎng)絡(luò)層數(shù)（3層），然后神經(jīng)元節(jié)點(diǎn)數(shù)目，我還是用的參數(shù)形式表示，以便于擴(kuò)展。

下面是我的代碼：

def deep_model(data , hidden1 , hidden2 , hidden3) :len = np.shape(data)[1]#隨機(jī)初始化參數(shù)W1 = tf.get_variable("W1", [len , hidden1], initializer=tf.contrib.layers.xavier_initializer())b1 = tf.get_variable("b1", [hidden1 , 1], initializer=tf.zeros_initializer())W2 = tf.get_variable("W2", [hidden1 , hidden2], initializer=tf.contrib.layers.xavier_initializer())b2 = tf.get_variable("b2", [hidden2 , 1], initializer=tf.zeros_initializer())W3 = tf.get_variable("W3", [hidden2 , hidden3], initializer=tf.contrib.layers.xavier_initializer())b3 = tf.get_variable("b3", [hidden3 , 1], initializer=tf.zeros_initializer())# 前向傳播Z1 = tf.add(tf.matmul(data, W1), b1) # Z1 = np.dot(W1, X) + b1A1 = tf.nn.relu(Z1) # A1 = relu(Z1)Z2 = tf.add(tf.matmul(A1, W2), b2) # Z2 = np.dot(W2, a1) + b2A2 = tf.nn.relu(Z2) # A2 = relu(Z2)Z3 = tf.add(tf.matmul(A2, W3), b3) # Z3 = np.dot(W3,Z2) + b3output = tf.nn.relu(Z3) #這個(gè)Relu我不知道要不要用。。。return output

問題：同樣，，，這個(gè)最后的relu我不知道要不要用。

3. build_w_d函數(shù)解釋

下面是代碼：

def build_w_d(deep_input, wide_input, y):dmodel = deep_model(deep_input, 256, 128, 64)wmodel = wide_model(wide_input)#初始化參數(shù)（就是類似于前面函數(shù)的b）central_bias = tf.Variable([np.random.randn()], name="central_bias")# 使用 LR 將兩個(gè)模型組合在一起dmodel_weight = tf.Variable(tf.truncated_normal([1, 1]), name="dmodel_weight")wmodel_weight = tf.Variable(tf.truncated_normal([1, 1]), name="wmodel_weight")#將wide和deep的輸出結(jié)合起來network = tf.add(tf.matmul(dmodel , dmodel_weight) , tf.matmul(wmodel, wmodel_weight))prediction = tf.add(network, central_bias)#計(jì)算cost函數(shù)cost = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=y , logits=prediction))#反向傳播，用了Adam優(yōu)化train_step = tf.train.AdamOptimizer(0.001).minimize(cost)return train_step , cost , prediction

好了，結(jié)合起來就是這樣，這展現(xiàn)了wide_deep模型的基本結(jié)構(gòu)，當(dāng)然，需要得到一個(gè)很厲害的，應(yīng)用級(jí)的模型的話，還需要很多的優(yōu)化與連接措施。

下面貼出幾個(gè)參考資料：
https://www.tensorflow.org/tutorials/wide_and_deep
https://research.google.com/pubs/pub45413.html
https://research.googleblog.com/2016/06/wide-deep-learning-better-together-with.html

?

總結(jié)

以上是生活随笔為你收集整理的TensorFlow搭建简易Wide and Deep 模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。