??多層感知機（MLP）作為最典型的神經網絡，結構簡單且規則，并且在隱層設計的足夠完善時，可以擬合任意連續函數。本文將利用 MLP 實現手寫數字分類的任務。

結構：
??784個輸入層神經元 – 200個隱層神經元 – 10個輸出層神經元。其中，設置 relu為隱層的激活函數，輸出層用 SoftMax 進行處理
Dropout：
??將神經網絡某一層的輸出節點數據隨機丟棄一部分，即令這部分被隨機選中的節點輸出值令為0，這樣做等價于創造出很多新樣本，通過增大樣本量，減少特征數量來防止過擬合。
學習效率：
??因為神經網絡的訓練通常不是一個凸優化問題，它充滿了很多局部最優，因此我們通常不會采用標準的梯度下降算法，而是采用一些有更大可能跳出局部最優的算法，常用的如SGD，而SGD本身也不穩定，其結果也會在最優解附近波動，且設置不同的學習效率可能會導致我們的網絡落入截然不同的局部最優之中，對于SGD，我們希望開始訓練時學習率大一些，以加速收斂的過程，而后期學習率低一些，以更穩定地落入局部最優解，因此常使用Adagrad、Adam等自適應的優化方法，可以在其默認參數上取得較好的效果。

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data'''導入MNIST手寫數據''' mnist = input_data.read_data_sets('MNIST_data/', one_hot=True)'''自定義神經層添加函數''' def add_layer(inputs, in_size, out_size, activation_function=None):Weights = tf.Variable(tf.truncated_normal([in_size, out_size], mean=0, stddev=0.2)) # 定義權重biases = tf.Variable(tf.zeros([1, out_size]) + 0.1) # 定義biasWx_plus_b = tf.matmul(inputs, Weights) + biasesif activation_function is None: # 根據激活函數的設置來處理輸出項outputs = Wx_plus_belse:outputs = activation_function(Wx_plus_b)return outputs'''創建樣本數據''' x = tf.placeholder(tf.float32, [None, 784]) y = tf.placeholder(tf.float32, [None, 10]) keep_prob = tf.placeholder(tf.float32)'''構建MLP''' l1 = add_layer(x, 784, 300, activation_function=tf.nn.relu) # 隱層l1 l1_dropout = tf.nn.dropout(l1, keep_prob) # 對l1進行dropout處理 prediction = add_layer(l1_dropout, 300, 10, activation_function=tf.nn.softmax) # 輸出層'''損失函數''' loss = tf.reduce_mean(tf.reduce_sum((prediction - y) ** 2, reduction_indices=[1]))'''優化器''' train_step = tf.train.AdagradOptimizer(0.3).minimize(loss)'''創建會話并激活部件''' init = tf.global_variables_initializer() sess = tf.Session() sess.run(init)'''訓練''' for i in range(10001):x_batch, y_batch = mnist.train.next_batch(200) # 每次從訓練集中抽出批量為200的訓練批進行訓練sess.run(train_step, feed_dict={x: x_batch, y: y_batch, keep_prob: 0.75})if i % 200 == 0:print('第', i, '輪迭代后：')whether_correct = tf.equal(tf.argmax(y, 1), tf.argmax(prediction, 1))accuracy = tf.reduce_mean(tf.cast(whether_correct, tf.float32))print(sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels, keep_prob: 1.0}))

參考：數據科學學習手札36–tensorflow實現MLP

總結

以上是生活随笔為你收集整理的Tensorflow实现MLP的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。