關于神經網絡權重初始值的設置的研究

• • 一、權重初始值
  • 二、權重初始值會影響隱藏層的激活值分布
  • 三、Xavier初始值
  • 四、He初始值
  • 五、基于MNIST數據集的權重初始值的比較

一、權重初始值

權值衰減—抑制過擬合、提高泛化能力。

所謂權值衰減，即，以減小權重參數的值為目的進行學習。

所以說人們一開始，就想把權重初始值設置的比較小。

那如果權重初始值全設為0或者一樣的值呢？那可不行，如果輸入層權重為0，那么第二層神經元都到的全是0，如果第二層是乘法節點，拿上圖舉例子，x=y=0，所以返回來的兩個梯度是一個樣的。就沒意義了。所有權重共同進退有何意義？權重共同進退，術語叫做權重均一化。

二、權重初始值會影響隱藏層的激活值分布

先看斯坦福大學做的一個實驗：

向一個5層神經網絡傳入隨機生成的輸入數據，用直方圖繪制各層激活值的數據分布。

實驗目的是通過改變標準差，觀察激活值的分布如何變化。

實驗代碼：

這個實驗各層激活值的結果保存在activations變量中。

import numpy as np import matplotlib.pyplot as pltdef sigmoid(x):return 1 / (1 + np.exp(-x))def ReLU(x):return np.maximum(0, x)def tanh(x):return np.tanh(x)input_data = np.random.randn(1000, 100) # 1000個數據 node_num = 100 # 各隱藏層的節點（神經元）數 hidden_layer_size = 5 # 隱藏層有5層 activations = {} # 激活值的結果保存在這里x = input_datafor i in range(hidden_layer_size):if i != 0:x = activations[i-1]# 改變初始值進行實驗！w = np.random.randn(node_num, node_num) * 1# w = np.random.randn(node_num, node_num) * 0.01# w = np.random.randn(node_num, node_num) * np.sqrt(1.0 / node_num)# w = np.random.randn(node_num, node_num) * np.sqrt(2.0 / node_num)a = np.dot(x, w)# 將激活函數的種類也改變，來進行實驗！z = sigmoid(a)# z = ReLU(a)# z = tanh(a)activations[i] = z# 繪制直方圖 for i, a in activations.items():plt.subplot(1, len(activations), i+1)plt.title(str(i+1) + "-layer")if i != 0: plt.yticks([], [])# plt.xlim(0.1, 1)# plt.ylim(0, 7000)plt.hist(a.flatten(), 30, range=(0,1)) plt.show()

首先來看，使用的權重初始值是標準差為1的高斯分布時，激活值的分布，w = np.random.randn(node_num, node_num) * 1。

再看使用的權重初始值是標準差為0.01的高斯分布時，激活值的分布：

看到，使用的權重初始值是標準差為1的高斯分布時，激活值偏向0和1的分布。這會導致，隨著輸出不斷靠近0或1，導數的值逐漸接近0，反向傳播中梯度的值不斷變小，最后會消失。這就是所謂的梯度消失。

使用的權重初始值是標準差為0.01的高斯分布時，不會發生梯度消失，但是激活值分布偏向0.5，說明表現力有大問題。如果100個神經元輸出都幾乎相同，那我可以用1個神經元表達100個神經元干的事。術語，所謂的表現力受限問題。

三、Xavier初始值

Xavier提出：如果前一層的節點數為n，則初始值使用標準差為根號n分之一的分布。

代碼里就這句話，w = np.random.randn(node_num, node_num) * np.sqrt(1.0 / node_num)

效果如下：呈現了比之前更有廣度的分布。

Xavier的初始值是以激活函數是線性函數為前提而推導得出。

四、He初始值

Kaiming He提出，當前一層的節點數為n時，He的初始值使用標準差為根號(n分之2)的高斯分布。

我們研究一下激活函數用ReLU時，不同權重初始值下，每一層激活值分布的區別。

權重初始值為He初始值時：

權重初始值為Xavier時：

權重初始值為標準差為0.01的高斯分布時

明顯ReLU更適合用He初始值。因為分布廣度好，表現力好。

初始值為Xavier時，隨層次加深，往0那邊偏，我猜，如果加深網絡，會出現梯度消失現象。

五、基于MNIST數據集的權重初始值的比較

這個對比，揭示了，很多時候，權重初始值的設定關系到神經網絡的學習能否成功。

代碼：

import os import syssys.path.append(os.pardir) # 為了導入父目錄的文件而進行的設定 import numpy as np import matplotlib.pyplot as plt from dataset.mnist import load_mnist from common.util import smooth_curve from common.multi_layer_net import MultiLayerNet from common.optimizer import SGD# 0:讀入MNIST數據========== (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True)train_size = x_train.shape[0] batch_size = 128 max_iterations = 2000# 1:進行實驗的設置========== weight_init_types = {'std=0.01': 0.01, 'Xavier': 'sigmoid', 'He': 'relu'} optimizer = SGD(lr=0.01)networks = {} train_loss = {} for key, weight_type in weight_init_types.items():networks[key] = MultiLayerNet(input_size=784, hidden_size_list=[100, 100, 100, 100],output_size=10, weight_init_std=weight_type)train_loss[key] = []# 2:開始訓練========== for i in range(max_iterations):batch_mask = np.random.choice(train_size, batch_size)x_batch = x_train[batch_mask]t_batch = t_train[batch_mask]for key in weight_init_types.keys():grads = networks[key].gradient(x_batch, t_batch)optimizer.update(networks[key].params, grads)loss = networks[key].loss(x_batch, t_batch)train_loss[key].append(loss)if i % 100 == 0:print("===========" + "iteration:" + str(i) + "===========")for key in weight_init_types.keys():loss = networks[key].loss(x_batch, t_batch)print(key + ":" + str(loss))# 3.繪制圖形========== markers = {'std=0.01': 'o', 'Xavier': 's', 'He': 'D'} x = np.arange(max_iterations) for key in weight_init_types.keys():plt.plot(x, smooth_curve(train_loss[key]), marker=markers[key], markevery=100, label=key) plt.xlabel("iterations") plt.ylabel("loss") plt.ylim(0, 2.5) plt.legend() plt.show()

總結

以上是生活随笔為你收集整理的关于神经网络权重初始值的设置的研究的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。