前言

注：以后我的文章會寫在個人博客網站上，本站文章也已被搬運。本文地址：
https://xiaodongfan.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%B3%BB%E5%88%97-%E4%BA%8C-%EF%BC%9A%E5%85%A8%E8%BF%9E%E6%8E%A5%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%92%8CBP%E7%AE%97%E6%B3%95.html

上篇介紹了深度學習框架pytorch的安裝以及神經網絡的基本單元：感知機。本文將介紹全連接神經網絡(FCNet)的結構和訓練方法，全連接神經網絡是一種典型的前饋網絡。感知機解決不了非線性分類問題，但是多層神經元疊加在一起理論上可以擬合任意的非線性連續函數映射。

全連接網絡

全連接網絡是一種前饋網絡，由輸入層、輸出層和若干個隱層組成。如下圖所示，輸入層由$d$個神經元組成，用于輸入樣本的各個特征值；網絡可以存在若干個隱層，每個隱層的神經元個數也是不確定的；輸出層由$l$個神經元組成，$l$就是最后要分類的類別數。因此神經網絡由很多層構成。
神經元之間的連接方式為：同一層之間的神經元沒有連接關系，每一層的神經元和下一層的所有神經元連接。每兩個連接的神經元之間都有一個連接權重，這里記第$i$個神經元和下一層第$j$個神經元的權重為${\omega }_{ij}$。

以上圖中只有一個隱層的神經網絡為例，隱層的第$h$個神經元的輸入可以表示為：
$${\alpha }_h=\sum _{i=1}^d{v}_{ih}{x}_i$$
其輸出則是輸入經過激活函數$f$作用在輸入上，這里取激活函數為Sigmoid函數：
$$sigmoid(x)=\frac{1}{1+e^{?x}}$$
之前我們使用的是階躍函數，Sigmoid也是一個非線性函數，它有一個很好的性質就是它的導數可以用自己本身來表示：
$$y^{\prime }=y(1?y)$$
階躍函數和Sigmoid的函數圖如下：

這樣全連接網絡的輸出計算也就是前向傳播的過程為：首先通過輸入層計算得到第一個隱層的輸出，第$i$個神經元至第$h$個神經元的計算公式為：
$$output=f(\sum _{i=1}^d{v}_{ih}{x}_i)$$
然后通過第一個隱層計算下一個隱層的值，最后傳播到輸出層，最后得到神經網絡的輸出$\hat{\mathbf{y}}=({\hat{y}}_1,{\hat{y}}_2,...,{\hat{y}}_l)$

神經網絡訓練 BP算法

對上面介紹的神經網絡應該怎么訓練呢？應該怎么找到最適合一個數據集分類的各個神經元之間連接的權重${\omega }_{ij}$呢？反向傳播算法（Back Propagation)提供了解決方法。
訓練的思路同樣是梯度下降算法，我們定義一個損失函數$L$，通過朝著損失函數下降最快的方向也就是梯度方向去調整我們的權重系數。損失函數可以為均方誤差：
$$E=\frac{1}{2}\sum _{j=1}^m({\hat{y}}_j?y_j{)}^2$$
接下來的問題就是求損失函數$E$對需要訓練的權重系數的梯度$\frac{?E}{?{\omega }_{ij}}$。

輸出層權重訓練

首先從隱層至輸出層的連接權重${\omega }_{hj}$為例進行推導。這個求梯度的過程就是鏈式求導法則，首先我們分析一下${\omega }_{hj}$是如何影響到我們的損失函數$E$的，${\omega }_{hj}$首先影響了第$j$個輸出層神經元的輸入值${\beta }_j$，然后進而通過激勵函數Sigmoid影響到其輸出值${\hat{y}}_j$，然后影響到$E$。
這個求導過程為：
$$\frac{?E}{?{\omega }_{hj}}=\frac{?E}{?{\hat{y}}_j}\times \frac{?{\hat{y}}_j}{?{\beta }_j}\times \frac{?{\beta }_j}{?{\omega }_{hj}}$$
我們分別來分析這三項：
第一項：
將上面$E$的表達式代入$\frac{?E}{?{\hat{y}}_j}$：
$$\frac{?E}{?{\hat{y}}_j}=\frac{?}{{\hat{y}}_j}\frac{1}{2}\sum _{j=1}^m({\hat{y}}_j?y_j{)}^2=?(y_j?{\hat{y}}_j)$$
第二項：
這一項是神經元輸出對輸入求導，實際上就是Sigmoid求導：
$$\frac{?{\hat{y}}_j}{?{\beta }_j}=y_j(1?y_j)$$
第三項：
這一項是神經元的輸入對權重求導，實際上就等于上一個神經元的值$b_h$:
$$\frac{?{\beta }_j}{?{\omega }_{hj}}=b_h$$
所以根據梯度下降規則更新權重過程為：
$${\omega }_{hj}\leftarrow {\omega }_{hj}?\eta \frac{?E}{?{\omega }_{hj}}$$
$$={\omega }_{j}i+\eta (y_j?{\hat{y}}_j)y_j(1?y_j)b_h=\eta {\delta }_j{b}_h$$
上式中的${\delta }_j$我們定義為：
$${\delta }_j=(y_j?{\hat{y}}_j)y_j(1?y_j)$$

隱層權重訓練

隱層神經元權系數$v_{ih}$首先影響$b_h$神經元的輸入${\alpha }_h$，進而影響輸出。
$$\frac{?E}{?v_{ih}}=\frac{?E}{?b_h}\times \frac{?b_h}{?{\alpha }_h}=\sum _{j=1}^l\frac{?E}{?{\beta }_j}\times \frac{?{\beta }_j}{?b_h}\times b_h(1?b_h)$$
$$=b_h(1?b_h)\sum _{j=1}^l{\omega }_{hj}{\delta }_j$$
至此，我們求出了損失函數對輸出層權重系數的梯度和對隱層權重系數的梯度，然后就可以根據梯度下降算法對我們的網絡進行訓練了。
反向傳播算法原理比較簡單，推到起來由于標號復雜顯得繁瑣，后面我們訓練網絡不怎么關心反向傳播的內部求解過程，因為pytorch提供了自動求導的功能，這一點讓使用者著重于自己的網絡結構構建和參數調節，十分方便！！
花這么大功夫敲公式推導BP算法只是為了讓讀者對訓練的過程有個清楚的理解，接下來在pytorch中實戰一個簡單的全連接網絡。

Pytorch 全連接網絡實現

Pytorch 上手非常容易，這里有個翻譯版的60min入門：https://www.jianshu.com/p/889dbc684622
使用的數據集為Mnist手寫數字，訓練集有60000個樣本，測試集有10000個樣本，首先我們建立一個工程并下載數據集如下：

import torch from torchvision import datasets, transformsif __name__ == '__main__':# Pytorch自帶Mnist數據集，可以直接下載，分為測試集和訓練集train_dataset = datasets.MNIST(root='./data/', train=True, transform=transforms.ToTensor(), download=True)test_dataset = datasets.MNIST(root='./data/', train=False, transform=transforms.ToTensor(), download=True)# DataLoader類可以實現數據集的分批和打亂等train_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=16, shuffle=False)test_loader = torch.utils.data.DataLoader(dataset=test_dataset, batch_size=16, shuffle=False)for i, data in enumerate(train_loader, 0):image, label = dataprint(image.shape)

torch里面有MNIST數據集，所以直接調用datasets.MNIST下載就行了，然后將得到的數據集用DataLoader類裝起來，這個對象參數中的batch_size為每一批的樣本個數，也就是訓練時一次性裝載進內存的數據，shuffle是將數據集順序打亂的操作。
這段代碼的運行輸出：

可以看到打印出的Tensor是四維的一個數組，以后我們進入神經網絡的都是一個四維的Tensor，第一維為batch_size，后面三維為圖像的CWH，也就是顏色通道數和圖像的長寬。MNIST是黑白的數據集，所以顏色通道為1，彩圖為3.
裝載完數據就可以進行神經網絡的構建了。

import torch import torch.nn as nn from torch.optim import optimizer from torchvision import datasets, transforms# 優先選擇gpu device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")class FCNet(nn.Module):def __init__(self):super(FCNet, self).__init__()# 一共三層神經網絡，一個隱層self.features = nn.Sequential(nn.Linear(784, 100),nn.Sigmoid(),nn.Linear(100, 10))# 前向傳播def forward(self, x):# 輸入為16*1*28*28，這里轉換為16*784x = x.view(16, -1)output = self.features(x)return output# 訓練網絡 def train(train_loader):# 損失函數值running_loss = 0.0for i, data in enumerate(train_loader, 0):inputs, labels = data# 如果有gpu，則使用gpuinputs, labels = inputs.to(device), labels.to(device)# 梯度置零optimizer.zero_grad()# 前向傳播output = net(inputs)# 損失函數loss = criterion(output, labels)# 反向傳播，權值更新loss.backward()optimizer.step()running_loss += loss.item()# 每50個batch_size后打印一次損失函數值if i % 100 == 99:print('%5d loss: %.3f' %(i + 1, running_loss / 100))running_loss = 0.0# 訓練完1個或幾個epoch之后，在測試集上測試以下準確率，防止過擬合 def test(test_loader):correct = 0total = 0# 不進行autogradwith torch.no_grad():for data in test_loader:images, labels = dataimages, labels = images.to(device), labels.to(device)outputs = net(images)_, predicted = torch.max(outputs.data, 1)total += labels.size(0)correct += (predicted == labels).sum().item()print('Accuracy of the network on test images: %d %%' % (100 * correct / total))return correct / totalif __name__ == '__main__':# Pytorch自帶Mnist數據集，可以直接下載，分為測試集和訓練集train_dataset = datasets.MNIST(root='./data/', train=True, transform=transforms.ToTensor(), download=True)test_dataset = datasets.MNIST(root='./data/', train=False, transform=transforms.ToTensor(), download=True)# DataLoader類可以實現數據集的分批和打亂等train_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=16, shuffle=False)test_loader = torch.utils.data.DataLoader(dataset=test_dataset, batch_size=16, shuffle=False)net = FCNet().to(device)# 準則函數使用交叉熵函數，可以嘗試其他criterion = nn.CrossEntropyLoss()# 優化方法為帶動量的隨機梯度下降optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)for epoch in range(20):print('Start training: epoch {}'.format(epoch+1))train(train_loader)test(test_loader)

不熟悉pytorch建議先看看上面的教程，上手很快，這個框架也給了我們很多便利，搭建神經網絡十分簡單。
上述代碼搭建的是一個最簡單的三層的全連接網絡，輸入層神經元為28*28也就是每張圖的像素個數，有一個隱層為100個神經元，輸出層為10個神經元對應10類數字。代碼注釋比較詳細，這里不細說。
最后訓練的結果：

這里可以看到，經過10輪的訓練之后，網絡對測試集的準確率達到了0.92，這還僅僅是一個最簡單的三層全連接網絡!!可見神經網絡的強大。
這里要注意的就是，網絡的訓練都是前幾輪損失函數值下降的很快，準確率上升也快，后面損失函數就不怎么下降了，這也意味著我們的模型正在逐漸收斂。由于網絡簡單且圖片較小，網絡的訓練很快，特別是使用GPU的話。
我這里20輪訓練之后，準確率達到了94%，但是一直訓練下去的話會發現網絡準確率不再上升，這是因為網絡的結構本身比較簡單，學習能力有限，之后我們會使用卷積神經網絡對這個數據集進行分類，能夠達到更高的準確率。

總結

本篇主要介紹了全連接神經網絡的基本結構以及著名的反向傳播算法（BP）的原理推導，最后使用pytorch實現了一個最簡單的全連接神經網絡對MNIST手寫數據集進行分類，實例中的代碼已經上傳至github：https://github.com/Fanxiaodon/nn/tree/master/FCNetMnist
全連接神經網絡存在一些缺陷，后面我們會提到，下篇介紹卷積神經網絡CNN，CNN相比全連接網絡有一些較大的優點，廣泛應用于圖像處理。
本文中的理論推導部分參考：周志華-《機器學習》

總結

以上是生活随笔為你收集整理的深度学习系列：全连接神经网络和BP算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。