正向傳播與反向傳播

1. 正向傳播

正向傳播是指對神經網絡沿著從輸入層到輸出層的順序，依次計算并存儲模型的中間變量（包括輸出）。
假設輸入是一個特征為$\mathbf{x}\in {\mathbb{R}}^d$的樣本，且不考慮偏差項，那么中間變量

$$\mathbf{z}={\mathbf{W}}^{(1)}\mathbf{x},$$
（矩陣相乘）

其中${\mathbf{W}}^{(1)}\in {\mathbb{R}}^{h\times d}$是隱藏層的權重參數。把中間變量$\mathbf{z}\in {\mathbb{R}}^h$輸入按元素運算的激活函數$?$后，將得到向量長度為$h$的隱藏層變量

$$\mathbf{h}=?(\mathbf{z}).$$

隱藏層變量$\mathbf{h}$也是一個中間變量。假設輸出層參數只有權重${\mathbf{W}}^{(2)}\in {\mathbb{R}}^{q\times h}$，可以得到向量長度為$q$的輸出層變量

$$\mathbf{o}={\mathbf{W}}^{(2)}\mathbf{h}.$$

假設損失函數為$?$，且樣本標簽為$y$，可以計算出單個數據樣本的損失項

$$L=?(\mathbf{o},y).$$

根據$L_2$范數正則化的定義，給定超參數$\lambda$，正則化項即（超參數$\lambda$即表示懲罰的力度）

$$s=\frac{\lambda }{2}\left(|{\mathbf{W}}^{(1)}{|}_F^2+|{\mathbf{W}}^{(2)}{|}_F^2\right),$$

其中矩陣的Frobenius范數等價于將矩陣變平為向量后計算$L_2$范數。最終，模型在給定的數據樣本上帶正則化的損失為

$$J=L+s.$$

我們將$J$稱為有關給定數據樣本的目標函數。

2. 反向傳播

反向傳播用于計算神經網絡中的參數梯度。反向傳播利用微積分中的鏈式法則，沿著從輸出層到輸入層的順序進行依次計算目標函數有關神經網絡各層的中間變量以及參數的梯度。
依據鏈式法則，我們可以知道：
$$\frac{?J}{?\mathbf{o}}=\text{prod}\left(\frac{?J}{?L},\frac{?L}{?\mathbf{o}}\right)=\frac{?L}{?\mathbf{o}}.$$
$$\left(\frac{?J}{?L}=1,\frac{?J}{?s}=1\right)$$
其中$\text{prod}$運算符將根據兩個輸入的形狀，在必要的操作（如轉置和互換輸入位置）后對兩個輸入做乘法。
$$\frac{?J}{?{\mathbf{W}}^{(2)}}=\text{prod}\left(\frac{?J}{?\mathbf{o}},\frac{?\mathbf{o}}{?{\mathbf{W}}^{(2)}}\right)+\text{prod}\left(\frac{?J}{?s},\frac{?s}{?{\mathbf{W}}^{(2)}}\right)=\frac{?J}{?\mathbf{o}}{\mathbf{h}}^{?}+\lambda {\mathbf{W}}^{(2)}$$
其中：
$$\left(\frac{?s}{?{\mathbf{W}}^{(1)}}=\lambda {\mathbf{W}}^{(1)},\frac{?s}{?{\mathbf{W}}^{(2)}}=\lambda {\mathbf{W}}^{(2)}\right)$$
還有：
$$\frac{?J}{?{\mathbf{W}}^{(2)}}=\text{prod}\left(\frac{?J}{?\mathbf{o}},\frac{?\mathbf{o}}{?{\mathbf{W}}^{(2)}}\right)+\text{prod}\left(\frac{?J}{?s},\frac{?s}{?{\mathbf{W}}^{(2)}}\right)=\frac{?J}{?\mathbf{o}}{\mathbf{h}}^{?}+\lambda {\mathbf{W}}^{(2)}$$

$$\frac{?J}{?\mathbf{h}}=\text{prod}\left(\frac{?J}{?\mathbf{o}},\frac{?\mathbf{o}}{?\mathbf{h}}\right)={{\mathbf{W}}^{(2)}}^{?}\frac{?J}{?\mathbf{o}}$$
$$\frac{?J}{?\mathbf{z}}=\text{prod}\left(\frac{?J}{?\mathbf{h}},\frac{?\mathbf{h}}{?\mathbf{z}}\right)=\frac{?J}{?\mathbf{h}}\odot {?}^{\prime }\left(\mathbf{z}\right)$$
所以，可以得到：
$$\frac{?J}{?{\mathbf{W}}^{(1)}}=\text{prod}\left(\frac{?J}{?\mathbf{z}},\frac{?\mathbf{z}}{?{\mathbf{W}}^{(1)}}\right)+\text{prod}\left(\frac{?J}{?s},\frac{?s}{?{\mathbf{W}}^{(1)}}\right)=\frac{?J}{?\mathbf{z}}{\mathbf{x}}^{?}+\lambda {\mathbf{W}}^{(1)}$$

• 在模型參數初始化完成后，需要交替地進行正向傳播和反向傳播，并根據反向傳播計算的梯度迭代模型參數。
• 在反向傳播中使用了正向傳播中計算得到的中間變量來避免重復計算，同時這個復用也導致正向傳播結束后不能立即釋放中間變量內存。這也是訓練要比預測占用更多內存的一個重要原因。
• 這些中間變量的個數大體上與網絡層數線性相關，每個變量的大小跟批量大小和輸入個數也是線性相關的，這是導致較深的神經網絡使用較大批量訓練時更容易超內存的主要原因。

總結

以上是生活随笔為你收集整理的（pytorch-深度学习系列）正向传播与反向传播-学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。