PyTorch基础(三)-----神经网络包nn和优化器optim
前言
torch.nn是專門為神經網絡設計的模塊化接口。nn構建于Autograd之上,可用來定義和運行神經網絡。這里我們主要介紹幾個一些常用的類。
約定:torch.nn 我們為了方便使用,會為他設置別名為nn,本章除nn以外還有其他的命名約定。
除了nn別名以外,我們還引用了nn.functional,這個包中包含了神經網絡中使用的一些常用函數,這些函數的特點是,不具有可學習的參數(如ReLU,pool,DropOut等),這些函數可以放在構造函數中,也可以不放,但是這里建議不放。
一般情況下我們會將nn.functional 設置為大寫的F,這樣縮寫方便調用
一、常用操作
| nn.Conv2d | 在輸入圖像上應用2維卷積 |
| nn.MaxPool2d | 在輸入圖像上應用2維最大池化 |
| nn.AvgPool2d | 在輸入圖像上應用2維平均池化 |
| nn.ReLU | 應用非線性修正單元ReLU |
| nn.Linear | 對輸入數據應用線性變換,也就是我們常說的全連接層 |
| nn.CrossEntropyLoss | 交叉熵損失函數 |
| nn.Upsample | 上采樣,圖像分割用的很多 |
| nn.Dropout | 應用Dropout層 |
| nn.MSELoss | 均方誤差損失函數 |
| nn.BatchNorm1d | 應用BN層 |
因為方法太多,這里只是列舉了一小部分,詳細請自行去PyTorch官網查看。所列舉的常用方法也只是以常用使用方式來進行舉例(由于有些方法的參數實在是太多了,而且以我自己的能力也不一定能以書面文字的方式解釋清楚)。
- nn.Conv2d(in_channels,out_channels,kernel_size):可選參數這里省略了
-
in_channels(int):輸入圖像的通道數
-
out_channels(int):卷積生成的通道數
-
kernel_size(int or tuple):卷積核的size,如果是方形,用int;如果非方形,用tuple。
-
案例
-
- nn.MaxPool2d(kernel_size,stride):這里列舉了常用的幾個參數,其余省略了
- kernel_size(int or tuple):池化窗口size
- stride(int or tuple):池化的步長
- padding(int or tuple):池化的填充,默認為0
- 案例
- nn.AvgPool2d(kernel_size,stride):這里列舉了常用的幾個參數,其余省略了
- kernel_size(int or tuple):池化窗口size
- stride(int or tuple):池化的步長
- padding(int or tuple):池化的填充,默認為0
- 案例
- nn.Linear(in_features, out_features, bias)
- in_features:輸入特征數
- out_features:輸出特征數
- bias:偏置
- 案例
二、案例+相關代碼注釋
在這之前,首先我們需要了解一下PyTorch中已經給我們準備好的網絡模型nn.Module。我們自己定義的網絡模型只需要繼承nn.Module,并實現它的forward()方法,PyTorch會根據Autograd,自動實現backward()函數,在forward函數中我們可以使用任何Tensor支持的函數,還可以使用if、for、print等Python語法,寫法與標準Python寫法是一致的。
class Net(nn.Module):def __init__(self):# nn.Module子類的函數必須在構造函數中執行父類的構造函數super(Net, self).__init__()# 卷積層 '1'表示輸入圖片為單通道, '6'表示輸出通道數,'3'表示卷積核為3*3self.conv1 = nn.Conv2d(1, 6, 3) #線性層,輸入1350個特征,輸出10個特征self.fc1 = nn.Linear(1350, 10) #這里的1350是如何計算的呢?這就要看后面的forward函數#正向傳播 def forward(self, x): print(x.size()) # 結果:[1, 1, 32, 32]# 卷積 -> 激活 -> 池化 x = self.conv1(x) #根據卷積的尺寸計算公式,計算結果是30,具體計算公式后面第二章第四節 卷積神經網絡 有詳細介紹。x = F.relu(x)print(x.size()) # 結果:[1, 6, 30, 30]x = F.max_pool2d(x, (2, 2)) #我們使用池化層,計算結果是15x = F.relu(x)print(x.size()) # 結果:[1, 6, 15, 15]# reshape,‘-1’表示自適應#這里做的就是壓扁的操作 就是把后面的[1, 6, 15, 15]壓扁,變為 [1, 1350]x = x.view(x.size()[0], -1) print(x.size()) # 這里就是fc1層的的輸入1350 x = self.fc1(x) return xnet = Net() print(net)- 運行結果
- 網絡的可學習參數通過net.parameters()返回
- 運行結果
- net.named_parameters可同時返回可學習的參數及名稱。
- 我們來簡單測試一下:注意forward函數的輸入和輸出都是Tensor
- 在反向傳播前,先要將所有參數的梯度清零
注意: torch.nn只支持mini-batches,不支持一次只輸入一個樣本,即一次必須是一個batch。
也就是說,就算我們輸入一個樣本,也會對樣本進行分批,所以,所有的輸入都會增加一個維度,我們對比下剛才的input,nn中定義為3維,但是我們人工創建時多增加了一個維度,變為了4維,最前面的1即為batch-size。
三、優化器optim
在反向傳播計算完所有參數的梯度后,還需要使用優化方法來更新網絡的權重和參數。這里只簡單介紹優化方法。
| SGD隨機梯度下降法 | |
| 帶有Momentum的隨機梯度下降法 | |
| Adagrad | |
| Adam | 該方法融合了Momentum和Adagrad方法 |
在torch.optim庫中實現大多數的優化方法,例如RMSProp、Adam、SGD等,下面我們使用SGD做個簡單的樣例。
- 首先導入optim包
- 對網絡參數進行更新
參考文獻
- https://pytorch.org/docs/stable/nn.html
- https://github.com/zergtant/pytorch-handbook/blob/master/chapter2/2.1.3-pytorch-basics-nerual-network.ipynb
總結
以上是生活随笔為你收集整理的PyTorch基础(三)-----神经网络包nn和优化器optim的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 互联网晚报 | 12月27日 星期一 |
- 下一篇: 手把手教你做用户画像