AlexNet

網(wǎng)絡結(jié)構(gòu)

論文總結(jié)

成功使用ReLU作為CNN的激活函數(shù)，并驗證效果在較深的網(wǎng)絡中超過了Sigmoid。成功解決了Sigmoid在網(wǎng)絡較深時的梯度彌散問題。

訓練時使用Dropout隨機忽略了一部分神經(jīng)元，以避免模型過擬合。Dropout雖有專門的論文論述，但是AlexNet將其實用化，通過實踐證明了它的效果。在AlexNet中主要是最后幾個全連接層使用了Dropout。

在CNN中使用重疊的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且讓步長比池化核的尺寸小，這樣池化層的輸出之間會有重疊和覆蓋，提升了特征豐富性。

提出了LRN層，對局部神經(jīng)元的活動創(chuàng)建競爭機制，使得其中相應比較大的值變得相對更大，并抑制其他反饋較小的神經(jīng)元。增強了模型的泛化能力（但后來的VGG證明這個作用不大）。

使用CUDA加速深度卷積網(wǎng)絡的訓練，利用GPU強大的并行計算能力，處理神經(jīng)網(wǎng)絡訓練時大量的矩陣計算。AlexNet使用了兩塊GTX580GPU進行訓練，同時AlexNet的設計讓GPU之間的通信只在網(wǎng)絡的某些層進行，控制了通信的性能損耗。

數(shù)據(jù)增強。隨機地從256x256的原始圖像中截取224x224大小的區(qū)域（以及水平翻轉(zhuǎn)的鏡像）對圖像的RGB數(shù)據(jù)進行PCA處理，并對主成分做一個標準差為0.1的高斯擾動，增加一些噪聲，這個Trick可以讓錯誤率再下降1%。

代碼實現(xiàn)

1) 導入必需的包

# 1) 導入必需的包 import torch import torch.nn as nn import torch.nn.functional as F import torchvision

2) 搭建網(wǎng)絡模型

# 2) 搭建網(wǎng)絡模型 class AlexNet(nn.Module):def __init__(self):super(AlexNet, self).__init__()self.layer1 = nn.Sequential(nn.Conv2d(in_channels=3, out_channels=96, kernel_size=11, stride=4), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2), # LRN(local_size=5, alpha=1e-4, beta=0.75, ACROSS_CHANNELS=True))self.layer2 = nn.Sequential(nn.Conv2d(in_channels=96, out_channels=256, kernel_size=5, stride=1, padding=2, groups=2), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2), # LRN(local_size=5, alpha=1e-4, beta=0.75, ACROSS_CHANNELS=True))self.layer3 = nn.Sequential(nn.Conv2d(in_channels=256, out_channels=384, kernel_size=3, padding=1),nn.ReLU(inplace=True))self.layer4 = nn.Sequential(nn.Conv2d(in_channels=384, out_channels=384, kernel_size=3, padding=1),nn.ReLU(inplace=True))self.layer5 = nn.Sequential(nn.Conv2d(in_channels=384, out_channels=256, kernel_size=3, padding=1),nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2))# 由此從卷積變?yōu)槿B接層self.layer6 = nn.Sequential(nn.Linear(in_features=6*6*256, out_features=4096), nn.ReLU(inplace=True), nn.Dropout())self.layer7 = nn.Sequential(nn.Linear(in_features=4096, out_features=4096), nn.ReLU(inplace=True), nn.Dropout())self.layer8 = nn.Linear(in_features=4096, out_features=1000)def forward(self, x):x = self.layer5(self.layer4(self.layer3(self.layer2(self.layer1(x)))))x = x.view(-1, 6*6*256)x = self.layer8(self.layer7(self.layer6(x)))return x

3) 導入使用的數(shù)據(jù)集、網(wǎng)絡結(jié)構(gòu)、優(yōu)化器、損失函數(shù)等

4) 訓練模型

5) 保存模型結(jié)構(gòu)參數(shù)

6) 加載模型并測試模型效果

Ref

Pytorch手撕經(jīng)典網(wǎng)絡之AlexNet

總結(jié)

以上是生活随笔為你收集整理的PyTorch 实现经典模型2：AlexNet的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。