【知识星球】有没有网络模型是动态变化的，每次用的时候都不一样？
歡迎大家來到《知識星球》專欄，這里是網絡結構1000變小專題，今天給大家介紹一類網絡結構，它是動態變化的，每一次使用的時候都不一樣。
作者&編輯 | 言有三
1 訓練時變化的網絡結構
首先我們看第一種，即訓練的時候拓撲結構發生動態變化的，最熟悉的是什么？Dropout和DropConnect對吧！
大家都知道的我們肯定是不會講了，下面給大家講一個非常優秀的研究。
有三AI知識星球-網絡結構1000變
Stochastic Depth
多個獨立研究表明實際上ResNet的有效深度沒有想象中那么深，152層的網絡有效深度也就是40多層左右，怎么去研究這個問題呢？
作者/編輯 言有三
stochastic depth對此做出了研究，它做的事情很簡單，就是在訓練的時候把殘差網絡的單元隨機刪減掉一些，測試時不變，所以網絡訓練的時候是一個比測試時更淺層的網絡。
實驗證明這不僅減小了訓練時間，還提升了測試精度，實驗結果如下：
從這兩個圖可以看出，加上隨機刪減后測試集的精度在CIFAR10和CIFAR100上都有所提升了。與基礎ResNet結構相比，測試集的精度大于訓練集，證明網絡過擬合大大下降。下面SVHN的結果更加印證了這一點，穩穩地壓倒普通ResNet網絡。
另一方面再看右上圖，1201層的網絡的性能也很不錯，不僅僅沒有過擬合，而且相對于152層的ResNet性能還能夠繼續提升，這就相當不易了。
上面展示了實驗結果，那為什么有效呢？作者給出了一點解釋。即這樣的網絡梯度更大更有效，如下圖第一個卷積層的對比：
隨機刪減網絡的梯度始終比普通ResNet更大，而且學習率下降后更加明顯。
[1] Huang G, Sun Y, Liu Z, et al. Deep networks with stochastic depth[C]//European conference on computer vision. Springer, Cham, 2016: 646-661.
Stochstic depth網絡本質上可以看作是多個網絡的集成，與Dropout等技術一樣在訓練時結構發生變化，能提高模型的表達能力。
2?測試時變化的網絡結構
上面說了訓練時發生變化的網絡，那有沒有測試時也發生動態變化的網絡呢？
有三AI知識星球-網絡結構1000變
BranchyNet
通常來說模型訓練完之后結構就是固定的，測試時圖片沿著固定的通路進行計算。然而測試樣本本身有不同的難度，簡單的樣本只需要少量的計算量就可以完成任務，困難的樣本則需要更多的計算量。BranchyNet就可以根據不同難度的圖片，使用不同的計算通路，從而使計算更加高效。
作者/編輯 言有三
如上圖所示，它在正常網絡通道上包含了多個旁路分支，這樣的思想是基于觀察到隨著網絡的加深，表征能力越來越強，大部分簡單的圖片可以在較淺層時學習到足以識別的特征，如上圖中的Exit 1通道。一些更難的樣本需要進一步的學習，如上圖中的Exit 2通道，而只有極少數樣本需要整個網絡，如Exit3通道。這樣的思想可以實現精度和計算量的平衡，對于大部分樣本，可以用更小的計算量完成任務。
那么如何判斷是否可以提前結束呢？在提出該網絡的論文中，作者采用分類信息熵，一旦該通道的分類信息熵低于某一個閾值，說明已經以很高的置信度獲得了分類的結果，直到最終的通道。
在訓練的時候，每一個通道都會對損失有貢獻，越靠近淺層的網絡權重越大。多通道的損失不僅增強了梯度信息，也在一定程度上實現了正則化。
將BranchyNet的設計思想用于LeNet，AlexNet，ResNet結構后，在維持性能的前提下，加速效果明顯。
對于擁有N個分支的網絡，需要的就是N-1個閾值，因為最后一個分支不需要閾值。
LeNet系列網絡可以讓超過90%的樣本在第一個分支提前終止，AlexNet提前終止樣本比例也超過一半，ResNet提前終止樣本比例超過了40%。
[1] Teerapittayanon S, McDanel B, Kung H T. Branchynet: Fast inference via early exiting from deep neural networks[C]//2016 23rd International Conference on Pattern Recognition (ICPR). IEEE, 2016: 2464-2469.
更多相關內容請大家移步有三AI知識星球。
3 關于有三AI知識星球
有三AI知識星球是我們繼公眾號之后重點打造的原創知識學習社區，有需要的同學可以閱讀下文加入，添加有三微信加入還有優惠。
【雜談】為什么邀請大家加入硬核知識星球有三AI
有三AI知識星球的內容非常多，大家可以預覽一些內容如下。
以上所有內容
加入有三AI知識星球即可獲取
來日方長
點擊加入
不見不散
更多精彩
每日更新
轉載文章請后臺聯系
侵權必究
往期精選
揭秘7大AI學習板塊，這個星球推薦你擁有
有三AI 1000問回歸，備戰秋招，更多，更快，更好，等你來戰！
有三AI“夏季劃”出爐，今夏進階中級CV算法工程師
【知識星球】做作業還能贏獎金，傳統圖像/機器學習/深度學習盡在不言
【知識星球】顏值，自拍，美學三大任務簡介和數據集下載
【知識星球】數據集板塊重磅發布，海量數據集介紹與下載
【知識星球】貓貓狗狗與深度學習那些事兒
【知識星球】超3萬字的網絡結構解讀，學習必備
【知識星球】視頻分類/行為識別網絡和數據集上新
【知識星球】3D網絡結構解讀系列上新
【知識星球】動態推理網絡結構上新，不是所有的網絡都是不變的
【知識星球】Attention網絡結構上新，聚焦才能贏
【知識星球】幾個人像分割數據集簡介和下載
【知識星球】總有些骨骼輕奇，姿態妖嬈的模型結構設計，不知道你知不知道，反正我知道一些
【知識星球】從SVM對偶問題，到疲勞駕駛檢測，到實用工業級別的模型壓縮技
【知識星球】圖像降噪模型和數據集內容開啟更新，經典問題永垂不朽
總結
以上是生活随笔為你收集整理的【知识星球】有没有网络模型是动态变化的，每次用的时候都不一样？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 将近400篇原创后，有三AI喊你正式加入
- 下一篇： 中秋假期快乐！不发技术文章，有三AI知识