歡迎來到《每周CV論文推薦》。在這個專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統性完成學習，所以我們推薦的文章也必定是同一主題的。

高效率(緊湊)的CNN模型設計是深度學習在工業界落地的關鍵，今天給大家推薦初學者必讀的一些文章。

作者&編輯 | 言有三

1 小卷積的使用

VGG很大，但它使用的卷積很小。在保證具有同樣大小的輸出和感受野的前提下，任何奇數的大卷積都可以使用多個3*3卷積來替代，

兩個3*3的卷積能代替一個5*5的卷積；參數比例為3×3×2/(5×5)=0.72。三個3*3的卷積能代替一個7*7的卷積，參數比例為3×3×3/(7×7)=0.55，將近一倍的壓縮，簡單而有效。雖然VGG不是小卷積的初次實踐者，但從它開始了解是很好的起點。

文章引用量：60000+

推薦指數：?????

[1] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

2 1*1卷積

1*1卷積就是將普通卷積核半徑變為1的卷積，影響了之后幾乎所有的模型，將這個1×1的特殊卷積用于通道的降維和升維，已經成為很多緊湊模型設計不可缺少的組件，畢竟模型的寬度(通道數)對計算量和參數量的貢獻巨大。

文章引用量：4000+

推薦指數：?????

[2] Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013.

3 Inception/SqueezeNet

在VGG網絡不能再通過加深得到進一步性能突破的時候，Inception[3]模型(又名GoogLeNet)使用了擁有不同感受野并行的多分支Inception結構，進一步加深了網絡深度并有著更少的參數和更高的效率，成為當年的基準模型，其中起到關鍵作用的是1*1卷積。

隨后，SqueezeNet[4]同樣利用1*1卷積進行模型壓縮，成為早期經典。

文章引用量：15000+

推薦指數：?????

[3] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.

[4]?Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.

4 Xception/MobileNet/ResNext

通道的分組是設計高效網絡常見的思想，關于它的來源可有詳見之前的文章，【AI不惑境】移動端高效網絡，卷積拆分和分組的精髓。

通道分組卷積的第一次大規模應用在Xception[5]中，在Mobilenet[6]中進一步發揮到極致，在Resnext[7]中也取得了很好的效果。如果你想了解更多的分組卷積的應用，就參考上述往期文章和有三AI知識星球吧。

文章引用量：2000+

推薦指數：?????

[5] Chollet F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1251-1258..

[6]?Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861, 2017.

[7]?Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1492-1500.

5 CReLU/DenseNet

卷積神經網絡中的參數存在冗余，網絡的寬度對于參數量和通道的貢獻非常大，如何提高通道的利用率是一個很重要的課題。

CReLU[8]采用了非常簡單的網絡互補技巧，DenseNet[9]則使用了密集的通道互補策略，都是非常有效的方法。

文章引用量：5000+

推薦指數：?????

[8] Shang W, Sohn K, Almeida D, et al. Understanding and improving convolutional neural networks via concatenated rectified linear units[C]//international conference on machine learning. 2016: 2217-2225.

[9]?Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.

6 其他資料

因為是每周論文閱讀，就不給大家推薦太多文章(每周10篇左右)。對于更高效(緊湊)的模型設計，這里給出的文章僅僅是冰山一角。如果你對模型優化感興趣，有三AI知識星球中有更多的內容。

7 如何獲取文章與交流

找到有三AI開源項目即可獲取。

https://github.com/longpeng2008/yousan.ai

文章細節眾多，閱讀交流在有三AI知識星球中進行，感興趣可以加入。

總結

以上就是初次了解高效率模型設計需要讀的文章，這是非常重要的一個方向，希望大家認真對待。下一次，我們將開始推薦計算機視覺各個方向的文章。

有三AI夏季劃

有三AI夏季劃進行中，歡迎了解并加入，系統性成長為中級CV算法工程師。

轉載文章請后臺聯系

侵權必究

往期精選

• 【每周論文推薦】 初入深度學習CV領域必讀的幾篇文章

• 【每周CV論文推薦】 掌握殘差網絡必讀的10多篇文章

• 【每周CV論文推薦】 初學者必須精讀的5篇深度學習優化相關文章

• 【每周CV論文推薦】 CV領域中數據增強相關的論文推薦

總結

以上是生活随笔為你收集整理的【每周CV论文推荐】 初学高效率CNN模型设计应该读的文章的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。