1、動機

MobileNet是為移動和嵌入式設備提出的高效模型，使用深度可分離卷積(depthwise separable convolutions,即Xception變體結構)來構建輕量級深度神經網絡。

2、核心技術

depthwise separable卷積

depthwise separable convolution可以進一步拆分成depthwise卷積和pointwise卷積，如下圖所示為普通卷積和depthwise separable卷積的對比

優點：既增加了網絡的非線性，又極大的減少了計算量。大約變成了 1? / （K_h * K_w） 的計算量。對于3*3的卷積核，差不多減少了9倍。然而在實際的使用中，dw卷積加速沒有那么快，一是加速庫支持的不好，另外就是dw卷積對訪存性能要求比較高。

Relu6

使用relu6.? 對relu輸出的最大值進行clip。Relu在x>0的區域使用x進行線性激活，有可能造成激活后的值太大，影響模型的穩定性，為抵消ReLU激勵函數的線性增長部分，可以使用Relu6函數。

另外一種解釋：主要是為了在移動端設備float16/int8的低精度時也能有很好的數值分辨率，如果對普通relu函數的激活范圍不加限制，輸出的范圍為0到正無窮，如果激活值非常大，分布在一個很大的范圍內，則低精度的loat16/int8就無法良好地精確描述如此大范圍地數值，從而帶來精度地損失。

網絡大小控制

MobileNetV1引入了兩個超參數來進一步平衡模型大小以及準確率：通道系數α∈(0,1]與分辨率系數ρ∈(0,1]。所有層的 通道數（channel） 乘以 α 參數(四舍五入)，模型大小近似下降到原來的 α^2倍，計算量下降到原來的 α^2 倍；輸入層的 分辨率（resolution） 乘以 ρ 參數 (四舍五入)，等價于所有層的分辨率乘 ρ ，模型大小不變，計算量下降到原來的 ρ^2倍

3、網絡結構

?

4、網絡性能

Model	Million MACs	Million Parameters	Top-1 Accuracy	Top-5 Accuracy
MobileNet_v1_1.0_224	569	4.24	70.9	89.9
MobileNet_v1_1.0_192	418	4.24	70.0	89.2
MobileNet_v1_1.0_160	291	4.24	68.0	87.7
MobileNet_v1_1.0_128	186	4.24	65.2	85.8
MobileNet_v1_0.75_224	317	2.59	68.4	88.2
MobileNet_v1_0.75_192	233	2.59	67.2	87.3
MobileNet_v1_0.75_160	162	2.59	65.3	86.0
MobileNet_v1_0.75_128	104	2.59	62.1	83.9
MobileNet_v1_0.50_224	150	1.34	63.3	84.9
MobileNet_v1_0.50_192	110	1.34	61.7	83.6
MobileNet_v1_0.50_160	77	1.34	59.1	81.9
MobileNet_v1_0.50_128	49	1.34	56.3	79.4
MobileNet_v1_0.25_224	41	0.47	49.8	74.2
MobileNet_v1_0.25_192	34	0.47	47.7	72.3
MobileNet_v1_0.25_160	21	0.47	45.5	70.3
MobileNet_v1_0.25_128	14	0.47	41.5	66.3

?

5、參考資料

MobileNet 進化史： 從 V1 到 V3（V1篇）

來自 <https://blog.csdn.net/kuweicai/article/details/103267230>

來自 <https://github.com/tensorflow/models/blob/master/research/slim/nets/mobilenet_v1.md>

總結

以上是生活随笔為你收集整理的轻量级网络之mobilenet_v1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。