論文：Rethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved MobileNets

https://arxiv.org/pdf/2003.13549.pdf?arxiv.org

代碼地址：

zeiss-microscopy/BSConv?github.com

一、背景

一些輕量級的網(wǎng)絡(luò)，如MobileNet中，會有深度可分離卷積Depthwise Separable Convolution（DSCs），由depthwise(DW)和pointwise(PW)兩個部分結(jié)合起來，用來提取特feature map，相比常規(guī)的卷積操作，其參數(shù)數(shù)量和運算成本比較低。

Joe.Zhao：深度可分離卷積?zhuanlan.zhihu.com

作者對其進一步的研究，發(fā)現(xiàn)基于深度可分離卷積的體系結(jié)構(gòu)，例如MobileNets隱式地依賴于跨內(nèi)核的相關(guān)性。作者經(jīng)過定性和定量的研究發(fā)現(xiàn)基于核內(nèi)部的相關(guān)性可以更有效地分離標(biāo)準(zhǔn)卷積。

二、啟發(fā)來源

定性分析：作者可視化了三個基礎(chǔ)網(wǎng)絡(luò)VGG-19、Inception V2、ResNet-50的卷積核，將128*3*3的卷積核沿深度軸劃分成128張小圖片，每張都是3*3（如圖）。圖中可以看出，很多卷積核呈現(xiàn)相同的“視覺結(jié)構(gòu)”。就好比這些卷積核是照著一個模子，然后加點線性變換產(chǎn)生的。然后作者就將這個模子稱為“藍圖”（高大上的名字）。

定量研究：

為了進一步說明沿深度軸卷積核的相關(guān)性，作者用以下方式分析了幾個訓(xùn)練過的CNNs:

把M*K*K的卷積核劃分成M個K*K的樣本；

對這M個樣本進行PCA分析

確定由第一個主成分(PC1)解釋的過濾器的方差

可以看到，平均每個過濾器內(nèi)核的方差的50%左右可以用這個簡單的模型來解釋，這表明使用“藍圖”改進的潛力很大。

三、“藍圖”卷積

“藍圖”即一個卷積核的模板，那么一個普通的卷積核就可以從一個藍圖卷積的各種線性變換而來。

如圖第一行，是一個標(biāo)準(zhǔn)卷積，卷積核大小是K*K*M；

第二行是藍圖卷積，卷積核由藍圖（一個K*K的卷積核）和一個M*1的權(quán)重向量組成。

四、“藍圖”卷積的兩種變形和實現(xiàn)

作者是對深度可分離卷積的一個再思考，那么到底與深度可分離卷積有什么不同呢？

Unconstrained BSConv (BSConv-U):無限制藍圖卷積

從上圖的第二列和第三列可以看出，

深度可分離卷積是先逐通道卷積，再對深度方向上加權(quán)組合。

無限制藍圖卷積是先對深度方向上加權(quán)組合，再卷積。

簡單說，就是交換了depthwise(DW)和pointwise(PW)的順序。

那么這個簡單的交換有什么作用？

如下圖，DSCs隱式地假設(shè)一個用于所有內(nèi)核的3d藍圖，而BSConv則是依賴于每個內(nèi)核的單獨2d藍圖。

所以，深度可分卷積實際上執(zhí)行的是跨內(nèi)核的相關(guān)性，而不是內(nèi)核內(nèi)部的相關(guān)性。而研究發(fā)現(xiàn)內(nèi)核內(nèi)部的相關(guān)性占主導(dǎo)地位，因此有更大的潛力進行有效分離。

Subspace BSConv (BSConv-S) ：子空間藍圖卷積

作者進一步研究發(fā)現(xiàn)，在BSConv-U中1*1卷積層所使用的參數(shù)矩陣W=（Wn,M）行與行之間存在高度關(guān)聯(lián)。（注：每一行有M個參數(shù)，對應(yīng)一個輸出通道）。

所以作者進一步將這個卷積核矩陣分解，即因式分解來實現(xiàn)W的低秩近似，然后通過添加正交約束來減少參數(shù)之間的相互關(guān)聯(lián)。

上述的結(jié)果就是，1個1*1卷積被分解成兩個1*1卷積。

五、實驗

1、作者在CIFAR10、CIFAR100、StanforDogs、StanforCars等多個數(shù)據(jù)集上，使用MobileNetV1-V3網(wǎng)絡(luò)，進行了實驗，發(fā)現(xiàn)使用藍圖卷積代替標(biāo)準(zhǔn)卷積后，分類準(zhǔn)確率都有所提升。

2、作者在CIFAR10、CIFAR100等數(shù)據(jù)集上，使用ResNet作為基礎(chǔ)網(wǎng)絡(luò)，發(fā)現(xiàn)參數(shù)量明顯減少，性能也有所提升。

在大規(guī)模和細粒度分類數(shù)據(jù)集上的大量實驗表明，BSConvs可以很好地改進MobileNets等網(wǎng)絡(luò)結(jié)構(gòu)，而不會引入任何復(fù)雜性。

六、總結(jié)

本論文提出了一種新的卷積核的分離方法BSConv，該方法是基于核內(nèi)部的相關(guān)性，因此可以更有效地分離標(biāo)準(zhǔn)卷積。大量實驗表明，該方法在減少參數(shù)量，提升模型性能方面有明顯效果。

總結(jié)

以上是生活随笔為你收集整理的2d 蓝图_“蓝图”卷积--对深度可分离卷积的再思考的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。