論文地址：https://arxiv.org/abs/1608.08710

主要思想

這篇文章主要講了對filters的裁剪，裁剪方法是計算L1范數，然后裁剪掉較少的，多少取決于加速比。

實現效果

VGG-16 34%加速

ResNet-110 38%加速

具體實現

對于每一個kernel matrix按列絕對值求和

對求和結果排序

裁剪掉m個filters(對應內核矩陣的列)，以及對應的輸出(Xi+1層中)，它又是下一層的輸入，所以也得去掉對應的輸入filters(對應內核矩陣的行)

剩余的kernel weights保留

實現細節

在跨越多層裁剪的過程中，可能出現kernel matrix裁剪交叉的情況，兩種處理方法：

Independent pruning 假設藍色是確定要裁剪的，然后計算綠色的L1時，要考慮黃色的值，跟之前的裁剪無關。

Greedy pruning 也就是計算綠色的L1時，不考慮已經被裁剪的黃色值
結果：
第二種的準確率輝更高。

殘差網絡的處理：

第一層隨意裁剪(根據需求),因為它只會影響Xi+1的輸入，但是不會影響最后的輸出。

residual block里面的裁剪需要注意，因為裁剪需要和shortcut layer保持一致，才能累加。

因為identical feature maps比added residual maps更重要，所以后者的裁剪結果應該由前者決定。

Prune and Retrain 方法

裁剪所有層后再繼續訓練網絡

裁剪一層，重新訓練一下
結果：
顯然第二種好啊，第一種太暴力了，可能造成無法修復的裁剪

轉載于:https://www.cnblogs.com/zhonghuasong/p/7642000.html

總結

以上是生活随笔為你收集整理的论文笔记——PRUNING FILTERS FOR EFFICIENT CONVNETS的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。