大家好，歡迎來到我們的星球知識小卡片專欄，本期給大家分享模型剪枝的關(guān)鍵技術(shù)以及一些學(xué)習(xí)資料。

作者&編輯 | 言有三

1 為什么要研究模型剪枝

在真正研究模型剪枝之前，我們首先要知道為什么要做這件事，模型到底有多么冗余呢，以Google對大模型和移動端小模型的研究來說明這個(gè)問題，如下。

2 連接剪枝

對權(quán)重連接和神經(jīng)元進(jìn)行剪枝是最簡單，也是最早期的剪枝技術(shù)，NVIDIA的韓松等人是最早研究模型剪枝技術(shù)的團(tuán)隊(duì)，當(dāng)然還有的方法會在剪枝后添加一個(gè)恢復(fù)操作以便獲得更好的性能。

3 通道剪枝

相對于連接權(quán)重剪枝，粗粒度剪枝其實(shí)更加有用，它可以得到不需要專門的算法支持的精簡小模型，其中主要方法就是通道剪枝。

通道剪枝算法有三個(gè)經(jīng)典思路。第一個(gè)是基于重要性因子，即評估一個(gè)通道的有效性，再配合約束一些通道使得模型結(jié)構(gòu)本身具有稀疏性，從而基于此進(jìn)行剪枝。第二個(gè)是利用重建誤差來指導(dǎo)剪枝，間接衡量一個(gè)通道對輸出的影響。第三個(gè)是基于優(yōu)化目標(biāo)的變化來衡量通道的敏感性。

4 個(gè)性化剪枝

不同的輸入樣本，不同的通道層其實(shí)都需要不同的剪枝方案，注意力機(jī)制，動態(tài)模型等在模型剪枝中很有用，典型研究包括DCP，RNP等。

5 剪枝策略

當(dāng)前大部分的模型剪枝方法都是對每一層在基準(zhǔn)模型訓(xùn)練后進(jìn)行單獨(dú)剪枝，這樣的方案比較耗時(shí)，效率不高，因此研究其他更加高效的剪枝策略也是很有必要的。

6 其他

總的來說，模型剪枝有非常多的研究方向，包括：

(1) 連接剪枝的策略。

(2) 通道剪枝的策略。

(3) 重要性因子的研究。

(4) 正則化因子的研究。

(5) 個(gè)性剪枝策略。

(6) 自動剪枝策略。

(7) 訓(xùn)練前剪枝策略。

(8) 統(tǒng)一剪枝策略。

(9) 其他。

以上內(nèi)容，如果你不想自己學(xué)習(xí)，可以去我們知識星球的網(wǎng)絡(luò)結(jié)構(gòu)1000變板塊—模型剪枝板塊閱讀，純屬自愿，不愿勿噴。

有三AI知識星球

知識星球是有三AI的付費(fèi)內(nèi)容社區(qū)，里面包括各領(lǐng)域的模型學(xué)習(xí)，數(shù)據(jù)集下載，公眾號的付費(fèi)圖文原稿，技術(shù)總結(jié)PPT和視頻，知識問答，書籍下載，項(xiàng)目推薦，線下活動等資源，了解詳細(xì)請閱讀以下文章：

【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？

【雜談】萬萬沒想到，有三還有個(gè)保密的‘朋友圈’，那里面都在弄啥！

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

• 【雜談】2020年有三AI計(jì)算機(jī)視覺培養(yǎng)計(jì)劃詳解，該不該學(xué)&怎么學(xué)CV的簡單討論

• 【年終總結(jié)】2019年有三AI做了什么，2020年我們要做什么？
  

• 【總結(jié)】有三AI秋季劃模型優(yōu)化組3月直播講了哪些內(nèi)容，為什么每一個(gè)從事深度學(xué)習(xí)的同學(xué)都應(yīng)該掌握模型優(yōu)化的內(nèi)容

• 【總結(jié)】有三AI秋季劃人臉?biāo)惴ńM3月直播講了哪些內(nèi)容，計(jì)算機(jī)視覺你不可能繞開人臉圖像

• 【總結(jié)】有三AI秋季劃圖像質(zhì)量組3月直播講了哪些內(nèi)容，為什么解決好底層圖像處理問題那么重要

• 【星球知識卡片】殘差網(wǎng)絡(luò)家族10多個(gè)變種學(xué)習(xí)卡片，請收下！

• 【星球知識卡片】移動端高效率的分組網(wǎng)絡(luò)都發(fā)展到什么程度了？

• 【星球知識卡片】注意力機(jī)制發(fā)展如何了，如何學(xué)習(xí)它在各類任務(wù)中的應(yīng)用？
  

總結(jié)

以上是生活随笔為你收集整理的【星球知识卡片】模型剪枝有哪些关键技术，如何对其进行长期深入学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。