大家好，歡迎來到我們的星球知識小卡片專欄，本期給大家分享模型蒸餾的核心技術(shù)點(diǎn)。

作者&編輯 | 言有三

1 什么是模型蒸餾

一般地，大模型往往是單個復(fù)雜網(wǎng)絡(luò)或者是若干網(wǎng)絡(luò)的集合，擁有良好的性能和泛化能力，而小模型因?yàn)榫W(wǎng)絡(luò)規(guī)模較小，表達(dá)能力有限。利用大模型學(xué)習(xí)到的知識去指導(dǎo)小模型訓(xùn)練，使得小模型具有與大模型相當(dāng)?shù)男阅?#xff0c;但是參數(shù)數(shù)量大幅降低，從而可以實(shí)現(xiàn)模型壓縮與加速，就是知識蒸餾與遷移學(xué)習(xí)在模型優(yōu)化中的應(yīng)用。

Hinton等人最早在文章“Distilling the knowledge in a neural network”中提出了知識蒸餾這個概念，其核心思想是一旦復(fù)雜網(wǎng)絡(luò)模型訓(xùn)練完成，便可以用另一種訓(xùn)練方法從復(fù)雜模型中提取出來更小的模型，因此知識蒸餾框架通常包含了一個大模型(被稱為teacher模型)，和一個小模型(被稱為student模型)。

2?優(yōu)化目標(biāo)驅(qū)動的知識蒸餾框架

Hinton等人提出的框架是在模型最后的預(yù)測端，讓student模型學(xué)習(xí)到與teacher模型的知識，這可以稱之為直接使用優(yōu)化目標(biāo)進(jìn)行驅(qū)動的框架，也是最簡單最直接的框架，它不關(guān)心中間的學(xué)習(xí)過程，類似的還有ProjectionNet等。

3?特征匹配的知識蒸餾框架

目標(biāo)驅(qū)動型的知識蒸餾框架的具體細(xì)節(jié)是難以控制的，會讓訓(xùn)練變得不穩(wěn)定且緩慢。一種更直觀的方式是將teacher模型和student模型的特征進(jìn)行約束，從而保證student模型確實(shí)繼承了teacher模型的知識，其中一個典型代表就是FitNets，FitNets將比較淺而寬的Teacher模型的知識遷移到更窄更深的Student模型上。

4 沒有教師模型的知識蒸餾

一般知識蒸餾框架都需要包括一個Teacher模型和一個Student模型，而Deep mutual learning則沒有Teacher模型，它通過多個小模型進(jìn)行協(xié)同訓(xùn)練，這也是非常有研究意義的方向。

5 與其他框架的結(jié)合

在進(jìn)行知識蒸餾時，我們通常假設(shè)teacher模型有更好的性能，而student模型是一個壓縮版的模型，這不就是模型壓縮嗎？與模型剪枝，量化前后的模型對比是一樣的。所以知識蒸餾也被用于與相關(guān)技術(shù)進(jìn)行結(jié)合，apprentice框架是一個代表。

6 其他

總的來說，模型蒸餾有非常多的研究方向，包括：

(1) 優(yōu)化目標(biāo)驅(qū)動的知識蒸餾框架拓展。

(2) 基于特征匹配的知識蒸餾框架拓展。

(3) 不壓縮模型，甚至訓(xùn)練更大模型的框架。

(4) 無教師模型的框架。

(5) 自動搜索的框架。

(6) 與其他模型壓縮技術(shù)的結(jié)合。

(7) 其他。

以上內(nèi)容，如果你不想自己學(xué)習(xí)，可以去我們知識星球的網(wǎng)絡(luò)結(jié)構(gòu)1000變板塊—模型蒸餾板塊閱讀。

有三AI知識星球

知識星球是有三AI的付費(fèi)內(nèi)容社區(qū)，里面包括各領(lǐng)域的模型學(xué)習(xí)，數(shù)據(jù)集下載，公眾號的付費(fèi)圖文原稿，技術(shù)總結(jié)PPT和視頻，知識問答，書籍下載，項(xiàng)目推薦，線下活動等資源，了解詳細(xì)請閱讀以下文章：

【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？

【雜談】萬萬沒想到，有三還有個保密的‘朋友圈’，那里面都在弄啥！

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

• 【星球知識卡片】殘差網(wǎng)絡(luò)家族10多個變種學(xué)習(xí)卡片，請收下！

• 【星球知識卡片】移動端高效率的分組網(wǎng)絡(luò)都發(fā)展到什么程度了？

• 【星球知識卡片】注意力機(jī)制發(fā)展如何了，如何學(xué)習(xí)它在各類任務(wù)中的應(yīng)用？

• 【星球知識卡片】模型剪枝有哪些關(guān)鍵技術(shù)，如何對其進(jìn)行長期深入學(xué)習(xí)

• 【星球知識卡片】模型量化的核心技術(shù)點(diǎn)有哪些，如何對其進(jìn)行長期深入學(xué)習(xí)

總結(jié)

以上是生活随笔為你收集整理的【星球知识卡片】模型蒸馏的核心技术点有哪些，如何对其进行长期深入学习...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。