大家好，歡迎來到我們的星球知識小卡片專欄，本期給大家分享模型量化的核心技術(shù)點。

作者&編輯 | 言有三

1 二值(1bit)量化

二值量化是最高效率的量化方式，也可以稱之為1bit量化，即將32位浮點數(shù)量化為1bit整型，非常適合FPGA等平臺進(jìn)行并行運算。二值量化模型以Binary Connect和Binarized Neural Networks為代表。

2 8bit量化

8bit量化是當(dāng)前工業(yè)界最常見的量化方法，也是當(dāng)前精度保持最高的量化類型。Tensorflow，TensorRT等框架都提供了支持，并且各自代表著非對稱量化和對稱量化的方案，以Nvidia的8bit對稱量化方案為例：

3 任意bit量化

除了2bit和8bit兩類最常見的量化方法，3bit，4bit，6bit等也經(jīng)常被研究，以韓松等人提出的Deep Compression為例，它還融合了模型剪枝技術(shù)。

4 混合精度量化

所謂混合精度量化，它可以指不同的網(wǎng)絡(luò)層有不同的量化位階，或者權(quán)重，激活以及輸出采用不同的量化方案，當(dāng)下還可以利用AutoML技術(shù)來實現(xiàn)，以HAQ框架為例。

5 量化訓(xùn)練框架

目前前向傳播中權(quán)重和激活的量化比較成熟，但是訓(xùn)練中大部分的計算在反向傳播步驟，如果能夠?qū)⒘炕夹g(shù)應(yīng)用在反向傳播中，則可以加速卷積的反向梯度傳播過程，不過這需要對梯度也進(jìn)行量化操作，而梯度的分布比較復(fù)雜，容易帶來誤差造成訓(xùn)練過程的不穩(wěn)定。

6 其他

總的來說，模型量化有非常多的研究方向，包括：

(1) 非均勻量化方案的設(shè)計。

(2) 基于重建與損失敏感的量化方法。

(3) 量化正則化方法。

(4) 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計。

(5) 訓(xùn)練中量化框架的設(shè)計。

(6) 量化的具體硬件實現(xiàn)。

(7) 其他。

以上內(nèi)容，如果你不想自己學(xué)習(xí)，可以去我們知識星球的網(wǎng)絡(luò)結(jié)構(gòu)1000變板塊—模型量化板塊閱讀，純屬自愿，不愿勿噴。

有三AI知識星球

知識星球是有三AI的付費內(nèi)容社區(qū)，里面包括各領(lǐng)域的模型學(xué)習(xí)，數(shù)據(jù)集下載，公眾號的付費圖文原稿，技術(shù)總結(jié)PPT和視頻，知識問答，書籍下載，項目推薦，線下活動等資源，了解詳細(xì)請閱讀以下文章：

【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？

【雜談】萬萬沒想到，有三還有個保密的‘朋友圈’，那里面都在弄啥！

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

• 【雜談】2020年有三AI計算機視覺培養(yǎng)計劃詳解，該不該學(xué)&怎么學(xué)CV的簡單討論

• 【年終總結(jié)】2019年有三AI做了什么，2020年我們要做什么？
  

• 【總結(jié)】有三AI秋季劃模型優(yōu)化組3月直播講了哪些內(nèi)容，為什么每一個從事深度學(xué)習(xí)的同學(xué)都應(yīng)該掌握模型優(yōu)化的內(nèi)容

• 【總結(jié)】有三AI秋季劃人臉?biāo)惴ńM3月直播講了哪些內(nèi)容，計算機視覺你不可能繞開人臉圖像

• 【總結(jié)】有三AI秋季劃圖像質(zhì)量組3月直播講了哪些內(nèi)容，為什么解決好底層圖像處理問題那么重要

• 【星球知識卡片】殘差網(wǎng)絡(luò)家族10多個變種學(xué)習(xí)卡片，請收下！

• 【星球知識卡片】移動端高效率的分組網(wǎng)絡(luò)都發(fā)展到什么程度了？

• 【星球知識卡片】注意力機制發(fā)展如何了，如何學(xué)習(xí)它在各類任務(wù)中的應(yīng)用？

• 【星球知識卡片】模型剪枝有哪些關(guān)鍵技術(shù)，如何對其進(jìn)行長期深入學(xué)習(xí)
  

總結(jié)

以上是生活随笔為你收集整理的【星球知识卡片】模型量化的核心技术点有哪些，如何对其进行长期深入学习...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。