基本概念

• 昇騰模型壓縮工具提供了一系列的模型壓縮方法，對模型進行壓縮處理后，生成的部署模型在昇騰AI處理器上可使能一系列性能優(yōu)化操作，提高性能。昇騰模型壓縮工具當前使用的壓縮方法主要包括：量化、融合以及張量分解，根據(jù)功能劃分為量化和張量分解。

量化

• 量化是指對模型的權重（weight）和數(shù)據(jù)（activation）進行低比特處理，讓最終生成的網絡模型更加輕量化，從而達到節(jié)省網絡模型存儲空間、降低傳輸時延、提高計算效率，達到性能提升與優(yōu)化的目標。

張量分解

• 張量分解通過分解卷積核的張量，將一個卷積轉化成兩個小卷積的堆疊來降低推理開銷。

融合

• 融合是指通過數(shù)學等價，將模型中的多個算子運算融合單算子運算，以減少實際前向過程中的運算量，如將卷積層和BN層融合為一個卷積層。

總結

以上是生活随笔為你收集整理的神经网络模型量化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。