作者丨happy
編輯丨極市平臺
本文原創首發于極市平臺，轉載請獲得授權并標明出處。

VisionTransformer向輕量型邁進，微軟與中科大提出兩路并行的Mobile-Former

已有的Transformer對標的CNN主要是ResNet系列，鮮少有對標端側輕量模型的Transformer。本文則從輕量模型角度出發，在MobileNet與Transformer組合方面進行了探索，它創造性的將MobileNet與Transformer進行了兩路并行設計，穿插著全局與特征特征的雙向融合，同時利用卷積與Transformer兩者的優勢達到“取長補短”的目的。此外，受益于超輕量設計，所提Mobile-Former不僅計算高效，同時具有更強的表達能力。在ImageNet分類與COCO目標檢測方面，所提Mobile-Former取得了顯著優于MobileNetV3的性能。

Abstract

本文提出了一種新穎的Mobile-Former，它采用了MobileNet與Transformer兩路并行設計機制，該架構充分利用了MobileNet的局部處理優勢與Transformer的全局交互能力。Transformer與MobileNet的雙向橋接促進了全局特征與局部特征的雙向融合。不同于現有的Vision Transformer，Mobile-Former中的Transformer包含非常少的(比如少于6個)、隨機初始化tokens，進而產生了非常低的計算復雜度。結合所提輕量注意力，Mobile-Former不僅計算高效，同時具有更強的表達能力。在ImageNet分類任務上，從25M到500M Flops復雜度下，所提方案均取得了優于MobileNetV3的性能。比如，它憑借294MFlops計算量取得了比MobileNetV3高1.3%的top1精度且計算量節省17%；當遷移到目標檢測時，Mobile-Former取得了比MobileNetV3高8.6AP的指標。

Method

閱讀全文：Transformer 向輕量型邁進，微軟與中科院提出兩路并行的 Mobile-Former

推薦大家關注極市平臺公眾號，每天都會更新最新的計算機視覺論文解讀、綜述盤點、調參攻略、面試經驗等干貨~

總結

以上是生活随笔為你收集整理的Transformer 向轻量型迈进，微软与中科院提出两路并行的 Mobile-Former的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。