前言?本文提出了一種簡單而有效的動態優化池操作（ Dynamically Optimized Pooling operation），稱為DynOPool，它通過學習每一層感受野的最佳大小和形狀來優化特征映射的端到端比例因子。
深度神經網絡中任何類型的調整大小模塊都可以用DynOPool操作以最小的成本替換。此外，DynOPool通過引入一個限制計算成本的附加損失項來控制模型的復雜性。

論文：https://arxiv.org/abs/2205.15254

代碼：未發布

背景

盡管深度神經網絡在計算機視覺、自然語言處理、機器人、生物信息學等各種應用中取得了前所未有的成功，但最優網絡結構的設計仍然是一個具有挑戰性的問題。而感受野的大小和形狀決定了網絡如何聚集本地信息，并對模型的整體性能產生顯著影響。神經網絡中的許多組成部分，例如用于卷積和池化運算的內核大小和步長，都會影響感受野的配置。然而，它們仍然依賴于超參數，現有模型的感受野會導致形狀和大小不理想。

本文通過介紹固定大小和形狀的傳統感受野是次優的問題，討論了DynOPool如何通過CIFAR-100上的VGG-16玩具實驗解決這個問題。

固定大小和形狀的傳統感受野存在的問題：

1.不對稱分布的信息

最佳感受野形狀會根據數據集中固有的空間信息不對稱性而改變。而大多數情況下固有的不對稱性是不可測量的。此外，通常用于預處理的輸入大小調整有時也會導致信息不對稱。在人工設計的網絡中，圖像的長寬比經常被調整以滿足模型的輸入規格。然而，這種網絡中的感受野不是用來處理操作的。

為了驗證所提出的方法，作者在CIFAR-stretch-V上進行實驗，如圖1（a）所示，相較于人工設計模型，形狀通過DynOPool動態優化的特征映射通過在水平方向上提取更具有價值的信息提高性能。

?

圖1 用來自CIFAR-100的三個不同的合成數據集進行玩具實驗:

(a)隨機裁剪垂直拉伸的圖像 (b)在4×4網格中平鋪縮小的圖像 (c)放大縮小的圖像。

2.密集分布或稀疏分布信息

局部性是設計最優模型的組成部分。CNN通過級聯的方式聚合局部信息來學習圖像的復雜表示。而局部信息的重要性很大程度上取決于每個圖像的屬性。例如，當一個圖像被模糊化時，大多數有意義的微觀模式，如物體的紋理，都會被抹去。在這種情況下，最好在早期層中擴展感受野，集中于全局信息。另一方面，如果一幅圖像在局部細節中包含大量類特定的信息，例如紋理，則識別局部信息將會更加重要。

為了驗證假設，作者構建了CIFAR-100數據集的兩個變體，CIFAR-tile和CIFAR-large，如圖1(b)和(c)所示。作者模型在很大程度上優于人工設計的模型。

貢獻

為了緩解人工構建的體系結構和操作的次優性，作者提出了動態優化池操作（DynOPool），這是一個可學習的調整大小模塊，可以替代標準的調整大小操作。該模塊為在數據集上學習的操作找到感受野的最佳比例因子，從而將網絡中的中間特征圖調整為適當的大小和形狀。

論文的主要貢獻：

1、解決了深度神經網絡中現有尺度算子依賴于預定超參數的局限性。指出了在中間特征圖中尋找最佳空間分辨率和感受野的重要性。

2、提出了一個可學習的調整尺寸大小的模塊DynOPool，它可以找到中間特征圖的最佳比例因子和感受域。DynOPool使用學習到的比例因子識別某一層的最佳分辨率和感受野，并將信息傳播到后續層，從而在整個網絡中實現規模優化。

3、證明了在圖像分類和語義分割任務中，使用DynOPool的模型在多個數據集和網絡架構上優于基線算法。它還顯示了精度和計算成本之間的理想權衡。

方法

1.動態優化池(DynOPool)

?

圖2 DynOPool中的調整大小模塊

模塊通過優化一對輸入和輸出特征映射之間的比例因子r來優化查詢點q的位置以及獲得中間特征映射的最佳分辨率。DynOPool在不影響其他算子的情況下，自適應控制較深層接收域的大小和形狀。

?

圖3 DynOPool整個的優化過程

針對比例因子r梯度不穩定，會產生梯度爆炸導致訓練過程中分辨率發生顯著變化的問題，使用a重新參數化r如下：

?

2.模型復雜性約束

為了最大化模型的精度，DynOPool有時會有較大的比例因子，增加了中間特征圖的分辨率。因此，為了約束計算代價，減少模型規模，引入了一個額外的損失項LGMACs，它由每次訓練迭代t的分層GMACs計數的簡單加權和給出，如下所示:

?

實驗

表1 人工設計模型與使用DynOPool模型的精度(%)和GMACs比較

?

圖4 在VGG-16上使用人工設計的Shape Adaptor與使用DynOPool的訓練模型可視化。

?

表2 在CIFAR-100數據集上DynOPool和Shape Adaptor的比較

?

表3 在ImageNet數據集上EfficientNet-B0+DynOPool的性能

?

表4 基于PascalVOC的HRNet-W48語義分割結果

?

結論

作者提出了一種簡單而有效的動態優化池操作（DynOPool），它通過學習每個層中感受野的理想大小和形狀來優化端到端的特征映射的比例因子，調整中間特征圖的大小和形狀，有效提取局部細節信息，從而優化模型的整體性能；

DynOPool還通過引入一個額外的損失項來限制計算成本，從而控制模型的復雜性。實驗表明，在多個數據集上，該模型在圖像分類和語義分割方面均優于基線網絡。

------------------------------------------------------------------------------------

CV技術指南創建了一個計算機視覺技術交流群和免費版的知識星球，目前星球內人數已經600+，主題數量達到200+。

知識星球內將會每天發布一些作業，用于引導大家去學一些東西，大家可根據作業來持續打卡學習。

技術群內每天都會發最近幾天出來的頂會論文，大家可以選擇感興趣的論文去閱讀，持續follow最新技術，若是看完后寫個解讀給我們投稿，還可以收到稿費。

另外，技術群內和本人朋友圈內也將發布各個期刊、會議的征稿通知，若有需要的請掃描加好友，并及時關注。

加群加星球方式：關注公眾號CV技術指南，獲取編輯微信，邀請加入。

歡迎關注公眾號CV技術指南，專注于計算機視覺的技術總結、最新技術跟蹤、經典論文解讀、CV招聘信息。

征稿通知：歡迎可以寫以下內容的朋友聯系我。（掃描這個鏈接里的二維碼）

TVM入門到實踐的教程

MNN入門到實踐的教程

數字圖像處理與Opencv入門到實踐的教程

OpenVINO入門到實踐的教程

libtorch入門到實踐的教程

Oneflow入門到實踐的教程

Detectron入門到實踐的教程

caffe源碼閱讀

pytorch源碼閱讀

深度學習從入門到精通（從卷積神經網絡開始講起）

最新頂會的解讀。例如最近的CVPR2022論文。

各個方向的系統性綜述、主要模型發展演變、各個模型的創新思路和優缺點、代碼解析等。

若自己有想寫的且這上面沒提到的，可以跟我聯系。

聲明：有一定報酬，具體請聯系詳談。若有想法寫但覺得自己能力不夠，也可以先聯系本人了解

其它文章

計算機視覺入門路線

CVPR2022 | 重新審視池化：你的感受野不是最理想的

CVPR 2022 | 未知目標檢測模塊STUD：學習視頻中的未知目標

CVPR2022 | 基于排名的siamese視覺跟蹤

CVPR2022 | 通過目標感知Transformer進行知識蒸餾

CVPR2022丨無監督預訓練下的視頻場景分割

從零搭建Pytorch模型教程（六）編寫訓練過程和推理過程

從零搭建Pytorch模型教程（五）編寫訓練過程--一些基本的配置

從零搭建Pytorch模型教程（四）編寫訓練過程--參數解析

從零搭建Pytorch模型教程（三）搭建Transformer網絡

從零搭建Pytorch模型教程（二）搭建網絡

從零搭建Pytorch模型教程（一）數據讀取

一份熱力圖可視化代碼使用教程

一份可視化特征圖的代碼

關于快速學習一項新技術或新領域的一些個人思維習慣與思想總結

總結

以上是生活随笔為你收集整理的CVPR2022 | 重新审视池化：你的感受野不是最理想的的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。