一文弄懂各大池化Pooling操作
池化Pooling是卷積神經網絡中常見的一種操作,Pooling層是模仿人的視覺系統對數據進行降維,其本質是降維。在卷積層之后,通過池化來降低卷積層輸出的特征維度,減少網絡參數和計算成本的同時,降低過擬合現象。
最大池化(Max Pooling)是將輸入的圖像劃分為若干個矩形區域,對每個子區域輸出最大值。即,取局部接受域中值最大的點。同理,平均池化(Average Pooling)為取局部接受域中值的平均值。
Global Pooling就是Pooling的滑窗size和整個Feature Map的size一樣大。在滑窗內的具體pooling方法可以是任意的,所以就會被細分為Global Average Pooling,Global Max Pooling等。
Stochastic pooling是論文《Stochastic Pooling for Regularization of Deep Convolutional Neural Networks》中提到的一種池化策略,大意是只需對特征區域元素按照其概率值大小隨機選擇,元素值大的被選中的概率也大。
Mix Pooling是同時利用最大值池化Max Pooling與均值池化Average Pooling兩種的優勢而引申的一種池化策略。常見的兩種組合策略:拼接Cat與疊加Add。
SoftPool是一種變種的Pooling,它可以在保持池化層功能的同時盡可能減少池化過程中帶來的信息損失。上圖展示了SoftPool操作的Forward階段與Backward階段,6*6大小的區域表示的是激活映射a。
Local Importance-based Pooling提出通過一個基于輸入特征的子網絡自動學習重要性。它能夠自適應地確定哪些特征更重要,同時在采樣過程中自動增強識別特征。具體思路是,在原feature map上學習一個類似于attention的map,然后和原圖進行加權求平均。需要說明的是,這里采樣的間隔其實還是固定的,不符合上述描述的第一條,但是作者認為,由于importance是可變,從而實現變形的感受野。
S3Pool提出一種隨機位置池化策略,集成了隨機池化Stochastic Pooling與最大值池化Max Pooling。
圖池化是基于條件隨機場的,它是將圖池化視為一個節點聚類問題,并使用CRF在不同節點的分配之間建立關系。并通過結合圖拓撲信息來推廣這個方法,使得圖池化可以控制CRF中的成對團集。
Region of Interest Pooling是在目標檢測任務中廣泛使用的操作。它對于來自輸入列表的每個感興趣區域,它采用與其對應的輸入特征圖的一部分并將其縮放到某個預定義的大小。這可以顯著加快訓練和測試時間,它允許重新使用卷積網絡中的特征映射,同時也允許以端到端的方式訓練物體檢測系統。
寶,我看盡了池化。什么化?為你畫地為牢的畫總結
以上是生活随笔為你收集整理的一文弄懂各大池化Pooling操作的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 电商搜索推荐业务词汇表
- 下一篇: 用 XGBoost 做 Learning