都2021年了,不会还有人连深度学习都不了解吧(五)-- 下采样篇
導讀
該篇文章重點介紹CNN中下采樣方式,下采樣是CNN中必不可少的階段之一,CNN中常用的下采樣方式有平均池化和最大池化,同時平均池化和最大池化也是注意力機制的重要組件。
目前深度學習系列已經更新了6篇文章,分別是激活函數篇、卷積篇、損失函數篇、評估指標篇,另還有1篇保姆級入門教程,1篇總結性文章CNN中十大令人拍案叫絕的操作,想要入門深度學習的同學不容錯過!
一、下采樣方式
平均池化和最大池化是CNN中使用最多的下采樣方式,所謂的池化,是指特征圖分別在高、長方向上的縮小運算,下采樣目的在于增加模型的魯棒性,所謂的魯棒性,可以簡單理解為當輸入數據發生微小偏差時,結果仍是相同的。池化的特征主要有3個:
- ①池化層沒有要學習的參數,這與卷積層有質的區別。
- ②經過池化層后,特征圖的通道數不會發生變化,即輸入數據和輸出數據的通道數是相同的。
- ③對微小的位置變化具有魯棒性。
下面我們分別介紹最大池化(MaxPool)和平均池化(AvgPool)兩種最常見的下采樣方式。
1.1 最大池化
假設有一張特征圖X,size為(4,4),池化窗口kernel size為2,池化步長為2。
step1:
step2:
step3:
step4:
1.2 平均池化
平均池化的運行原理跟最大池化基本一樣,唯一不同之處在于平均池化是計算目標區域的平均值。
step1:
- (1+2+0+1)/ 4=1
step2:
- (1+2+2+3)/ 4=2
step3:
- (3+0+3+4)/ 4=2
step4:
- (1+2+0+1)/ 4=1
最后特征圖變為:
1.3 size的變化
假設輸入大小為(H, W),濾波器大小為(FH, FW),輸出大小為(OH, OW),填充為P,步幅為S,輸出大小可通過下式計算得到。
二、下采樣作用
下采樣的優勢主要有以下幾點:
- ①降維,減少網絡要學習的參數數量。
- ②防止過擬合。
- ③增大感知野
- ④可以實現不變性:平移不變性,旋轉不變性,尺度不變性。
下采樣最大的劣勢在于在下采樣過程中會丟失大量的特征信息,但是這些信息可以通過一些特有的手段在一定程度上進行彌補。
文章持續更新,可以關注微信公眾號【醫學圖像人工智能實戰營】獲取最新動態,一個專注于醫學圖像處理領域前沿科技的公眾號。堅持以實踐為主,手把手帶你做項目,打比賽,寫論文。凡原創文章皆提供理論講解,實驗代碼,實驗數據。更有上百部深度學習入門資料免費等你來拿,只有實踐才能成長的更快,關注我們,一起學習進步~
計劃
深度學習保姆級入門教程 – 論文+代碼+常用工具
1個字,絕! – CNN中十大令人拍案叫絕的操作
都2021年了,不會還有人連深度學習還不了解吧?(一)-- 激活函數篇
都2021年了,不會還有人連深度學習還不了解吧?(二)-- 卷積篇
都2021年了,不會還有人連深度學習還不了解吧?(三)-- 損失函數篇
都2021年了,不會還有人連深度學習還不了解吧?(四)-- 上采樣篇
都2021年了,不會還有人連深度學習還不了解吧?(五)-- 下采樣篇
都2021年了,不會還有人連深度學習還不了解吧?(六)-- Padding篇
都2021年了,不會還有人連深度學習還不了解吧?(七)-- 評估指標篇
都2021年了,不會還有人連深度學習還不了解吧?(八)-- 優化算法篇
都2021年了,不會還有人連深度學習還不了解吧?(九)-- 注意力機制篇
都2021年了,不會還有人連深度學習還不了解吧?(十)-- 數據歸一化篇
覺得寫的不錯的話,歡迎點贊+評論+收藏,歡迎關注我的微信公眾號,這對我幫助真的很大很大很大!
總結
以上是生活随笔為你收集整理的都2021年了,不会还有人连深度学习都不了解吧(五)-- 下采样篇的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 锻炼产品架构思维的4个维度
- 下一篇: 2021“鲜美生活”新趋势:中国食品行业