2020-12-09 深度学习 卷积核/过滤器、特征图(featue map)、卷积层
概念學習:卷積核/過濾器、特征圖(featue map)、卷積層
作為基礎學習,建議先看一看電子版的:
[美] Michael Nielsen著,Xiaohu Zhu/Freeman Zhang譯:《神經?絡與深度學習》(Neural Networks and Deep Learning)
這本書深入淺出,把神經網絡的基本原理講得比較清楚。
?
人們把feature map翻譯成特征圖,把channel翻譯為通道。有時這二者說的是同一件事;但有時強調輸入輸出時就叫通道,強調圖片經過神經網絡運算后發現的特征就叫特征圖。在下文的說明過程中,我們不做顯著的區分,同學們可以理解為上一層輸出的feature maps就是下一層輸入的channels。
?
(1)卷積核/過濾器
卷積核也稱為過濾器(filter)。
每個卷積核具有長、寬、深三個維度。
卷積核的長、寬都是人為指定的,長X寬也被稱為卷積核的尺寸,常用的尺寸為3X3,5X5等。
在指定卷積核時,只需指定其長和寬兩個參數,這是因為通常卷積核的深度(也可以理解為通道數)與當前圖像的深度(feather map的個數,比如:RGB三個通道就是三個feature map)相同。
卷積過程中,輸入層有多少個通道(輸入的feature map個數),濾波器就要有多少個通道(卷積核的深度);但是濾波器的數量是任意的,濾波器的數量決定了卷積后輸出的通道數(即:輸出的feature map 個數)。
在許多常用的體系結構中,隨著計算所使用的網絡越來越深,所使用的過濾器數量也越來越大(例如,第二個為64,第三個為128,依此類推)。
?
(2)feature map
輸入層:在輸入層,如果是灰度圖片,那就只有一個feature map(一個通道);如果是彩色圖片,一般就是3個feature map(紅綠藍三個通道)。
其它層:層與層之間會有若干個卷積核(kernel)(也稱為過濾器),上一層的feature map(通道)跟每個卷積核做卷積,都會產生下一層的一個feature map;有N個卷積核,下層就會產生N個feather map(即:N個輸出通道)。
?
(3)卷積層
許多卷積架構是從一個外部卷積單元開始的,它將信道RGB的輸入圖像映射到一系列內部過濾器中。在深度學習框架中,這個代碼可能如下所示:
?
out_1=Conv2d(input=image, filter=32, kernel_size=(3,3), strides=(1,1))
relu_out=relu(out_1)
pool_out=MaxPool(relu_out, kernel_size=(2,2), strides=2)
?
對一個輸入圖片,這里使用了32個的過濾器,每個過濾器尺寸為3X3,步長為1。
下面這張圖,可以用來顯示上述代碼片段中所有的操作:
?
上圖中,32個過濾器中的每個過濾器(即:Filter-1、Filter-2……)實際上包含一組3個二維內核(Wt-R、Wt-G和WT-B,即:深度為3)。這些二維內核中的每一個分別保存為輸入圖片中的紅(R)、綠(G)和藍(B)信道。
在正向傳播期間,輸入圖片中的R、G和B像素值分別與Wt-R、Wt-G和Wt-B內核相乘以產生一個間歇激活映射(intermittent activation map)(圖中未標出)。然后將三個核的輸出相加,這樣就為每個過濾器產生一個激活映射(Activation),一共是32個。
隨后,這些激活映射中的每一個都要受到ReLu函數的支配,最后運行到最大池化層(也有不使用最大池化層的),而后者主要負責減少輸出激活映射的維度(可以理解為減小了長X寬的大小,注意這里所使用的步長為2)。最后,我們得到的是一組32個激活映射,其維數是輸入圖片的一半(即:得到的32個feature map,每個feature map的尺寸只有輸入圖片的一半)。
來自卷積層的輸出經常用作后續卷積層的輸入。因此,如果我們的第二個卷積單元如下:
?
conv_out_2 = Conv2d(input = relu_out,filters = 64)
?
在這個卷積單元中有64個過濾器,每個過濾器使用一組32個獨特的內核(每個內核對應前面卷積層輸出的一個feature map的信道,32個feature map就需要32個內核,即:深度為32)。
參數比較簡單的Conv2d()卷積函數的計算過程可以參考:
https://blog.csdn.net/weixin_41943311/article/details/94570067
?
(4)Batch Normalization
Normalization是數據標準化(歸一化,規范化),Batch 可以理解為批量,加起來就是批量標準化。
總結
以上是生活随笔為你收集整理的2020-12-09 深度学习 卷积核/过滤器、特征图(featue map)、卷积层的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2020-12-09 深度学习 卷积神经
- 下一篇: 2020-12-09 深度学习 卷积神经