深度學習之卷積神經網絡（5）表示學習

?我們已經介紹完卷積神經網絡層的工作原理與實現方法，復雜的卷積神經網絡模型也是基于卷積層的堆疊構成的。在過去的一段時間內，研究人員發現網絡層數越深，模型的表達能力越強，也就越有可能取得更好的性能。那么層層堆疊的卷積網絡到底學到了什么特征，使得層數越深，網絡的表達能力越強呢？

?2014年，Matthew D.Zeiler等人嘗試利用可視化的方法去理解卷積神經網絡到底學到了什么。通過將每層的特征利用“反卷積”網絡（Deconvolutional Network）映射回輸入圖片，即可查看學到的特征分布，如下圖所示。可以觀察到，第二層的特征對應到邊、角、色彩等底層圖像提取; 第三層開始捕獲到紋理這些中層特征; 第四、第五層呈現了物體的部分特征，如小狗的臉部、鳥類的腳步等高層特征。通過這些可視化的手段，我們可以一定程度上感受神經網絡的特征學習過程。

卷積神經網絡特征可視化

?圖片數據的識別過程一般認為也是表示學習（Represent-ation Learning）的過程，從接受到的原始像素特征開始，逐漸提取邊緣、角點等底層特征，再到紋理等中層特征，再到頭部、物體部件等高層特征，最后的網絡層基于這些學習到的抽象特征表示（Representation）做邏輯分類的學習。學習到的特征越高層、越準確，就越利于分類器的分類，從而獲得較好的性能。從表示學習的角度來理解，卷積神經網絡通過層層堆疊來逐層提取特征，網絡訓練的過程可以看成特征的學習過程，基于學習到高層的特征可以方便地進行分類任務。

?應用表示學習的思想，訓練好的卷積神經網絡往往能學習到較好的特征，這種特征的提取方法一般是通用的。比如在貓、狗任務上學習到頭、腳、身軀等特征的表示，在其它動物上也能夠一定程度上使用。基于這種思想，可以將在任務A上訓練好的深層神經網絡的前面數個特征提取層遷移到任務B上，只需要訓練任務B的分類邏輯（表現為網絡的最末數層），即可取得非常好的效果，這種方式是遷移學習的一種，從神經網絡角度也稱為網絡微調（Fine-tuning）。

總結

以上是生活随笔為你收集整理的深度学习之卷积神经网络（5）表示学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。