10分钟弄懂深度学习:卷积与特征提取
卷積可以作為機器學習中的“特征提取器”。
我們在前面的講述中,提到過機器學習中分類模型的“特征提取器 + 分類器”的串聯結構。在傳統的機器學習中,特征提取器是人為選定的,而分類器的參數則是用數據進行訓練得到的。也就是“人為確定特征 + 數據訓練分類器”的方式。然而,這種方式并不是萬能的,主要問題在于前半部分。
卷積神經網絡特征提取
特征難題
因為,好的特征,特別在高維空間中的特征,很多情況下,是不容易直接由人類看出來的。那么,如何找到好的特征,就成為一個難題了。這個難題還催生出了機器學習的一個領域:特征工程 (feature engineering)。
特征工程,就是如何提取特征的一套方法論。特征非常重要,如果特征選擇得好的話,即使后面的分類器不是最優,依然可以得到一個不錯的結果 (就像我們上面舉的例子一樣)。而如果特征沒選好的話,后面分類器即使再好,結果也不會太好。
特征工程一直是機器學習中的一個難點,主要的原因在于不同的數據、不同的問題中的好的特征都是不同的。例如,在圖像處理中,好的特征,往往不適用于語音信號處理;甚至兩個同樣是圖像識別的任務,因為所包含的數據不同,對應的好的特征也不同。
此外,機器學習的研究者還有一個頭疼的問題是:
你怎么知道你手動選出來的特征是最好的?有沒有比它更好的特征呢?
通常,他們無法給出這個問題的答案。絕大多數情況下,往往只能通過試錯 (trail-and-error),或者索性把所有能想到的特征都挨個試一遍。這種方法主要是依賴于經驗和運氣,因此受到很多人的詬病。因此,很多人就想到了這樣一個問題:
是否可以通過像訓練分類器一樣,用訓練數據找到最好的特征呢?
當然可以。卷積神經網絡就做了這件事情。
卷積作為特征提取器
卷積神經網絡,從字面上包括兩個部分:卷積+神經網絡。其中,卷積就是特征提取器,而神經網絡,可以看作分類器。訓練一個卷積神經網絡,就是同時訓練了特征提取器 (卷積) 和后面的分類器 (神經網絡)。用函數的角度來看,傳統的分類模型可以寫成如下形式
y = f( x, θclassifier )
我們可以用訓練數據,來調試只有分類器中才有的參數“θclassifier”。
根據前面幾講的論述,卷積神經網絡的函數形式,可寫成如下形式:
y = f( x, θfilter, θclassifier )
該模型允許我們用訓練數據來調試的參數變成了兩類:
特征提取器中的參數θfilter分類器中的參數θclassifier這樣一來,卷積神經網絡的結構,就非常清晰了。
總結
以上是生活随笔為你收集整理的10分钟弄懂深度学习:卷积与特征提取的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Linux源代码编译安装详解
- 下一篇: 计算机视觉——百度百科