[王曉剛]深度學習在圖像識別中的研究進展與展望(轉發）

?(2015-06-04 08:27:56) 轉載▼

?

?

深度學習是近十年來人工智能領域取得的最重要的突破之一。它在語音識別、自然語言處理、計算機視覺、圖像與視頻分析、多媒體等諸多領域都取得了巨大成功。本文將重點介紹深度學習在物體識別、物體檢測、視頻分析的最新研究進展，并探討其發展趨勢。

1. 深度學習發展歷史的回顧

現有的深度學習模型屬于神經網絡。神經網絡的歷史可追述到上世紀四十年代，曾經在八九十年代流行。神經網絡試圖通過模擬大腦認知的機理，解決各種機器學習的問題。1986 年Rumelhart，Hinton 和Williams 在《自然》發表了著名的反向傳播算法用于訓練神經網絡[1]，直到今天仍被廣泛應用。

但是后來由于種種原因，大多數學者在相當長的一段的時間內放棄了神經網絡。神經網絡有大量的參數，經常發生過擬合問題，即往往在訓練集上準確率很高，而在測試集上效果差。這部分歸因于當時的訓練數據集規模都較小。而且計算資源有限，即便是訓練一個較小的網絡也需要很長的時間。總體而言，神經網絡與其它模型相比并未在識別的準確率上體現出明顯的優勢，而且難于訓練。

因此更多的學者開始采用諸如支持向量機、Boosting、最近鄰等分類器。這些分類器可以用具有一個或兩個隱含層的神經網絡模擬，因此被稱作淺層機器學習模型。它們不再模擬大腦的認知機理；相反，針對不同的任務設計不同的系統，并采用不同的手工設計的特征。例如語音識別采用高斯混合模型和隱馬爾可夫模型，物體識別采用SIFT 特征，人臉識別采用LBP 特征，行人檢測采用HOG特征。

2006 年，Geoffrey Hinton 提出了深度學習。之后深度學習在諸多領域取得了巨大成功，受到廣泛關注。神經網絡能夠重新煥發青春的原因有幾個方面。首先是大數據的出現在很大程度上緩解了訓練過擬合的問題。例如ImageNet[2]訓練集擁有上百萬有標注的圖像。計算機硬件的飛速發展提供了強大的計算能力，使得訓練大規模神經網絡成為可能。一片GPU 可以集成上千個核。此外神經網絡的模型設計和訓練方法都取得了長足的進步。例如，為了改進神經網絡的訓練，學者提出了非監督和逐層的預訓練。它使得在利用反向傳播對網絡進行全局優化之前，網絡參數能達到一個好的起始點，從而訓練完成時能達到一個較好的局部極小點。

深度學習在計算機視覺領域最具影響力的突破發生在2012 年，Hinton 的研究小組采用深度學習贏得了ImageNet [2] 圖像分類的比賽[3]。ImageNet 是當今計算機視覺領域最具影響力的比賽之一。它的訓練和測試樣本都來自于互聯網圖片。訓練樣本超過百萬，任務是將測試樣本分成1000 類。自2009 年，包括工業界在內的很多計算機視覺小組都參加了每年一度的比賽，各個小組的方法逐漸趨同。在2012 年的比賽中，排名2 到4 位的小組都采用的是傳統的計算機視覺方法，手工設計的特征，他們準確率的差別不超過1%。Hinton 的研究小組是首次參加比賽，深度學習比第二名超出了10%以上。這個結果在計算機視覺領域產生了極大的震動，掀起了深度學習的熱潮。

計算機視覺領域另一個重要的挑戰是人臉識別。Labeled Faces in the Wild (LFW) [4] 是當今最著名的人臉識別測試集，創建于2007 年。在此之前，人臉識別測試集大多采集于實驗室可控的條件下。LFW 從互聯網收集了五千多個名人的人臉照片，用于評估人臉識別算法在非可控條件下的性能。這些照片往往具有復雜的光線、表情、姿態、年齡和遮擋等方面的變化。LFW的測試集包含了6000 對人臉圖像。其中3000 對是正樣本，每對的兩張圖像屬于同一個人；剩下3000 對是負樣本，每對的兩張圖像屬于不同的人。隨機猜的準確率是50%。有研究表明[5]，如果只把不包括頭發在內的人臉的中心區域給人看，人眼在LFW 測試集上的識別率是97.53%。如果把整張圖像，包括背景和頭發給人看，人眼的識別率是99.15%。經典的人臉識別算法Eigenface [6] 在這個測試集上只有60%的識別率。在非深度學習的算法中，最好的識別率是96.33% [7]。目前深度學習可以達到99.47%的識別率[8]。

在學術界收到廣泛關注的同時，深度學習也在工業界產生了巨大的影響。在Hinton 的科研小組贏得ImageNet 比賽之后6 個月，谷歌和百度發都布了新的基于圖像內容的搜索引擎。他們沿用了Hinton 在ImageNet 競賽中用的深度學習模型，應用在各自的數據上，發現圖像搜索的準確率得到了大幅度的提高。百度在2012 年就成立了深度學習研究院，于2014 年五月又在美國硅谷成立了新的深度學習實驗室，聘請斯坦福著名教授吳恩達擔任首席科學家。Facebook 于2013 年12 月在紐約成立了新的人工智能實驗室，聘請深度學習領域的著名學者，卷積網路的發明人YannLeCun 作為首席科學家。2014 年1 月，谷歌四億美金收購了一家深度學習的創業公司，DeepMind。鑒于深度學習在學術和工業界的巨大影響力，2013 年MIT Technology Review將其列為世界十大技術突破之首。

2. 深度學習有何與眾不同？

許多人會問，深度學習和其它機器學習方法相比有哪些關鍵的不同點，它成功的秘密在哪里？我們下面將對這此從幾個方面作簡要的闡述。

2.1 特征學習

深度學習與傳統模式識別方法的最大不同在于它是從大數據中自動學習特征，而非采用手工設計的特征。好的特征可以極大提高模式識別系統的性能。在過去幾十年模式識別的各種應用中，手工設計的特征處于同統治地位。它主要依靠設計者的先驗知識，很難利用大數據的優勢。由于依賴手工調參數，特征的設計中只允許出現少量的參數。深度學習可以從大數據中自動學習特征的表示，其中可以包含成千上萬的參數。手工設計出有效的特征是一個相當漫長的過程。回顧計算機視覺發展的歷史，往往需要五到十年才能出現一個受到廣泛認可的好的特征。而深度學習可以針對新的應用從訓練數據中很快學習得到新的有效的特征表示。

一個模式識別系統包括特征和分類器兩個主要的組成部分，二者關系密切，而在傳統的方法中它們的優化是分開的。在神經網絡的框架下，特征表示和分類器是聯合優化的，可以最大程度發揮二者聯合協作的性能。以2012 年Hinton 參加ImageNet 比賽所采用的卷積網絡模型[9]為例，這是他們首次參加ImageNet 圖像分類比賽，因此沒有太多的先驗知識。模型的特征表示包含了6 千萬個參數，從上百萬樣本中學習得到。令人驚訝的是，從ImageNet 上學習得到的特征表示具有非常強的泛化能力，可以成功地應用到其它的數據集和任務，例如物體檢測、跟蹤和檢索等等。在計算機視覺領域另外一個著名的競賽是PSACAL VOC。但是它的訓練集規模較小，不適合訓練深度學習模型。有學者將ImageNet 上學習得到的特征表示用于PSACALVOC 上的物體檢測，將檢測率提高了20%[10]。

既然特征學習如此重要，什么是好的特征呢？一幅圖像中，各種復雜的因素往往以非線性的方式結合在一起。例如人臉圖像中就包含了身份、姿態、年齡、表情和光線等各種信息。深度學習的關鍵就是通過多層非線性映射將這些因素成功的分開，例如在深度模型的最后一個隱含層，不同的神經元代表了不同的因素。如果將這個隱含層當作特征表示，人臉識別、姿態估計、表情識別、年齡估計就會變得非常簡單，因為各個因素之間變成了簡單的線性關系，不再彼此干擾。

2.2 深層結構的優勢

深度學習模型意味著神經網絡的結構深，由很多層組成。而支持向量機和Boosting 等其它常用的機器學習模型都是淺層結構。有理論證明，三層神經網絡模型（包括輸入層、輸出層和一個隱含層）可以近似任何分類函數。既然如此，為什么需要深層模型呢？

理論研究表明，針對特定的任務，如果模型的深度不夠，其所需要的計算單元會呈指數增加。這意味著雖然淺層模型可以表達相同的分類函數，其需要的參數和訓練樣本要多得多。淺層模型提供的是局部表達。它將高維圖像空間分成若干局部區域，每個局部區域存儲至少一個從訓練數據中獲得的模板。淺層模型將一個測試樣本和這些模板逐一匹配，根據匹配的結果預測其類別。例如在支持向量機模型中，這些模板就是支持向量；在最近鄰分類器中，這些模板是所有的訓練樣本。隨著分類問題復雜度的增加，圖像空間需要被劃分成越來越多的局部區域，因而需要越來越多的參數和訓練樣本。

深度模型能夠減少參數的關鍵在于重復利用中間層的計算單元。例如，它可以學習針對人臉圖像的分層特征表達。最底層可以從原始像素學習濾波器，刻畫局部的邊緣和紋理特征；通過對各種邊緣濾波器進行組合，中層濾波器可以描述不同類型的人臉器官；最高層描述的是整個人臉的全局特征。深度學習提供的是分布式的特征表示。在最高的隱含層，每個神經元代表了一個屬性分類器，例如男女、人種和頭發顏色等等。每個神經元將圖像空間一分為二，N 個神經元的組合就可以表達2N 個局部區域，而用淺層模型表達這些區域的劃分至少需要個2N 模板。由此我們可以看到深度模型的表達能力更強，更有效率。

2.5 提取全局特征和上下文信息的能力

深度模型具有強大的學習能力，高效的特征表達能力，從像素級原始數據到抽象的語義概念逐層提取信息。這使得它在提取圖像的全局特征和上下文信息方面具有突出的優勢。這為解決一些傳統的計算機視覺問題，如圖像分割和關鍵點檢測，帶來了新的思路。以人臉的圖像分割為例。為了預測每個像素屬于哪個臉部器官（眼睛、鼻子、嘴、頭發），通常的作法是在該像素周圍取一個小的區域，提取紋理特征（例如局部二值模式），再基于該特征利用支持向量機等淺層模型分類。因為局部區域包含信息量有限，往往產生分類錯誤，因此要對分割后的圖像加入平滑和形狀先驗等約束。事實上即使存在局部遮擋的情況下，人眼也可以根據臉部其它區域的信息估計被遮擋處的標注。這意味著全局和上下文的信息對于局部的判斷是非常重要的，而這些信息在基于局部特征的方法中從最開始階段就丟失了。

理想的情況下，模型應該將整幅圖像作為輸入，直接預測整幅分割圖。圖像分割可以被當作一個高維數據轉換的問題來解決。這樣不但利用到了上下文信息，模型在高維數據轉換過程中也隱式地加入了形狀先驗。但是由于整幅圖像內容過于復雜，淺層模型很難有效地捕捉全局特征。深度學習的出現使這一思路成為可能，在人臉分割[11]、人體分割[12]、人臉圖像配準[13]和人體姿態估計等各個方面都取得了成功[14]。

2.4 聯合深度學習

一些計算機視覺學者將深度學習模型視為黑盒子，這種看法是不全面的。事實上我們可以發現傳統計算機視覺系統和深度學習模型存在著密切的聯系，而且可以利用這種聯系提出新的深度模型和新的訓練方法。這方面一個成功的例子是用于行人檢測的聯合深度學習[15]。一個計算機視覺系統包含了若干關鍵的組成模塊。例如一個行人檢測器就包括了特征提取、部件檢測器、部件幾何形變建模、部件遮擋推理、分類器等等。在聯合深度學習中[15]，深度模型的各個層和視覺系統的各個模塊可以建立起對應關系。如果視覺系統中一些有效的關鍵模塊在現有深度學習的模型中沒有與之對應的層，它們可以啟發我們提出新的深度模型。例如大量物體檢測的研究工作證明對物體部件的幾何形變建模可以有效地提高檢測率，但是在常用的深度模型中沒有與之相對應的層。于是聯合深度學習[15]及其后續的工作[16]都提出了新的形變層和形變池化層實現這一功能。

從訓練方式上看，計算機視覺系統的各個模塊是逐一訓練或手工設計的；在深度模型的預訓練階段，各個層也是逐一訓練的。如果我們能夠建立起計算機視覺系統和深度模型之間的對應關系，在視覺研究中積累的經驗可以對深度模型的預訓練提供指導。這樣預訓練后得到的模型至少可以達到與傳統計算機視覺系統可比的結果。在此基礎上，深度學習還會利用反向傳播對所有的層進行聯合優化，使它們之間的相互協作達到最優，從而使整個網絡的性能得到重大提升。

3. 深度學習在物體識別中的應用

3.1 ImageNet 圖像分類

深度學習在物體識別中最重要的進展體現在ImageNet ILSVRC 挑戰中的圖像分類任務。傳統計算機視覺方法在這個測試集上最低的top5 錯誤率是26.172%。2012 年Hinton 的研究小組利用卷積網絡在這個測試集上把錯誤率大幅降到15.315%。這個網絡的結構被稱作Alex Net [3]。與傳統的卷積網絡相比，它有三點比較重要的不同。首先是采用了dropout 的訓練策略，在訓練過程中將一些輸入層和中間層的神經元隨機置零。這模擬了由于噪音和對輸入數據的各種干擾，從而使一些神經元對一些視覺模式產生漏檢的情況。Dropout使訓練過程收斂更慢，但得到的網絡模型更加魯棒。其次，它采用整流線型單元作為非線性的激發函數。這不僅大大降低了計算的復雜度，而且使神經元的輸出具有稀疏的性質。稀疏的特征表示對各種干擾更加魯棒。第三，它通過對訓練樣本鏡像映射，和加入隨機平移擾動產生了更多的訓練樣本，以減少過擬合。

ImageNet ILSVRC2013 比賽中，排名前20 的小組使用的都是深度學習，其影響力可見一斑。獲勝者是來則紐約大學Rob Fergus 的研究小組，所采用的深度模型還是卷積網絡，對網絡結構作了進一步優化。Top5 錯誤率降到11.197%，其模型稱作Clarifai[17]。

2014 年深度學習又取得了重要進展， 在ILSVRC2014 比賽中，獲勝者GooLeNet[18]將top5 錯誤率降到6.656%。它突出的特點是大大增加了卷積網絡的深度，超過20 層，這在之前是不可想象的。很深的網絡結構給預測誤差的反向傳播帶了困難。因為預測誤差是從最頂層傳到底層的，傳到底層的誤差很小，難以驅動底層參數的更新。GooLeNet 采取的策略是將監督信號直接加到多個中間層，這意味著中間和低層的特征表示也需要能夠準確對訓練數據分類。如何有效地訓練很深的網絡模型仍是未來研究的一個重要課題。雖然深度學習在ImageNet 上取得了巨大成功，但是一個現實的問題是，很多應用的訓練集是較小的，如何在這種情況下應用深度學習呢？有三種方法可供讀者參考。（1）可以將ImageNet 上訓練得到的模型做為起點，利用目標訓練集和反向傳播對其進行繼續訓練，將模型適應到特定的應用[10]。ImageNet 起到預訓練的作用。（2）如果目標訓練集不夠大 ，也可以將低層的網絡參數固定，沿用ImageNet 上的訓練集結果，只對上層進行更新。這是因為底層的網絡參數是最難更新的，而從ImageNet 學習得到的底層濾波器往往描述了各種不同的局部邊緣和紋理信息，而這些濾波器對一般的圖像有較好的普適性。（3）直接采用ImageNet 上訓練得到的模型，把最高的隱含層的輸出作為特征表達，代替常用的手工設計的特征[19][20]。

3.2 人臉識別

深度學習在物體識別上了另一個重要突破是人臉識別。人臉識別的最大挑戰是如何區分由于光線、姿態和表情等因素引起的類內變化和由于身份不同產生的類間變化。這兩種變化分布是非線性的且極為復雜，傳統的線性模型無法將它們有效區分開。深度學習的目的是通過多層的非線性變換得到新的特征表示。該特征須要盡可能多地去掉類內變化，而保留類間變化。

人臉識別有兩種任務，人臉確認和人臉辨識。人臉確認的任務是判斷兩張人臉照片是否屬于同一個人，屬二分類問題，隨機猜的正確率是50%。人臉辨識的任務是將一張人臉圖像分為N 個類別之一，類別是由人臉的身份定義的。這是個多分類問題，更具挑戰性，其難度隨著類別數的增多而增大，隨機猜的正確率是1/N。兩個任務都可以用來通過深度模型學習人臉的特征表達。

2013 年，[21]采用人臉確認任務作為監督信號，利用卷積網絡學習 人臉特征，在LFW 上取得了92.52%的識別率。這一結果雖然與后續的深度學習方法相比較低，但也超過了大多數非深度學習的算法。由于人臉確認是一個二分類的問題，用它學習人臉特征效率比較低。這個問題可以從幾個方面理解。深度學習面臨的一個主要問題是過擬合。作為一個二分類問題，人臉確認任務相對簡單，容易在訓練集上發生過擬合。與之不同，人臉辨識是一個更具 挑戰性的多分類問題，不容易發生過擬合，更適合通過深度模型學習人臉特征。另一方面，在人臉確認中，每一對訓練樣本被人工標注成兩類之一，所含信息量較少。而在人臉辨識中，每個訓練樣本都被人工標注成N 類之一，信息量要大的多。

2014 年CVPR，DeepID[22]和DeepFace[23] 都采用人臉辨識作為監督信號，在LFW 上取得了97.45%和97.35%的識別率。他們利用卷積網絡預測N 維標注向量，將最高的隱含層作為人臉特征。這一層在訓練過程中要區分大量的人臉類別（例如在DeepID 中要區分1000類人臉），因此包含了豐富的類間變化的信息，而且有很強的泛化能力。雖然訓練中采用的是人臉辨識任務，得到特征可以應用到人臉確認任務，以及識別訓練集中沒有新人。?
例如LFW 上用于測試的任務是人臉確認任務，不同于訓練中采用的人臉辨識任務；DeepID[22]和DeepFace[23]的訓練集與LFW 測試集的人物身份是不重合的。

通過人臉辨識任務學習得到的人臉特征包含了較多的類內變化。DeepID2[24]聯合使用人臉確認和人臉辨識作為監督信號，得到的人臉特征在保持類間變化的同時最小化類內變化，從而將LFW 上的人臉識別率提高到99.15%。利用Titan GPU，DeepID2 提取一幅人臉圖像的特征只需要35 毫秒，而且可以離線進行。經過PCA 壓縮最終得到80 維的特征向量，可以用于快速人臉在線比對。在后續的工作中，DeepID2+[25]對DeepID2 通過加大網絡結構，增加訓練數據，以及在每一層都加入監督信息進行了進一步改進，在LFW 達到了99.47%的識別率。

一些人認為深度學習的成功在于用具有大量參數的復雜模型去擬合數據集。這個看法也是不全面的。事實上，進一步的研究[25]表明DeepID2+的特征有很多重要有趣的性質。例如，它最上層的神經元響應是中度稀疏的，對人臉身份和各種人臉屬性具有很強的選擇性，對局部遮擋有很強的魯棒性。以往的研究中，為了得到這些屬性，我們往往需要對模型加入各種顯示的約束。而DeepID2+通過大規模學習自動擁有了這些引人注目的屬性，其背后的理論分析值得未來進一步研究。

4. 深度學習在物體檢測中的應用

深度學習也對圖像中的物體檢測帶來了巨大提升。物體檢測是比物體識別更難的任務。一幅圖像中可能包含屬于不同類別的多個物體，物體檢測需要確定每個物體的位置和類別。深度學習在物體檢測中的進展也體現在ImageNet ILSVRC 挑戰中。2013 年比賽的組織者增加了物體檢測的任務，需要在四萬張互聯網圖片中檢測200 類物體。當年的比賽中贏得物體檢測任務的方法使用的依然是手動設計的特征，平均物體檢測率，即meanAveraged Precision (mAP)，只有22.581%。在ILSVRC2014 中，深度學習將mAP 大幅提高到43.933%。較有影響力的工作包括 RCNN[10]，Overfeat[26]，GoogLeNet[18]，DeepID‐Net[27]，network in network[28]，VGG[29]，和spatialpyramid pooling in deep CNN[30]。被廣泛采用的基于深度學習的物體檢測流程是在RCNN[10]中提出的。首先采用非深度學習的方法（例如selective search[31]）提出候選區域，利用深度卷積網絡從候選區域提取特征，然后利用支持向量機等線性分類器基于特征將區域分為物體和背景。DeepID‐Net[27]將這一流程進行了進一步的完善使得檢測率有了大幅提升，并且對每一個環節的貢獻做了詳細的實驗分析。此外深度卷積網絡結構的設計也至關重要。如果一個網絡結構提高提高?
圖像分類任務的準確性，通常也能使物體檢測器的性能顯著提升。

深度學習的成功還體現在行人檢測上。在最大的行人檢測測試集(Caltech[32])上，被廣泛采用的HOG 特征和可變形部件模型[33]平均誤檢率是68%。目前基于深度學習最好的結果是20.86%[34]。在最新的研究進展中，很多在物體檢測中已經被證明行之有效的思路都有其在深度學習中的實現。例如，聯合深度學習[15]提出了形變層，對物體部件間的幾何形變進行建模；多階段深度學習[35]可以模擬在物體檢測中常用的級聯分類器；可切換深度網絡[36]可以表達物體各個部件的混合模型；[37]通過遷移學習將一個深度模型行人檢測器自適應到一個目標場景。

5. 深度學習用于視頻分析

深度學習在視頻分類上的應用總體而言還處于起步階段，未來還有很多工作要做。描述視頻的靜態圖像特征， 可以采用用從ImageNet 上學習得到的深度模型；難點是如何描述動態特征。以往的視覺方法中，對動態特征的描述往往依賴于光流估計，對關鍵點的跟蹤，和動態紋理。如何將這些信息體現在深度模型中是個難點。最直接的做法是將視頻視為三維圖像，直接應用卷積網絡[38]，在每一層學習三維濾波器。但是這一思路顯然沒有考慮到時間維和空間維的差異性。另外一種簡單但更加有效的思路是通過預處理計算光流場，作為卷積網絡的一個輸入通道[39]。也有研究工作利用深度編碼器(deep autoencoder)以非線性的方式提取動態紋理[40]，而傳統的方法大多采用線性動態系統建模。在一些最新的研究工作中[41]，長短記憶網絡（LSTM）正在受到廣泛關注，它可以捕捉長期依賴性，對視頻中復雜的動態建模。

6. 未來發展的展望

深度學習在圖像識別中的發展方興未艾，未來有著巨大的空間。本節對幾個可能的方向進行探討。在物體識別和物體檢測中正趨向使用更大更深的網絡結構。ILSVRC2012 中Alex Net 只包含了5 個卷積層和兩個全連接層。而ILSVRC2014 中 GooLeNet 和 VGG 使用的網絡結構都超過了20 層。更深的網絡結構使得反向傳播更加困難。與此同時訓練數據的規模也在迅速增加。這迫切需要研究新的算法和開發新的并行計算系統更加有效的利用大數據訓練更大更深的模型。

與圖像識別相比，深度學習在視頻分類中的應用還遠未成熟。從ImageNet 訓練得到的圖像特征可以直接有效地應用到各種與圖像相關的識別任務（例如圖像分類、圖像檢索、物體檢測和圖像分割等等），和其它不同的圖像測試集，具有良好的泛化性能。但是深度學習至今還沒有得到類似的可用于視頻分析的特征。要達到這個目的，不但要建立大規模的訓練數據集（[42]最新建立了包含一百萬YouTube 視頻的數據庫），還需要研究適用于視頻分析的新的深度模型。此外訓練用于視頻分析的深度模型的計算量也會大大增加。

在與圖像和視頻相關的應用中，深度模型的輸出預測（例如分割圖或物體檢測框）往往具有空間和時間上的相關性。因此研究具有結構性輸出的深度模型也是一個重點。雖然神經網絡的目的在于解決一般意義的機器學習問題，領域知識對于深度模型的設計也起著重要的作用。在與圖像和視頻相關的應用中，最成功的是深度卷積網絡，它正是利用了與圖像的特殊結構。其中最重要的兩個操作，卷積和池化（pooling）都來自于與圖像相關的領域知識。如何通過研究領域知識，在深度模型中引入新的有效的操作和層，對于提高圖像識別的性能有著重要意義。例如池化層帶來了局部的平移不變性，[27]中提出的形變池化層在此基礎上更好的描述了物體各個部分的幾何形變。在未來的研究中，可以將其進一步擴展，從而取得旋轉不變性、尺度不變性、和對遮擋的魯棒性。

通過研究深度模型和傳統計算機視覺系統之間的關系，不但可以幫助我們理解深度學習成功的原因，還可以啟發新的模型和訓練方法。聯合深度學習[15]和多階段深度學習[35]是兩個例子，未來這方面還可以有更多的工作。最然深度學習在實踐中取得了巨大成功，通過大數據訓練得到的深度模型體現出的特性（例如稀疏性、選擇性、和對遮擋的魯棒性[22]）引人注目，其背后的理論分析還有許多工作需要在未來完成。例如，何時收斂，如何取得較好的局部極小點，每一層變換取得了那些對識別有益的不變性，又損失了那些信息等等。最近Mallat 利用小波對深層網絡結構進行了量化分析[43]，是在這一個方向上的重要探索。

深度學習在圖像識別上的巨大成功，必將對于多媒體相關的各種應用產生重大影響。我們期待著更多的學者在不久的將來研究如何利用深度學習得到的圖像特征，推動各種應用的快速進步。

7. 結束語

2012 年以來，深度學習極大的推動了圖像識別的研究進展，突出體現在ImageNet ILSVRC 和人臉識別，而且正在快速推廣到與圖像識別相關的各個問題。深度學習的本質是通過多層非線性變換，從大數據中自動學習特征，從而替代手工設計的特征。深層的結構使其具有極強的表達能力和學習能力，尤其擅長提取復雜的全局特征和上下文信息，而這是淺層模型難以做到的。一幅圖像中，各種隱含的因素往往以復雜的非線性的方式關聯在一起，而深度學習可以使這些因素分級開，在其最高隱含層不同神經元代表了不同的因素，從而使分類變得簡單。

深度模型并非黑盒子，它與傳統的計算機視覺體統有著密切的聯系，但是它使得這個系統的各個模塊（即神經網絡的各個層）可以通過聯合學習，整體優化，從而性能得到大幅提升。與圖像識別相關的各種應用也在推動深度學習在網絡結構、層的設計和訓練方法各個方面的的快速發展。我們可以預見在未來的數年內，深度學習將會在理論、算法、和應用各方面進入高速發展的時期，期待著愈來愈多精彩的工作對學術和工業界產生深遠的影響。

王曉剛 香港中文大學 原文PDF下載

參考文獻：?
[1] D. E. Rumelhart, G. E. Hinton, and R. J. Williams. Learning internal representations by error propagation. Nature, 323(99):533–536, 1986.?
[2] J. Deng, W. Dong, R. Socher, L. Li, K. Li, and L. Fei‐Fei. Imagenet: A large‐scale hierarchical image database. In IEEE Int’l Conf. Computer Vision and Pattern Recognition,2009.?
[3] A. Krizhevsky, L. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In Proc.Neural Information Processing Systems,2012.?
[4] G. B. Huang, M. Ramesh, T. Berg, and E.Learned‐Miler. Labeled faces in the wild: A database for studying face recognition in unconstrained environments. Technical report, University of Massachusetts, Amherst, 2007.?
[5] N. Kumar, A. C. Berg, P. N. Belhumeur, and S. K. Nayar. Attribute and simile classifiers for face verification. In IEEE Int’l Conf. Computer Vision, 2009.?
[6] M. Turk and A. Pentland. Eigenfaces for recognition. Journal of Cognitive Neuroscience, 3(1):71–86, 1991.?
[7] D. Chen, X. Cao, F. Wen, and J. Sun. Blessing of dimensionality: Highdimensional feature and its efficient compression for face verification. In Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition,2013.?
[8] Y. Sun, X. Wang, and X. Tang. Deeply learned face representations are sparse, selective, and robust. arXiv:1412.1265, 2014.?
[9] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient‐based learning applied todocument recognition. Proceedings of the IEEE, 86:2278– 2324, 1998.?
[10] R. Girshick, J. Donahue, T. Darrell, and J.Malik. Rich feature hierarchies for accurate object detection and semantic?
segmentation. In Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition, 2014.?
[11] P. Luo, X. Wang, and X. Tang. Hierarchical face parsing via deep learning. In Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition, 2012.?
[12] P. Luo, X. Wang, and X. Tang. Pedestrian parsing via deep decompositional network. In Proc. IEEE Int’l Conf. Computer Vision, 2013.?
[13] Y. Sun, X. Wang, and X. Tang. Deep convolutional network cascade for facial point detection. In Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition,2013.?
[14] A. Toshev and C. Szegedy. Deeppose: Human pose estimation via deep neural networks. In Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition, 2014.?
[15] W. Ouyang and X. Wang. Joint deep learning for pedestrian detection. In Proc. IEEE Int’l Conf. Computer Vision, 2013.?
[16] W. Ouyang, P. Luo, X. Zeng, S. Qiu, Y. Tian, H. Li, S. Yang, Z. Wang, C. Qian, Z. Zhu, R. Wang, C. Loy, X. Wang, and X. Tang. Deepidnet: multi‐stage and deformable deep convolutional neural networks for object detection. arXiv:1409.3505, 2014.?
[17]?http://www.clarifai.com/?
[18] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich. Going deeper with convolutions. arXiv:1409.4842, 2014.?
[19] A. S. Razavian, H. Azizpour, J. Sullivan, and S. Carlsson. Cnn features off‐the‐shelf: an astounding baseline for recognition. arXiv:1403.6382, 2014.?
[20] Y. Gong, L. Wang, R. Guo, and S. Lazebnik.Multi‐scale orderless pooling of deepconvolutional activation features. arXiv:1403.1840, 2014.?
[21] Y. Sun, X. Wang, and X. Tang. Hybrid deeplearning for computing face similarities. In Proc. IEEE Int’l Conf. Computer Vision, 2013.?
[22] Y. Sun, X. Wang, and X. Tang. Deep learningface representation from predicting 10,000classes. In Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition, 2014.?
[23] Y. Taigman, M. Yang, M. Ranzato, and L.Wolf. Deepface: Closing the gap to humanlevelperformance in face verification. In Proc. IEEE Int’l Conf. Computer Vision andPattern Recognition, 2014.?
[24] Y. Sun, X. Wang, and X. Tang. Deep learningface representation by joint identificationverification.In Proc. Neural Information Processing Systems, 2014.?
[25] Y. Sun, X. Wang, and X. Tang. Deeplylearned face representations are sparse,selective, and robust. arXiv:1412.1265, 2014.?
[26] P. Sermanet, D. Eigen, X. Zhang, M. Mathieu,R. Fergus, and Y. Le‐ Cun. Overfeat:Integrated recognition, localization and detection using convolutional networks. InProc. Int’l Conf. Learning Representations,2014.?
[27] W. Ouyang, P. Luo, X. Zeng, S. Qiu, Y. Tian, H.Li, S. Yang, Z. Wang, C. Qian, Z. Zhu, R. Wang, C. Loy, X. Wang, and X. Tang. Deepidnet:multi‐stage and deformable deepconvolutional neural networks for object detection. arXiv:1409.3505, 2014.?
[28] M. Lin, Q.. Chen, and S. Yan. Network innetwork. arXiv:1312.4400v3, 2013.?
[29] K. Simonyan and A. Zisserman. Very deepconvolutional networks for large‐scaleimage recognition. arXiv:1409.1556, 2014, 2014.?
[30] K. He, X. Zhang, S. Ren, and J. Sun. Spatialpyramid pooling in deep convolutionalnetworks for visual recognition. arXiv:1406.4729, 2014.?
[31] J. R. R. Uijlings, K. E. A. Van de Sande, T.Gevers, and W. M. Smeulders. Selectivesearch for object recognition. InternationalJournal of Computer Vision, 104:154–171,2013.?
[32] P. Dollar, C. Wojek, B. Schiele, and P. Perona.Pedestrian detection: A benchmark. In Proc.IEEE Int’l Conf. Computer Vision and PatternRecognition, 2009.?
[33] P. Felzenszwalb, R. B. Grishick, D.McAllister,and D. Ramanan. Object detection with discriminatively trained part based models.IEEE Trans. PAMI, 32:1627–1645, 2010.?
[34] Y. Tian, P. Luo, X. Wang, and X. Tang,“Pedestrian Detection aided by DeepLearning Semantic Tasks,” arXiv 2014.?
[35] X. Zeng, W. Ouyang, and X. Wang. Multistagecontextual deep learning forpedestrian detection. In Proc. IEEE Int’l Conf. Computer Vision, 2013.?
[36] P. Luo, Y. Tian, X. Wang, and X. Tang.Switchable deep network for pedestrian detection. In Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition, 2014.?
[37] X. Zeng, W. Ouyang, and X. Wang. Deep learning of scene‐specific classifier for pedestrian detection. In Proc. European Conf. Computer Vision, 2014.?
[38] S. Ji, W. Xu, M. Yang, and K. Yu. 3d convolutional neural networks for human action recognition. IEEE Trans. on Pattern Analysis and Machine Intelligence, 35(1):221–231, 2013.?
[39] K. Simonyan and A. Zisserman. Two‐Stream Convolutional Networks for Action Recognition in Videos. arXiv:1406.2199, 2014.?
[40] X. Yan, H. Chang, S. Shan, and X. Chen, Modeling Video Dynamics with Deep Dynencoder. In Proc. European Conf. Computer Vision, 2015.?
[41] J. Donahue, L. A. Hendricks, S. Guadarrama, M. Rohrbach, S. Venugopalan, K. Saenko, and T. Darrell. Long‐term recurrent convolutional networks for visual recognition and description.arXiv:1411.4389, 2014.?
[42] A. Karpathy, G. Toderici, S. Shetty, T. Leung, R. Sukthankar, and L. Fei‐Fei. Large‐scalevideo classification with convolutional neural networks. In Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition, 2014.?
[43] J. Bruna and S. Mallat. Invariant scattering convolution networks. IEEE Trans. on Pattern Analysis and Machine Intelligence, 35(8):1872 – 1886, 2013.

總結

以上是生活随笔為你收集整理的[王晓刚]深度学习在图像识别中的研究进展与展望(转发）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。