本文是吳恩達(dá)老師的深度學(xué)習(xí)課程^[1]筆記部分。

作者：黃海廣^[2]

主要編寫(xiě)人員：黃海廣、林興木（第四所有底稿，第五課第一二周，第三周前三節(jié)）、祝彥森:（第三課所有底稿）、賀志堯（第五課第三周底稿）、王翔、胡瀚文、 余笑、 鄭浩、李懷松、 朱越鵬、陳偉賀、 曹越、 路皓翔、邱牧宸、 唐天澤、 張浩、 陳志豪、 游忍、 澤霖、沈偉臣、 賈紅順、 時(shí)超、 陳哲、趙一帆、 胡瀟楊、段希、于沖、張?chǎng)钨?/p>

參與編輯人員：黃海廣、陳康凱、石晴路、鐘博彥、向偉、嚴(yán)鳳龍、劉成 、賀志堯、段希、陳瑤、林家泳、王翔、 謝士晨、蔣鵬

備注：筆記和作業(yè)（含數(shù)據(jù)、原始作業(yè)文件）、視頻都在?github^[3]中下載。

我將陸續(xù)將課程筆記發(fā)布在公眾號(hào)“機(jī)器學(xué)習(xí)初學(xué)者”，敬請(qǐng)關(guān)注。

第二周 深度卷積網(wǎng)絡(luò)：實(shí)例探究（Deep convolutional models: case studies）

2.1 為什么要進(jìn)行實(shí)例探究？（Why look at case studies?）

這周我們首先來(lái)看看一些卷積神經(jīng)網(wǎng)絡(luò)的實(shí)例分析，為什么要看這些實(shí)例分析呢？上周我們講了基本構(gòu)建，比如卷積層、池化層以及全連接層這些組件。事實(shí)上，過(guò)去幾年計(jì)算機(jī)視覺(jué)研究中的大量研究都集中在如何把這些基本構(gòu)件組合起來(lái)，形成有效的卷積神經(jīng)網(wǎng)絡(luò)。最直觀的方式之一就是去看一些案例，就像很多人通過(guò)看別人的代碼來(lái)學(xué)習(xí)編程一樣，通過(guò)研究別人構(gòu)建有效組件的案例是個(gè)不錯(cuò)的辦法。實(shí)際上在計(jì)算機(jī)視覺(jué)任務(wù)中表現(xiàn)良好的神經(jīng)網(wǎng)絡(luò)框架往往也適用于其它任務(wù)，也許你的任務(wù)也不例外。也就是說(shuō)，如果有人已經(jīng)訓(xùn)練或者計(jì)算出擅長(zhǎng)識(shí)別貓、狗、人的神經(jīng)網(wǎng)絡(luò)或者神經(jīng)網(wǎng)絡(luò)框架，而你的計(jì)算機(jī)視覺(jué)識(shí)別任務(wù)是構(gòu)建一個(gè)自動(dòng)駕駛汽車，你完全可以借鑒別人的神經(jīng)網(wǎng)絡(luò)框架來(lái)解決自己的問(wèn)題。

最后，學(xué)完這幾節(jié)課，你應(yīng)該可以讀一些計(jì)算機(jī)視覺(jué)方面的研究論文了，我希望這也是你學(xué)習(xí)本課程的收獲。當(dāng)然，讀論文并不是必須的，但是我希望當(dāng)你發(fā)現(xiàn)你可以讀懂一些計(jì)算機(jī)視覺(jué)方面的研究論文或研討會(huì)內(nèi)容時(shí)會(huì)有一種滿足感。言歸正傳，我們進(jìn)入主題。

這是后面幾節(jié)課的提綱，首先我們來(lái)看幾個(gè)經(jīng)典的網(wǎng)絡(luò)。

LeNet-5網(wǎng)絡(luò)，我記得應(yīng)該是1980年代的，經(jīng)常被引用的AlexNet，還有VGG網(wǎng)絡(luò)。這些都是非常有效的神經(jīng)網(wǎng)絡(luò)范例，當(dāng)中的一些思路為現(xiàn)代計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展奠定了基礎(chǔ)。論文中的這些想法可能對(duì)你大有裨益，對(duì)你的工作也可能有所幫助。

然后是ResNet，又稱殘差網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)正在不斷加深，對(duì)此你可能有所了解。ResNet神經(jīng)網(wǎng)絡(luò)訓(xùn)練了一個(gè)深達(dá)152層的神經(jīng)網(wǎng)絡(luò)，并且在如何有效訓(xùn)練方面，總結(jié)出了一些有趣的想法和竅門(mén)。課程最后，我們還會(huì)講一個(gè)Inception神經(jīng)網(wǎng)絡(luò)的實(shí)例分析。

了解了這些神經(jīng)網(wǎng)絡(luò)，我相信你會(huì)對(duì)如何構(gòu)建有效的卷積神經(jīng)網(wǎng)絡(luò)更有感覺(jué)。即使計(jì)算機(jī)視覺(jué)并不是你的主要方向，但我相信你會(huì)從ResNet和Inception網(wǎng)絡(luò)這樣的實(shí)例中找到一些不錯(cuò)的想法。這里面有很多思路都是多學(xué)科融合的產(chǎn)物。總之，即便你不打算構(gòu)建計(jì)算機(jī)視覺(jué)應(yīng)用程序，試著從中發(fā)現(xiàn)一些有趣的思路，對(duì)你的工作也會(huì)有所幫助。

2.2 經(jīng)典網(wǎng)絡(luò)（Classic networks）

這節(jié)課，我們來(lái)學(xué)習(xí)幾個(gè)經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，分別是LeNet-5、AlexNet和VGGNet，開(kāi)始吧。

首先看看LeNet-5的網(wǎng)絡(luò)結(jié)構(gòu)，假設(shè)你有一張32×32×1的圖片，LeNet-5可以識(shí)別圖中的手寫(xiě)數(shù)字，比如像這樣手寫(xiě)數(shù)字7。LeNet-5是針對(duì)灰度圖片訓(xùn)練的，所以圖片的大小只有32×32×1。實(shí)際上LeNet-5的結(jié)構(gòu)和我們上周講的最后一個(gè)范例非常相似，使用6個(gè)5×5的過(guò)濾器，步幅為1。由于使用了6個(gè)過(guò)濾器，步幅為1，padding為0，輸出結(jié)果為28×28×6，圖像尺寸從32×32縮小到28×28。然后進(jìn)行池化操作，在這篇論文寫(xiě)成的那個(gè)年代，人們更喜歡使用平均池化，而現(xiàn)在我們可能用最大池化更多一些。在這個(gè)例子中，我們進(jìn)行平均池化，過(guò)濾器的寬度為2，步幅為2，圖像的尺寸，高度和寬度都縮小了2倍，輸出結(jié)果是一個(gè)14×14×6的圖像。我覺(jué)得這張圖片應(yīng)該不是完全按照比例繪制的，如果嚴(yán)格按照比例繪制，新圖像的尺寸應(yīng)該剛好是原圖像的一半。

接下來(lái)是卷積層，我們用一組16個(gè)5×5的過(guò)濾器，新的輸出結(jié)果有16個(gè)通道。LeNet-5的論文是在1998年撰寫(xiě)的，當(dāng)時(shí)人們并不使用padding，或者總是使用valid卷積，這就是為什么每進(jìn)行一次卷積，圖像的高度和寬度都會(huì)縮小，所以這個(gè)圖像從14到14縮小到了10×10。然后又是池化層，高度和寬度再縮小一半，輸出一個(gè)5×5×16的圖像。將所有數(shù)字相乘，乘積是400。

下一層是全連接層，在全連接層中，有400個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)有120個(gè)神經(jīng)元，這里已經(jīng)有了一個(gè)全連接層。但有時(shí)還會(huì)從這400個(gè)節(jié)點(diǎn)中抽取一部分節(jié)點(diǎn)構(gòu)建另一個(gè)全連接層，就像這樣，有2個(gè)全連接層。

最后一步就是利用這84個(gè)特征得到最后的輸出，我們還可以在這里再加一個(gè)節(jié)點(diǎn)用來(lái)預(yù)測(cè)的值，有10個(gè)可能的值，對(duì)應(yīng)識(shí)別0-9這10個(gè)數(shù)字。在現(xiàn)在的版本中則使用softmax函數(shù)輸出十種分類結(jié)果，而在當(dāng)時(shí)，LeNet-5網(wǎng)絡(luò)在輸出層使用了另外一種，現(xiàn)在已經(jīng)很少用到的分類器。

相比現(xiàn)代版本，這里得到的神經(jīng)網(wǎng)絡(luò)會(huì)小一些，只有約6萬(wàn)個(gè)參數(shù)。而現(xiàn)在，我們經(jīng)常看到含有一千萬(wàn)到一億個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)，比這大1000倍的神經(jīng)網(wǎng)絡(luò)也不在少數(shù)。

不管怎樣，如果我們從左往右看，隨著網(wǎng)絡(luò)越來(lái)越深，圖像的高度和寬度在縮小，從最初的32×32縮小到28×28，再到14×14、10×10，最后只有5×5。與此同時(shí)，隨著網(wǎng)絡(luò)層次的加深，通道數(shù)量一直在增加，從1增加到6個(gè)，再到16個(gè)。

這個(gè)神經(jīng)網(wǎng)絡(luò)中還有一種模式至今仍然經(jīng)常用到，就是一個(gè)或多個(gè)卷積層后面跟著一個(gè)池化層，然后又是若干個(gè)卷積層再接一個(gè)池化層，然后是全連接層，最后是輸出，這種排列方式很常用。

對(duì)于那些想嘗試閱讀論文的同學(xué)，我再補(bǔ)充幾點(diǎn)。接下來(lái)的部分主要針對(duì)那些打算閱讀經(jīng)典論文的同學(xué)，所以會(huì)更加深入。這些內(nèi)容你完全可以跳過(guò)，算是對(duì)神經(jīng)網(wǎng)絡(luò)歷史的一種回顧吧，聽(tīng)不懂也不要緊。

讀到這篇經(jīng)典論文時(shí)，你會(huì)發(fā)現(xiàn)，過(guò)去，人們使用sigmod函數(shù)和tanh函數(shù)，而不是ReLu函數(shù)，這篇論文中使用的正是sigmod函數(shù)和tanh函數(shù)。這種網(wǎng)絡(luò)結(jié)構(gòu)的特別之處還在于，各網(wǎng)絡(luò)層之間是有關(guān)聯(lián)的，這在今天看來(lái)顯得很有趣。

比如說(shuō)，你有一個(gè)的網(wǎng)絡(luò)，有個(gè)通道，使用尺寸為的過(guò)濾器，每個(gè)過(guò)濾器的通道數(shù)和它上一層的通道數(shù)相同。這是由于在當(dāng)時(shí)，計(jì)算機(jī)的運(yùn)行速度非常慢，為了減少計(jì)算量和參數(shù)，經(jīng)典的LeNet-5網(wǎng)絡(luò)使用了非常復(fù)雜的計(jì)算方式，每個(gè)過(guò)濾器都采用和輸入模塊一樣的通道數(shù)量。論文中提到的這些復(fù)雜細(xì)節(jié)，現(xiàn)在一般都不用了。

我認(rèn)為當(dāng)時(shí)所進(jìn)行的最后一步其實(shí)到現(xiàn)在也還沒(méi)有真正完成，就是經(jīng)典的LeNet-5網(wǎng)絡(luò)在池化后進(jìn)行了非線性函數(shù)處理，在這個(gè)例子中，池化層之后使用了sigmod函數(shù)。如果你真的去讀這篇論文，這會(huì)是最難理解的部分之一，我們會(huì)在后面的課程中講到。

下面要講的網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單一些，幻燈片的大部分類容來(lái)自于原文的第二段和第三段，原文的后幾段介紹了另外一種思路。文中提到的這種圖形變形網(wǎng)絡(luò)如今并沒(méi)有得到廣泛應(yīng)用，所以在讀這篇論文的時(shí)候，我建議精讀第二段，這段重點(diǎn)介紹了這種網(wǎng)絡(luò)結(jié)構(gòu)。泛讀第三段，這里面主要是一些有趣的實(shí)驗(yàn)結(jié)果。

我要舉例說(shuō)明的第二種神經(jīng)網(wǎng)絡(luò)是AlexNet，是以論文的第一作者Alex Krizhevsky的名字命名的，另外兩位合著者是ilya Sutskever和Geoffery Hinton。

AlexNet首先用一張227×227×3的圖片作為輸入，實(shí)際上原文中使用的圖像是224×224×3，但是如果你嘗試去推導(dǎo)一下，你會(huì)發(fā)現(xiàn)227×227這個(gè)尺寸更好一些。第一層我們使用96個(gè)11×11的過(guò)濾器，步幅為4，由于步幅是4，因此尺寸縮小到55×55，縮小了4倍左右。然后用一個(gè)3×3的過(guò)濾器構(gòu)建最大池化層，，步幅為2，卷積層尺寸縮小為27×27×96。接著再執(zhí)行一個(gè)5×5的卷積，padding之后，輸出是27×27×276。然后再次進(jìn)行最大池化，尺寸縮小到13×13。再執(zhí)行一次same卷積，相同的padding，得到的結(jié)果是13×13×384，384個(gè)過(guò)濾器。再做一次same卷積，就像這樣。再做一次同樣的操作，最后再進(jìn)行一次最大池化，尺寸縮小到6×6×256。6×6×256等于9216，將其展開(kāi)為9216個(gè)單元，然后是一些全連接層。最后使用softmax函數(shù)輸出識(shí)別的結(jié)果，看它究竟是1000個(gè)可能的對(duì)象中的哪一個(gè)。

實(shí)際上，這種神經(jīng)網(wǎng)絡(luò)與LeNet有很多相似之處，不過(guò)AlexNet要大得多。正如前面講到的LeNet或LeNet-5大約有6萬(wàn)個(gè)參數(shù)，而AlexNet包含約6000萬(wàn)個(gè)參數(shù)。當(dāng)用于訓(xùn)練圖像和數(shù)據(jù)集時(shí)，AlexNet能夠處理非常相似的基本構(gòu)造模塊，這些模塊往往包含著大量的隱藏單元或數(shù)據(jù)，這一點(diǎn)AlexNet表現(xiàn)出色。AlexNet比LeNet表現(xiàn)更為出色的另一個(gè)原因是它使用了ReLu激活函數(shù)。

同樣的，我還會(huì)講一些比較深?yuàn)W的內(nèi)容，如果你并不打算閱讀論文，不聽(tīng)也沒(méi)有關(guān)系。第一點(diǎn)，在寫(xiě)這篇論文的時(shí)候，GPU的處理速度還比較慢，所以AlexNet采用了非常復(fù)雜的方法在兩個(gè)GPU上進(jìn)行訓(xùn)練。大致原理是，這些層分別拆分到兩個(gè)不同的GPU上，同時(shí)還專門(mén)有一個(gè)方法用于兩個(gè)GPU進(jìn)行交流。

論文還提到，經(jīng)典的AlexNet結(jié)構(gòu)還有另一種類型的層，叫作“局部響應(yīng)歸一化層”（Local Response Normalization），即LRN層，這類層應(yīng)用得并不多，所以我并沒(méi)有專門(mén)講。局部響應(yīng)歸一層的基本思路是，假如這是網(wǎng)絡(luò)的一塊，比如是13×13×256，LRN要做的就是選取一個(gè)位置，比如說(shuō)這樣一個(gè)位置，從這個(gè)位置穿過(guò)整個(gè)通道，能得到256個(gè)數(shù)字，并進(jìn)行歸一化。進(jìn)行局部響應(yīng)歸一化的動(dòng)機(jī)是，對(duì)于這張13×13的圖像中的每個(gè)位置來(lái)說(shuō)，我們可能并不需要太多的高激活神經(jīng)元。但是后來(lái)，很多研究者發(fā)現(xiàn)LRN起不到太大作用，這應(yīng)該是被我劃掉的內(nèi)容之一，因?yàn)椴⒉恢匾?#xff0c;而且我們現(xiàn)在并不用LRN來(lái)訓(xùn)練網(wǎng)絡(luò)。

如果你對(duì)深度學(xué)習(xí)的歷史感興趣的話，我認(rèn)為在AlexNet之前，深度學(xué)習(xí)已經(jīng)在語(yǔ)音識(shí)別和其它幾個(gè)領(lǐng)域獲得了一些關(guān)注，但正是通過(guò)這篇論文，計(jì)算機(jī)視覺(jué)群體開(kāi)始重視深度學(xué)習(xí)，并確信深度學(xué)習(xí)可以應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域。此后，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)及其它領(lǐng)域的影響力與日俱增。如果你并不打算閱讀這方面的論文，其實(shí)可以不用學(xué)習(xí)這節(jié)課。但如果你想讀懂一些相關(guān)的論文，這是比較好理解的一篇，學(xué)起來(lái)會(huì)容易一些。

AlexNet網(wǎng)絡(luò)結(jié)構(gòu)看起來(lái)相對(duì)復(fù)雜，包含大量超參數(shù)，這些數(shù)字（55×55×96、27×27×96、27×27×256……）都是Alex Krizhevsky及其合著者不得不給出的。

這節(jié)課要講的第三個(gè)，也是最后一個(gè)范例是VGG，也叫作VGG-16網(wǎng)絡(luò)。值得注意的一點(diǎn)是，VGG-16網(wǎng)絡(luò)沒(méi)有那么多超參數(shù)，這是一種只需要專注于構(gòu)建卷積層的簡(jiǎn)單網(wǎng)絡(luò)。首先用3×3，步幅為1的過(guò)濾器構(gòu)建卷積層，padding參數(shù)為same卷積中的參數(shù)。然后用一個(gè)2×2，步幅為2的過(guò)濾器構(gòu)建最大池化層。因此VGG網(wǎng)絡(luò)的一大優(yōu)點(diǎn)是它確實(shí)簡(jiǎn)化了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，下面我們具體講講這種網(wǎng)絡(luò)結(jié)構(gòu)。

假設(shè)要識(shí)別這個(gè)圖像，在最開(kāi)始的兩層用64個(gè)3×3的過(guò)濾器對(duì)輸入圖像進(jìn)行卷積，輸出結(jié)果是224×224×64，因?yàn)槭褂昧?strong>same卷積，通道數(shù)量也一樣。VGG-16其實(shí)是一個(gè)很深的網(wǎng)絡(luò)，這里我并沒(méi)有把所有卷積層都畫(huà)出來(lái)。

假設(shè)這個(gè)小圖是我們的輸入圖像，尺寸是224×224×3，進(jìn)行第一個(gè)卷積之后得到224×224×64的特征圖，接著還有一層224×224×64，得到這樣2個(gè)厚度為64的卷積層，意味著我們用64個(gè)過(guò)濾器進(jìn)行了兩次卷積。正如我在前面提到的，這里采用的都是大小為3×3，步幅為1的過(guò)濾器，并且都是采用same卷積，所以我就不再把所有的層都畫(huà)出來(lái)了，只用一串?dāng)?shù)字代表這些網(wǎng)絡(luò)。

接下來(lái)創(chuàng)建一個(gè)池化層，池化層將輸入圖像進(jìn)行壓縮，從224×224×64縮小到多少呢？沒(méi)錯(cuò)，減少到112×112×64。然后又是若干個(gè)卷積層，使用129個(gè)過(guò)濾器，以及一些same卷積，我們看看輸出什么結(jié)果，112×112×128.然后進(jìn)行池化，可以推導(dǎo)出池化后的結(jié)果是這樣（56×56×128）。接著再用256個(gè)相同的過(guò)濾器進(jìn)行三次卷積操作，然后再池化，然后再卷積三次，再池化。如此進(jìn)行幾輪操作后，將最后得到的7×7×512的特征圖進(jìn)行全連接操作，得到4096個(gè)單元，然后進(jìn)行softmax激活，輸出從1000個(gè)對(duì)象中識(shí)別的結(jié)果。

順便說(shuō)一下，VGG-16的這個(gè)數(shù)字16，就是指在這個(gè)網(wǎng)絡(luò)中包含16個(gè)卷積層和全連接層。確實(shí)是個(gè)很大的網(wǎng)絡(luò)，總共包含約1.38億個(gè)參數(shù)，即便以現(xiàn)在的標(biāo)準(zhǔn)來(lái)看都算是非常大的網(wǎng)絡(luò)。但VGG-16的結(jié)構(gòu)并不復(fù)雜，這點(diǎn)非常吸引人，而且這種網(wǎng)絡(luò)結(jié)構(gòu)很規(guī)整，都是幾個(gè)卷積層后面跟著可以壓縮圖像大小的池化層，池化層縮小圖像的高度和寬度。同時(shí)，卷積層的過(guò)濾器數(shù)量變化存在一定的規(guī)律，由64翻倍變成128，再到256和512。作者可能認(rèn)為512已經(jīng)足夠大了，所以后面的層就不再翻倍了。無(wú)論如何，每一步都進(jìn)行翻倍，或者說(shuō)在每一組卷積層進(jìn)行過(guò)濾器翻倍操作，正是設(shè)計(jì)此種網(wǎng)絡(luò)結(jié)構(gòu)的另一個(gè)簡(jiǎn)單原則。這種相對(duì)一致的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)研究者很有吸引力，而它的主要缺點(diǎn)是需要訓(xùn)練的特征數(shù)量非常巨大。

有些文章還介紹了VGG-19網(wǎng)絡(luò)，它甚至比VGG-16還要大，如果你想了解更多細(xì)節(jié)，請(qǐng)參考幻燈片下方的注文，閱讀由Karen Simonyan和Andrew Zisserman撰寫(xiě)的論文。由于VGG-16的表現(xiàn)幾乎和VGG-19不分高下，所以很多人還是會(huì)使用VGG-16。我最喜歡它的一點(diǎn)是，文中揭示了，隨著網(wǎng)絡(luò)的加深，圖像的高度和寬度都在以一定的規(guī)律不斷縮小，每次池化后剛好縮小一半，而通道數(shù)量在不斷增加，而且剛好也是在每組卷積操作后增加一倍。也就是說(shuō)，圖像縮小的比例和通道數(shù)增加的比例是有規(guī)律的。從這個(gè)角度來(lái)看，這篇論文很吸引人。

以上就是三種經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)，如果你對(duì)這些論文感興趣，我建議從介紹AlexNet的論文開(kāi)始，然后就是VGG的論文，最后是LeNet的論文。雖然有些晦澀難懂，但對(duì)于了解這些網(wǎng)絡(luò)結(jié)構(gòu)很有幫助。

學(xué)過(guò)這些經(jīng)典的網(wǎng)絡(luò)之后，下節(jié)課我們會(huì)學(xué)習(xí)一些更先高級(jí)更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，下節(jié)課見(jiàn)。

2.3 殘差網(wǎng)絡(luò)(ResNets)（Residual Networks (ResNets)）

非常非常深的神經(jīng)網(wǎng)絡(luò)是很難訓(xùn)練的，因?yàn)榇嬖谔荻认Ш吞荻缺▎?wèn)題。這節(jié)課我們學(xué)習(xí)跳躍連接（Skip connection），它可以從某一層網(wǎng)絡(luò)層獲取激活，然后迅速反饋給另外一層，甚至是神經(jīng)網(wǎng)絡(luò)的更深層。我們可以利用跳躍連接構(gòu)建能夠訓(xùn)練深度網(wǎng)絡(luò)的ResNets，有時(shí)深度能夠超過(guò)100層，讓我們開(kāi)始吧。

ResNets是由殘差塊（Residual block）構(gòu)建的，首先我解釋一下什么是殘差塊。

這是一個(gè)兩層神經(jīng)網(wǎng)絡(luò)，在層進(jìn)行激活，得到，再次進(jìn)行激活，兩層之后得到。計(jì)算過(guò)程是從開(kāi)始，首先進(jìn)行線性激活，根據(jù)這個(gè)公式：，通過(guò)算出，即乘以權(quán)重矩陣，再加上偏差因子。然后通過(guò)ReLU非線性激活函數(shù)得到，計(jì)算得出。接著再次進(jìn)行線性激活，依據(jù)等式，最后根據(jù)這個(gè)等式再次進(jìn)行ReLu非線性激活，即，這里的是指ReLU非線性函數(shù)，得到的結(jié)果就是。換句話說(shuō)，信息流從到需要經(jīng)過(guò)以上所有步驟，即這組網(wǎng)絡(luò)層的主路徑。

在殘差網(wǎng)絡(luò)中有一點(diǎn)變化，我們將直接向后，拷貝到神經(jīng)網(wǎng)絡(luò)的深層，在ReLU非線性激活函數(shù)前加上，這是一條捷徑。的信息直接到達(dá)神經(jīng)網(wǎng)絡(luò)的深層，不再沿著主路徑傳遞，這就意味著最后這個(gè)等式()去掉了，取而代之的是另一個(gè)ReLU非線性函數(shù)，仍然對(duì)進(jìn)行函數(shù)處理，但這次要加上，即：，也就是加上的這個(gè)產(chǎn)生了一個(gè)殘差塊。

在上面這個(gè)圖中，我們也可以畫(huà)一條捷徑，直達(dá)第二層。實(shí)際上這條捷徑是在進(jìn)行ReLU非線性激活函數(shù)之前加上的，而這里的每一個(gè)節(jié)點(diǎn)都執(zhí)行了線性函數(shù)和ReLU激活函數(shù)。所以插入的時(shí)機(jī)是在線性激活之后，ReLU激活之前。除了捷徑，你還會(huì)聽(tīng)到另一個(gè)術(shù)語(yǔ)“跳躍連接”，就是指跳過(guò)一層或者好幾層，從而將信息傳遞到神經(jīng)網(wǎng)絡(luò)的更深層。

ResNet的發(fā)明者是何愷明（Kaiming He）、張翔宇（Xiangyu Zhang）、任少卿（Shaoqing Ren）和孫劍（Jiangxi Sun），他們發(fā)現(xiàn)使用殘差塊能夠訓(xùn)練更深的神經(jīng)網(wǎng)絡(luò)。所以構(gòu)建一個(gè)ResNet網(wǎng)絡(luò)就是通過(guò)將很多這樣的殘差塊堆積在一起，形成一個(gè)很深神經(jīng)網(wǎng)絡(luò)，我們來(lái)看看這個(gè)網(wǎng)絡(luò)。

這并不是一個(gè)殘差網(wǎng)絡(luò)，而是一個(gè)普通網(wǎng)絡(luò)（Plain network），這個(gè)術(shù)語(yǔ)來(lái)自ResNet論文。

把它變成ResNet的方法是加上所有跳躍連接，正如前一張幻燈片中看到的，每?jī)蓪釉黾右粋€(gè)捷徑，構(gòu)成一個(gè)殘差塊。如圖所示，5個(gè)殘差塊連接在一起構(gòu)成一個(gè)殘差網(wǎng)絡(luò)。

如果我們使用標(biāo)準(zhǔn)優(yōu)化算法訓(xùn)練一個(gè)普通網(wǎng)絡(luò)，比如說(shuō)梯度下降法，或者其它熱門(mén)的優(yōu)化算法。如果沒(méi)有殘差，沒(méi)有這些捷徑或者跳躍連接，憑經(jīng)驗(yàn)?zāi)銜?huì)發(fā)現(xiàn)隨著網(wǎng)絡(luò)深度的加深，訓(xùn)練錯(cuò)誤會(huì)先減少，然后增多。而理論上，隨著網(wǎng)絡(luò)深度的加深，應(yīng)該訓(xùn)練得越來(lái)越好才對(duì)。也就是說(shuō)，理論上網(wǎng)絡(luò)深度越深越好。但實(shí)際上，如果沒(méi)有殘差網(wǎng)絡(luò)，對(duì)于一個(gè)普通網(wǎng)絡(luò)來(lái)說(shuō)，深度越深意味著用優(yōu)化算法越難訓(xùn)練。實(shí)際上，隨著網(wǎng)絡(luò)深度的加深，訓(xùn)練錯(cuò)誤會(huì)越來(lái)越多。

但有了ResNets就不一樣了，即使網(wǎng)絡(luò)再深，訓(xùn)練的表現(xiàn)卻不錯(cuò)，比如說(shuō)訓(xùn)練誤差減少，就算是訓(xùn)練深達(dá)100層的網(wǎng)絡(luò)也不例外。有人甚至在1000多層的神經(jīng)網(wǎng)絡(luò)中做過(guò)實(shí)驗(yàn)，盡管目前我還沒(méi)有看到太多實(shí)際應(yīng)用。但是對(duì)的激活，或者這些中間的激活能夠到達(dá)網(wǎng)絡(luò)的更深層。這種方式確實(shí)有助于解決梯度消失和梯度爆炸問(wèn)題，讓我們?cè)谟?xùn)練更深網(wǎng)絡(luò)的同時(shí)，又能保證良好的性能。也許從另外一個(gè)角度來(lái)看，隨著網(wǎng)絡(luò)越來(lái)深，網(wǎng)絡(luò)連接會(huì)變得臃腫，但是ResNet確實(shí)在訓(xùn)練深度網(wǎng)絡(luò)方面非常有效。

現(xiàn)在大家對(duì)ResNet已經(jīng)有了一個(gè)大致的了解，通過(guò)本周的編程練習(xí)，你可以嘗試親自實(shí)現(xiàn)一下這些想法。至于為什么ResNets能有如此好的表現(xiàn)，接下來(lái)我會(huì)有更多更棒的內(nèi)容分享給大家，我們下個(gè)視頻見(jiàn)。

2.4 殘差網(wǎng)絡(luò)為什么有用？（Why ResNets work?）

為什么ResNets能有如此好的表現(xiàn)，我們來(lái)看個(gè)例子，它解釋了其中的原因，至少可以說(shuō)明，如何構(gòu)建更深層次的ResNets網(wǎng)絡(luò)的同時(shí)還不降低它們?cè)谟?xùn)練集上的效率。希望你已經(jīng)通過(guò)第三門(mén)課了解到，通常來(lái)講，網(wǎng)絡(luò)在訓(xùn)練集上表現(xiàn)好，才能在Hold-Out交叉驗(yàn)證集或dev集和測(cè)試集上有好的表現(xiàn)，所以至少在訓(xùn)練集上訓(xùn)練好ResNets是第一步。

先來(lái)看個(gè)例子，上節(jié)課我們了解到，一個(gè)網(wǎng)絡(luò)深度越深，它在訓(xùn)練集上訓(xùn)練的效率就會(huì)有所減弱，這也是有時(shí)候我們不希望加深網(wǎng)絡(luò)的原因。而事實(shí)并非如此，至少在訓(xùn)練ResNets網(wǎng)絡(luò)時(shí)，并非完全如此，舉個(gè)例子。

假設(shè)有一個(gè)大型神經(jīng)網(wǎng)絡(luò)，其輸入為，輸出激活值。假如你想增加這個(gè)神經(jīng)網(wǎng)絡(luò)的深度，那么用Big NN表示，輸出為。再給這個(gè)網(wǎng)絡(luò)額外添加兩層，依次添加兩層，最后輸出為，可以把這兩層看作一個(gè)**ResNets**塊，即具有捷徑連接的殘差塊。為了方便說(shuō)明，假設(shè)我們?cè)谡麄€(gè)網(wǎng)絡(luò)中使用**ReLU**激活函數(shù)，所以激活值都大于等于0，包括輸入的非零異常值。因?yàn)?strong>ReLU激活函數(shù)輸出的數(shù)字要么是0，要么是正數(shù)。

我們看一下的值，也就是上節(jié)課講過(guò)的表達(dá)式，即，添加項(xiàng)是剛添加的跳躍連接的輸入。展開(kāi)這個(gè)表達(dá)式，其中。注意一點(diǎn)，如果使用L2正則化或權(quán)重衰減，它會(huì)壓縮的值。如果對(duì)應(yīng)用權(quán)重衰減也可達(dá)到同樣的效果，盡管實(shí)際應(yīng)用中，你有時(shí)會(huì)對(duì)應(yīng)用權(quán)重衰減，有時(shí)不會(huì)。這里的是關(guān)鍵項(xiàng)，如果，為方便起見(jiàn)，假設(shè)，這幾項(xiàng)就沒(méi)有了，因?yàn)樗鼈?#xff08;）的值為0。最后，因?yàn)槲覀兗俣ㄊ褂?strong>ReLU激活函數(shù)，并且所有激活值都是非負(fù)的，是應(yīng)用于非負(fù)數(shù)的ReLU函數(shù)，所以。

結(jié)果表明，殘差塊學(xué)習(xí)這個(gè)恒等式函數(shù)并不難，跳躍連接使我們很容易得出。這意味著，即使給神經(jīng)網(wǎng)絡(luò)增加了這兩層，它的效率也并不遜色于更簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，因?yàn)閷W(xué)習(xí)恒等函數(shù)對(duì)它來(lái)說(shuō)很簡(jiǎn)單。盡管它多了兩層，也只把的值賦值給。所以給大型神經(jīng)網(wǎng)絡(luò)增加兩層，不論是把殘差塊添加到神經(jīng)網(wǎng)絡(luò)的中間還是末端位置，都不會(huì)影響網(wǎng)絡(luò)的表現(xiàn)。

當(dāng)然，我們的目標(biāo)不僅僅是保持網(wǎng)絡(luò)的效率，還要提升它的效率。想象一下，如果這些隱藏層單元學(xué)到一些有用信息，那么它可能比學(xué)習(xí)恒等函數(shù)表現(xiàn)得更好。而這些不含有殘差塊或跳躍連接的深度普通網(wǎng)絡(luò)情況就不一樣了，當(dāng)網(wǎng)絡(luò)不斷加深時(shí)，就算是選用學(xué)習(xí)恒等函數(shù)的參數(shù)都很困難，所以很多層最后的表現(xiàn)不但沒(méi)有更好，反而更糟。

我認(rèn)為殘差網(wǎng)絡(luò)起作用的主要原因就是這些殘差塊學(xué)習(xí)恒等函數(shù)非常容易，你能確定網(wǎng)絡(luò)性能不會(huì)受到影響，很多時(shí)候甚至可以提高效率，或者說(shuō)至少不會(huì)降低網(wǎng)絡(luò)的效率，因此創(chuàng)建類似殘差網(wǎng)絡(luò)可以提升網(wǎng)絡(luò)性能。

除此之外，關(guān)于殘差網(wǎng)絡(luò)，另一個(gè)值得探討的細(xì)節(jié)是，假設(shè)與具有相同維度，所以**ResNets**使用了許多**same**卷積，所以這個(gè)的維度等于這個(gè)輸出層的維度。之所以能實(shí)現(xiàn)跳躍連接是因?yàn)?strong>same卷積保留了維度，所以很容易得出這個(gè)捷徑連接，并輸出這兩個(gè)相同維度的向量。

如果輸入和輸出有不同維度，比如輸入的維度是128，的維度是256，再增加一個(gè)矩陣，這里標(biāo)記為，是一個(gè)256×128維度的矩陣，所以的維度是256，這個(gè)新增項(xiàng)是256維度的向量。你不需要對(duì)做任何操作，它是網(wǎng)絡(luò)通過(guò)學(xué)習(xí)得到的矩陣或參數(shù)，它是一個(gè)固定矩陣，padding值為0，用0填充，其維度為256，所以者幾個(gè)表達(dá)式都可以。

最后，我們來(lái)看看ResNets的圖片識(shí)別。這些圖片是我從何凱明等人論文中截取的，這是一個(gè)普通網(wǎng)絡(luò)，我們給它輸入一張圖片，它有多個(gè)卷積層，最后輸出了一個(gè)Softmax。

如何把它轉(zhuǎn)化為ResNets呢？只需要添加跳躍連接。這里我們只討論幾個(gè)細(xì)節(jié)，這個(gè)網(wǎng)絡(luò)有很多層3×3卷積，而且它們大多都是same卷積，這就是添加等維特征向量的原因。所以這些都是卷積層，而不是全連接層，因?yàn)樗鼈兪?strong>same卷積，維度得以保留，這也解釋了添加項(xiàng)（維度相同所以能夠相加）。

ResNets類似于其它很多網(wǎng)絡(luò)，也會(huì)有很多卷積層，其中偶爾會(huì)有池化層或類池化層的層。不論這些層是什么類型，正如我們?cè)谏弦粡埢脽羝吹降?#xff0c;你都需要調(diào)整矩陣的維度。普通網(wǎng)絡(luò)和ResNets網(wǎng)絡(luò)常用的結(jié)構(gòu)是：卷積層-卷積層-卷積層-池化層-卷積層-卷積層-卷積層-池化層……依此重復(fù)。直到最后，有一個(gè)通過(guò)softmax進(jìn)行預(yù)測(cè)的全連接層。

以上就是ResNets的內(nèi)容。使用1×1的過(guò)濾器，即1×1卷積，這個(gè)想法很有意思，為什么呢？我們下節(jié)課再講。

2.5 網(wǎng)絡(luò)中的網(wǎng)絡(luò)以及 1×1 卷積（Network in Network and 1×1 convolutions）

在架構(gòu)內(nèi)容設(shè)計(jì)方面，其中一個(gè)比較有幫助的想法是使用1×1卷積。也許你會(huì)好奇，1×1的卷積能做什么呢？不就是乘以數(shù)字么？聽(tīng)上去挺好笑的，結(jié)果并非如此，我們來(lái)具體看看。

過(guò)濾器為1×1，這里是數(shù)字2，輸入一張6×6×1的圖片，然后對(duì)它做卷積，起過(guò)濾器大小為1×1×1，結(jié)果相當(dāng)于把這個(gè)圖片乘以數(shù)字2，所以前三個(gè)單元格分別是2、4、6等等。用1×1的過(guò)濾器進(jìn)行卷積，似乎用處不大，只是對(duì)輸入矩陣乘以某個(gè)數(shù)字。但這僅僅是對(duì)于6×6×1的一個(gè)通道圖片來(lái)說(shuō)，1×1卷積效果不佳。

如果是一張6×6×32的圖片，那么使用1×1過(guò)濾器進(jìn)行卷積效果更好。具體來(lái)說(shuō)，1×1卷積所實(shí)現(xiàn)的功能是遍歷這36個(gè)單元格，計(jì)算左圖中32個(gè)數(shù)字和過(guò)濾器中32個(gè)數(shù)字的元素積之和，然后應(yīng)用ReLU非線性函數(shù)。

我們以其中一個(gè)單元為例，它是這個(gè)輸入層上的某個(gè)切片，用這36個(gè)數(shù)字乘以這個(gè)輸入層上1×1切片，得到一個(gè)實(shí)數(shù)，像這樣把它畫(huà)在輸出中。

這個(gè)1×1×32過(guò)濾器中的32個(gè)數(shù)字可以這樣理解，一個(gè)神經(jīng)元的輸入是32個(gè)數(shù)字（輸入圖片中左下角位置32個(gè)通道中的數(shù)字），即相同高度和寬度上某一切片上的32個(gè)數(shù)字，這32個(gè)數(shù)字具有不同通道，乘以32個(gè)權(quán)重（將過(guò)濾器中的32個(gè)數(shù)理解為權(quán)重），然后應(yīng)用ReLU非線性函數(shù)，在這里輸出相應(yīng)的結(jié)果。

一般來(lái)說(shuō)，如果過(guò)濾器不止一個(gè)，而是多個(gè)，就好像有多個(gè)輸入單元，其輸入內(nèi)容為一個(gè)切片上所有數(shù)字，輸出結(jié)果是6×6過(guò)濾器數(shù)量。

所以1×1卷積可以從根本上理解為對(duì)這32個(gè)不同的位置都應(yīng)用一個(gè)全連接層，全連接層的作用是輸入32個(gè)數(shù)字（過(guò)濾器數(shù)量標(biāo)記為，在這36個(gè)單元上重復(fù)此過(guò)程）,輸出結(jié)果是6×6×#filters（過(guò)濾器數(shù)量），以便在輸入層上實(shí)施一個(gè)非平凡（non-trivial）計(jì)算。

這種方法通常稱為1×1卷積，有時(shí)也被稱為Network in Network，在林敏、陳強(qiáng)和楊學(xué)成的論文中有詳細(xì)描述。雖然論文中關(guān)于架構(gòu)的詳細(xì)內(nèi)容并沒(méi)有得到廣泛應(yīng)用，但是1×1卷積或Network in Network這種理念卻很有影響力，很多神經(jīng)網(wǎng)絡(luò)架構(gòu)都受到它的影響，包括下節(jié)課要講的Inception網(wǎng)絡(luò)。

舉個(gè)1×1卷積的例子，相信對(duì)大家有所幫助，這是它的一個(gè)應(yīng)用。

假設(shè)這是一個(gè)28×28×192的輸入層，你可以使用池化層壓縮它的高度和寬度，這個(gè)過(guò)程我們很清楚。但如果通道數(shù)量很大，該如何把它壓縮為28×28×32維度的層呢？你可以用32個(gè)大小為1×1的過(guò)濾器，嚴(yán)格來(lái)講每個(gè)過(guò)濾器大小都是1×1×192維，因?yàn)檫^(guò)濾器中通道數(shù)量必須與輸入層中通道的數(shù)量保持一致。但是你使用了32個(gè)過(guò)濾器，輸出層為28×28×32，這就是壓縮通道數(shù)（）的方法，對(duì)于池化層我只是壓縮了這些層的高度和寬度。

在之后我們看到在某些網(wǎng)絡(luò)中1×1卷積是如何壓縮通道數(shù)量并減少計(jì)算的。當(dāng)然如果你想保持通道數(shù)192不變，這也是可行的，1×1卷積只是添加了非線性函數(shù)，當(dāng)然也可以讓網(wǎng)絡(luò)學(xué)習(xí)更復(fù)雜的函數(shù)，比如，我們?cè)偬砑右粚?#xff0c;其輸入為28×28×192，輸出為28×28×192。

1×1卷積層就是這樣實(shí)現(xiàn)了一些重要功能的（doing something pretty non-trivial），它給神經(jīng)網(wǎng)絡(luò)添加了一個(gè)非線性函數(shù)，從而減少或保持輸入層中的通道數(shù)量不變，當(dāng)然如果你愿意，也可以增加通道數(shù)量。后面你會(huì)發(fā)現(xiàn)這對(duì)構(gòu)建Inception網(wǎng)絡(luò)很有幫助，我們放在下節(jié)課講。

這節(jié)課我們演示了如何根據(jù)自己的意愿通過(guò)1×1卷積的簡(jiǎn)單操作來(lái)壓縮或保持輸入層中的通道數(shù)量，甚至是增加通道數(shù)量。下節(jié)課，我們?cè)僦v講1×1卷積是如何幫助我們構(gòu)建Inception網(wǎng)絡(luò)的，下節(jié)課見(jiàn)。

2.6 谷歌 Inception 網(wǎng)絡(luò)簡(jiǎn)介（Inception network motivation）

構(gòu)建卷積層時(shí)，你要決定過(guò)濾器的大小究竟是1×1（原來(lái)是1×3，猜測(cè)為口誤），3×3還是5×5，或者要不要添加池化層。而Inception網(wǎng)絡(luò)的作用就是代替你來(lái)決定，雖然網(wǎng)絡(luò)架構(gòu)因此變得更加復(fù)雜，但網(wǎng)絡(luò)表現(xiàn)卻非常好，我們來(lái)了解一下其中的原理。

例如，這是你28×28×192維度的輸入層，Inception網(wǎng)絡(luò)或Inception層的作用就是代替人工來(lái)確定卷積層中的過(guò)濾器類型，或者確定是否需要?jiǎng)?chuàng)建卷積層或池化層，我們演示一下。

如果使用1×1卷積，輸出結(jié)果會(huì)是28×28×#（某個(gè)值），假設(shè)輸出為28×28×64，并且這里只有一個(gè)層。

如果使用3×3的過(guò)濾器，那么輸出是28×28×128。然后我們把第二個(gè)值堆積到第一個(gè)值上，為了匹配維度，我們應(yīng)用same卷積，輸出維度依然是28×28，和輸入維度相同，即高度和寬度相同。

或許你會(huì)說(shuō)，我希望提升網(wǎng)絡(luò)的表現(xiàn)，用5×5過(guò)濾器或許會(huì)更好，我們不妨試一下，輸出變成28×28×32，我們?cè)俅问褂?strong>same卷積，保持維度不變。

或許你不想要卷積層，那就用池化操作，得到一些不同的輸出結(jié)果，我們把它也堆積起來(lái)，這里的池化輸出是28×28×32。為了匹配所有維度，我們需要對(duì)最大池化使用padding，它是一種特殊的池化形式，因?yàn)槿绻斎氲母叨群蛯挾葹?8×28，則輸出的相應(yīng)維度也是28×28。然后再進(jìn)行池化，padding不變，步幅為1。

這個(gè)操作非常有意思，但我們要繼續(xù)學(xué)習(xí)后面的內(nèi)容，一會(huì)再實(shí)現(xiàn)這個(gè)池化過(guò)程。

有了這樣的Inception模塊，你就可以輸入某個(gè)量，因?yàn)樗奂恿怂袛?shù)字，這里的最終輸出為32+32+128+64=256。Inception模塊的輸入為28×28×192，輸出為28×28×256。這就是Inception網(wǎng)絡(luò)的核心內(nèi)容，提出者包括Christian Szegedy、劉偉、賈揚(yáng)清、Pierre Sermanet、Scott Reed、Dragomir Anguelov、Dumitru Erhan、Vincent Vanhoucke和Andrew Rabinovich。基本思想是Inception網(wǎng)絡(luò)不需要人為決定使用哪個(gè)過(guò)濾器或者是否需要池化，而是由網(wǎng)絡(luò)自行確定這些參數(shù)，你可以給網(wǎng)絡(luò)添加這些參數(shù)的所有可能值，然后把這些輸出連接起來(lái)，讓網(wǎng)絡(luò)自己學(xué)習(xí)它需要什么樣的參數(shù)，采用哪些過(guò)濾器組合。

不難發(fā)現(xiàn)，我所描述的Inception層有一個(gè)問(wèn)題，就是計(jì)算成本，下一張幻燈片，我們就來(lái)計(jì)算這個(gè)5×5過(guò)濾器在該模塊中的計(jì)算成本。

我們把重點(diǎn)集中在前一張幻燈片中的5×5的過(guò)濾器，這是一個(gè)28×28×192的輸入塊，執(zhí)行一個(gè)5×5卷積，它有32個(gè)過(guò)濾器，輸出為28×28×32。前一張幻燈片中，我用一個(gè)紫色的細(xì)長(zhǎng)塊表示，這里我用一個(gè)看起來(lái)更普通的藍(lán)色塊表示。我們來(lái)計(jì)算這個(gè)28×28×32輸出的計(jì)算成本，它有32個(gè)過(guò)濾器，因?yàn)檩敵鲇?2個(gè)通道，每個(gè)過(guò)濾器大小為5×5×192，輸出大小為28×28×32，所以你要計(jì)算28×28×32個(gè)數(shù)字。對(duì)于輸出中的每個(gè)數(shù)字來(lái)說(shuō)，你都需要執(zhí)行5×5×192次乘法運(yùn)算，所以乘法運(yùn)算的總次數(shù)為每個(gè)輸出值所需要執(zhí)行的乘法運(yùn)算次數(shù)（5×5×192）乘以輸出值個(gè)數(shù)（28×28×32），把這些數(shù)相乘結(jié)果等于1.2億(120422400)。即使在現(xiàn)在，用計(jì)算機(jī)執(zhí)行1.2億次乘法運(yùn)算，成本也是相當(dāng)高的。下一張幻燈片會(huì)介紹1×1卷積的應(yīng)用，也就是我們上節(jié)課所學(xué)的。為了降低計(jì)算成本，我們用計(jì)算成本除以因子10，結(jié)果它從1.2億減小到原來(lái)的十分之一。請(qǐng)記住120這個(gè)數(shù)字，一會(huì)還要和下一頁(yè)看到的數(shù)字做對(duì)比。

這里還有另外一種架構(gòu)，其輸入為28×28×192，輸出為28×28×32。其結(jié)果是這樣的，對(duì)于輸入層，使用1×1卷積把輸入值從192個(gè)通道減少到16個(gè)通道。然后對(duì)這個(gè)較小層運(yùn)行5×5卷積，得到最終輸出。請(qǐng)注意，輸入和輸出的維度依然相同，輸入是28×28×192，輸出是28×28×32，和上一頁(yè)的相同。但我們要做的就是把左邊這個(gè)大的輸入層壓縮成這個(gè)較小的的中間層，它只有16個(gè)通道，而不是192個(gè)。

有時(shí)候這被稱為瓶頸層，瓶頸通常是某個(gè)對(duì)象最小的部分，假如你有這樣一個(gè)玻璃瓶，這是瓶塞位置，瓶頸就是這個(gè)瓶子最小的部分。

同理，瓶頸層也是網(wǎng)絡(luò)中最小的部分，我們先縮小網(wǎng)絡(luò)表示，然后再擴(kuò)大它。

接下來(lái)我們看看這個(gè)計(jì)算成本，應(yīng)用1×1卷積，過(guò)濾器個(gè)數(shù)為16，每個(gè)過(guò)濾器大小為1×1×192，這兩個(gè)維度相匹配（輸入通道數(shù)與過(guò)濾器通道數(shù)），28×28×16這個(gè)層的計(jì)算成本是，輸出28×28×192中每個(gè)元素都做192次乘法，用1×1×192來(lái)表示，相乘結(jié)果約等于240萬(wàn)。

那第二個(gè)卷積層呢？240萬(wàn)只是第一個(gè)卷積層的計(jì)算成本，第二個(gè)卷積層的計(jì)算成本又是多少呢？這是它的輸出，28×28×32，對(duì)每個(gè)輸出值應(yīng)用一個(gè)5×5×16維度的過(guò)濾器，計(jì)算結(jié)果為1000萬(wàn)。

所以所需要乘法運(yùn)算的總次數(shù)是這兩層的計(jì)算成本之和，也就是1204萬(wàn)，與上一張幻燈片中的值做比較，計(jì)算成本從1.2億下降到了原來(lái)的十分之一，即1204萬(wàn)。所需要的加法運(yùn)算與乘法運(yùn)算的次數(shù)近似相等，所以我只統(tǒng)計(jì)了乘法運(yùn)算的次數(shù)。

總結(jié)一下，如果你在構(gòu)建神經(jīng)網(wǎng)絡(luò)層的時(shí)候，不想決定池化層是使用1×1，3×3還是5×5的過(guò)濾器，那么Inception模塊就是最好的選擇。我們可以應(yīng)用各種類型的過(guò)濾器，只需要把輸出連接起來(lái)。之后我們講到計(jì)算成本問(wèn)題，我們學(xué)習(xí)了如何通過(guò)使用1×1卷積來(lái)構(gòu)建瓶頸層，從而大大降低計(jì)算成本。

你可能會(huì)問(wèn)，僅僅大幅縮小表示層規(guī)模會(huì)不會(huì)影響神經(jīng)網(wǎng)絡(luò)的性能？事實(shí)證明，只要合理構(gòu)建瓶頸層，你既可以顯著縮小表示層規(guī)模，又不會(huì)降低網(wǎng)絡(luò)性能，從而節(jié)省了計(jì)算。

這就是Inception模塊的主要思想，我們?cè)谶@總結(jié)一下。下節(jié)課，我們將演示一個(gè)完整的Inception網(wǎng)絡(luò)。

2.7 Inception 網(wǎng)絡(luò)（Inception network）

在上節(jié)視頻中，你已經(jīng)見(jiàn)到了所有的Inception網(wǎng)絡(luò)基礎(chǔ)模塊。在本視頻中，我們將學(xué)習(xí)如何將這些模塊組合起來(lái)，構(gòu)筑你自己的Inception網(wǎng)絡(luò)。

Inception模塊會(huì)將之前層的激活或者輸出作為它的輸入，作為前提，這是一個(gè)28×28×192的輸入，和我們之前視頻中的一樣。我們?cè)敿?xì)分析過(guò)的例子是，先通過(guò)一個(gè)1×1的層，再通過(guò)一個(gè)5×5的層，1×1的層可能有16個(gè)通道，而5×5的層輸出為28×28×32，共32個(gè)通道，這就是上個(gè)視頻最后講到的我們處理的例子。

為了在這個(gè)3×3的卷積層中節(jié)省運(yùn)算量，你也可以做相同的操作，這樣的話3×3的層將會(huì)輸出28×28×128。

或許你還想將其直接通過(guò)一個(gè)1×1的卷積層，這時(shí)就不必在后面再跟一個(gè)1×1的層了，這樣的話過(guò)程就只有一步，假設(shè)這個(gè)層的輸出是28×28×64。

最后是池化層。

這里我們要做些有趣的事情，為了能在最后將這些輸出都連接起來(lái)，我們會(huì)使用same類型的padding來(lái)池化，使得輸出的高和寬依然是28×28，這樣才能將它與其他輸出連接起來(lái)。但注意，如果你進(jìn)行了最大池化，即便用了same padding，3×3的過(guò)濾器，stride為1，其輸出將會(huì)是28×28×192，其通道數(shù)或者說(shuō)深度與這里的輸入（通道數(shù)）相同。所以看起來(lái)它會(huì)有很多通道，我們實(shí)際要做的就是再加上一個(gè)1×1的卷積層，去進(jìn)行我們?cè)?×1卷積層的視頻里所介紹的操作，將通道的數(shù)量縮小，縮小到28×28×32。也就是使用32個(gè)維度為1×1×192的過(guò)濾器，所以輸出的維度其通道數(shù)縮小為32。這樣就避免了最后輸出時(shí)，池化層占據(jù)所有的通道。

最后，將這些方塊全都連接起來(lái)。在這過(guò)程中，把得到的各個(gè)層的通道都加起來(lái)，最后得到一個(gè)28×28×256的輸出。通道連接實(shí)際就是之前視頻中看到過(guò)的，把所有方塊連接在一起的操作。這就是一個(gè)Inception模塊，而Inception網(wǎng)絡(luò)所做的就是將這些模塊都組合到一起。

這是一張取自Szegety et al的論文中關(guān)于Inception網(wǎng)絡(luò)的圖片，你會(huì)發(fā)現(xiàn)圖中有許多重復(fù)的模塊，可能整張圖看上去很復(fù)雜，但如果你只截取其中一個(gè)環(huán)節(jié)（編號(hào)1），就會(huì)發(fā)現(xiàn)這是在前一頁(yè)ppt中所見(jiàn)的Inception模塊。

我們深入看看里邊的一些細(xì)節(jié)，這是另一個(gè)Inception模塊（編號(hào)2），這也是一個(gè)Inception模塊（編號(hào)3）。這里有一些額外的最大池化層（編號(hào)6）來(lái)修改高和寬的維度。這是另外一個(gè)Inception模塊（編號(hào)4），這是另外一個(gè)最大池化層（編號(hào)7），它改變了高和寬。而這里又是另一個(gè)Inception模塊（編號(hào)5）。

所以Inception網(wǎng)絡(luò)只是很多這些你學(xué)過(guò)的模塊在不同的位置重復(fù)組成的網(wǎng)絡(luò)，所以如果你理解了之前所學(xué)的Inception模塊，你就也能理解Inception網(wǎng)絡(luò)。

事實(shí)上，如果你讀過(guò)論文的原文，你就會(huì)發(fā)現(xiàn)，這里其實(shí)還有一些分支，我現(xiàn)在把它們加上去。所以這些分支有什么用呢？在網(wǎng)絡(luò)的最后幾層，通常稱為全連接層，在它之后是一個(gè)softmax層（編號(hào)1）來(lái)做出預(yù)測(cè)，這些分支（編號(hào)2）所做的就是通過(guò)隱藏層（編號(hào)3）來(lái)做出預(yù)測(cè)，所以這其實(shí)是一個(gè)softmax輸出（編號(hào)2），這（編號(hào)1）也是。這是另一條分支（編號(hào)4），它也包含了一個(gè)隱藏層，通過(guò)一些全連接層，然后有一個(gè)softmax來(lái)預(yù)測(cè)，輸出結(jié)果的標(biāo)簽。

你應(yīng)該把它看做Inception網(wǎng)絡(luò)的一個(gè)細(xì)節(jié)，它確保了即便是隱藏單元和中間層（編號(hào)5）也參與了特征計(jì)算，它們也能預(yù)測(cè)圖片的分類。它在Inception網(wǎng)絡(luò)中，起到一種調(diào)整的效果，并且能防止網(wǎng)絡(luò)發(fā)生過(guò)擬合。

還有這個(gè)特別的Inception網(wǎng)絡(luò)是由Google公司的作者所研發(fā)的，它被叫做GoogleLeNet，這個(gè)名字是為了向LeNet網(wǎng)絡(luò)致敬。在之前的視頻中你應(yīng)該了解了LeNet網(wǎng)絡(luò)。我覺(jué)得這樣非常好，因?yàn)樯疃葘W(xué)習(xí)研究人員是如此重視協(xié)作，深度學(xué)習(xí)工作者對(duì)彼此的工作成果有一種強(qiáng)烈的敬意。

最后，有個(gè)有趣的事實(shí)，Inception網(wǎng)絡(luò)這個(gè)名字又是緣何而來(lái)呢？Inception的論文特地提到了這個(gè)模因（meme，網(wǎng)絡(luò)用語(yǔ)即“梗”），就是“我們需要走的更深”（We need to go deeper），論文還引用了這個(gè)網(wǎng)址（http://knowyourmeme.com/memes/we-need-to-go-deeper），連接到這幅圖片上，如果你看過(guò)Inception（盜夢(mèng)空間）這個(gè)電影，你應(yīng)該能看懂這個(gè)由來(lái)。作者其實(shí)是通過(guò)它來(lái)表明了建立更深的神經(jīng)網(wǎng)絡(luò)的決心，他們正是這樣構(gòu)建了Inception。我想一般研究論文，通常不會(huì)引用網(wǎng)絡(luò)流行模因（梗），但這里顯然很合適。

最后總結(jié)一下，如果你理解了Inception模塊，你就能理解Inception網(wǎng)絡(luò)，無(wú)非是很多個(gè)Inception模塊一環(huán)接一環(huán)，最后組成了網(wǎng)絡(luò)。自從Inception模塊誕生以來(lái)，經(jīng)過(guò)研究者們的不斷發(fā)展，衍生了許多新的版本。所以在你們看一些比較新的Inception算法的論文時(shí)，會(huì)發(fā)現(xiàn)人們使用這些新版本的算法效果也一樣很好，比如Inception V2、V3以及V4，還有一個(gè)版本引入了跳躍連接的方法，有時(shí)也會(huì)有特別好的效果。但所有的這些變體都建立在同一種基礎(chǔ)的思想上，在之前的視頻中你就已經(jīng)學(xué)到過(guò)，就是把許多Inception模塊通過(guò)某種方式連接到一起。通過(guò)這個(gè)視頻，我想你應(yīng)該能去閱讀和理解這些Inception的論文，甚至是一些新版本的論文。

直到現(xiàn)在，你已經(jīng)了解了許多專用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在下節(jié)視頻中，我將會(huì)告訴你們?nèi)绾握嬲ナ褂眠@些算法來(lái)構(gòu)建自己的計(jì)算機(jī)視覺(jué)系統(tǒng)，我們下節(jié)視頻再見(jiàn)。

2.8 使用開(kāi)源的實(shí)現(xiàn)方案（Using open-source implementations）

你現(xiàn)在已經(jīng)學(xué)過(guò)幾個(gè)非常有效的神經(jīng)網(wǎng)絡(luò)和ConvNet架構(gòu)，在接下來(lái)的幾段視頻中我想與你分享幾條如何使用它們的實(shí)用性建議，首先從使用開(kāi)放源碼的實(shí)現(xiàn)開(kāi)始。

事實(shí)證明很多神經(jīng)網(wǎng)絡(luò)復(fù)雜細(xì)致，因而難以復(fù)制，因?yàn)橐恍﹨?shù)調(diào)整的細(xì)節(jié)問(wèn)題，例如學(xué)習(xí)率衰減等等，會(huì)影響性能。所以我發(fā)現(xiàn)有些時(shí)候，甚至在頂尖大學(xué)學(xué)習(xí)AI或者深度學(xué)習(xí)的博士生也很難通過(guò)閱讀別人的研究論文來(lái)復(fù)制他人的成果。幸運(yùn)的是有很多深度學(xué)習(xí)的研究者都習(xí)慣把自己的成果作為開(kāi)發(fā)資源，放在像GitHub之類的網(wǎng)站上。當(dāng)你自己編寫(xiě)代碼時(shí)，我鼓勵(lì)你考慮一下將你的代碼貢獻(xiàn)給開(kāi)源社區(qū)。如果你看到一篇研究論文想應(yīng)用它的成果，你應(yīng)該考慮做一件事，我經(jīng)常做的就是在網(wǎng)絡(luò)上尋找一個(gè)開(kāi)源的實(shí)現(xiàn)。因?yàn)槟闳绻艿玫阶髡叩膶?shí)現(xiàn)，通常要比你從頭開(kāi)始實(shí)現(xiàn)要快得多，雖然從零開(kāi)始實(shí)現(xiàn)肯定可以是一個(gè)很好的鍛煉。

如果你已經(jīng)熟悉如何使用GitHub，這段視頻對(duì)你來(lái)說(shuō)可能沒(méi)什么必要或者沒(méi)那么重要。但是如果你不習(xí)慣從GitHub下載開(kāi)源代碼，讓我來(lái)演示一下。

（整理者注：ResNets實(shí)現(xiàn)的GitHub地址https://github.com/KaimingHe/deep-residual-networks）

假設(shè)你對(duì)殘差網(wǎng)絡(luò)感興趣，那就讓我們搜索GitHub上的ResNets，那么你可以在GitHub看到很多不同的ResNet的實(shí)現(xiàn)。我就打開(kāi)這里的第一個(gè)網(wǎng)址，這是一個(gè)ResNets實(shí)現(xiàn)的GitHub資源庫(kù)。在很多GitHub的網(wǎng)頁(yè)上往下翻，你會(huì)看到一些描述，這個(gè)實(shí)現(xiàn)的文字說(shuō)明。這個(gè)GitHub資源庫(kù)，實(shí)際上是由ResNet論文原作者上傳的。這些代碼，這里有麻省理工學(xué)院的許可，你可以點(diǎn)擊查看此許可的含義，MIT許可是比較開(kāi)放的開(kāi)源許可之一。我將下載代碼，點(diǎn)擊這里的鏈接，它會(huì)給你一個(gè)URL，通過(guò)這個(gè)你可以下載這個(gè)代碼。

我點(diǎn)擊這里的按鈕（Clone or download），將這個(gè)URL復(fù)制到我的剪切板里。

（整理者注：NG此處使用的是linux系統(tǒng)的bash命令行，對(duì)于win10系統(tǒng)，可以開(kāi)啟linux子系統(tǒng)功能，然后在win10應(yīng)用商店下載ubuntu安裝，運(yùn)行CMD，輸入命令bash即可進(jìn)入linux的bash命令行）

接著到這里，接下來(lái)你要做的就是輸入git clone，接著粘貼URL，按下回車，幾秒之內(nèi)就將這個(gè)資源庫(kù)的副本下載到我的本地硬盤(pán)里。

讓我們進(jìn)入目錄，讓我們看一下，比起Windows，我更習(xí)慣用Mac，不過(guò)沒(méi)關(guān)系，讓我們?cè)囈幌?#xff0c;讓我們進(jìn)入prototxt，我認(rèn)為這就是存放這些網(wǎng)絡(luò)文件的地方。讓我們看一下這個(gè)文件。因?yàn)檫@個(gè)文件很長(zhǎng)，包含了ResNet里101層的詳細(xì)配置。我記得，從這個(gè)網(wǎng)頁(yè)上看到這個(gè)特殊實(shí)現(xiàn)使用了Caffe框架。但如果你想通過(guò)其它編程框架來(lái)實(shí)現(xiàn)這一代碼，你也可以嘗試尋找一下。

如果你在開(kāi)發(fā)一個(gè)計(jì)算機(jī)視覺(jué)應(yīng)用，一個(gè)常見(jiàn)的工作流程是，先選擇一個(gè)你喜歡的架構(gòu)，或許是你在這門(mén)課中學(xué)習(xí)到的，或者是你從朋友那聽(tīng)說(shuō)的，或者是從文獻(xiàn)中看到的，接著尋找一個(gè)開(kāi)源實(shí)現(xiàn)，從GitHub下載下來(lái)，以此基礎(chǔ)開(kāi)始構(gòu)建。這樣做的優(yōu)點(diǎn)在于，這些網(wǎng)絡(luò)通常都需要很長(zhǎng)的時(shí)間來(lái)訓(xùn)練，而或許有人已經(jīng)使用多個(gè)GPU，通過(guò)龐大的數(shù)據(jù)集預(yù)先訓(xùn)練了這些網(wǎng)絡(luò)，這樣一來(lái)你就可以使用這些網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，我們將在下一節(jié)課討論這些內(nèi)容。

當(dāng)然，如果你是一名計(jì)算機(jī)視覺(jué)研究員，從零來(lái)實(shí)現(xiàn)這些，那么你的工作流程將會(huì)不同，如果你自己構(gòu)建，那么希望你將工作成果貢獻(xiàn)出來(lái)，放到開(kāi)源社區(qū)。因?yàn)橐呀?jīng)有如此多計(jì)算機(jī)視覺(jué)研究者為了實(shí)現(xiàn)這些架構(gòu)做了如此之多的工作，我發(fā)現(xiàn)從開(kāi)源項(xiàng)目上開(kāi)始是一個(gè)更好的方法，它也確實(shí)是一個(gè)更快開(kāi)展新項(xiàng)目的方法。

2.9 遷移學(xué)習(xí)（Transfer Learning）

如果你要做一個(gè)計(jì)算機(jī)視覺(jué)的應(yīng)用，相比于從頭訓(xùn)練權(quán)重，或者說(shuō)從隨機(jī)初始化權(quán)重開(kāi)始，如果你下載別人已經(jīng)訓(xùn)練好網(wǎng)絡(luò)結(jié)構(gòu)的權(quán)重，你通常能夠進(jìn)展的相當(dāng)快，用這個(gè)作為預(yù)訓(xùn)練，然后轉(zhuǎn)換到你感興趣的任務(wù)上。計(jì)算機(jī)視覺(jué)的研究社區(qū)非常喜歡把許多數(shù)據(jù)集上傳到網(wǎng)上，如果你聽(tīng)說(shuō)過(guò)，比如ImageNet，或者MS COCO，或者Pascal類型的數(shù)據(jù)集，這些都是不同數(shù)據(jù)集的名字，它們都是由大家上傳到網(wǎng)絡(luò)的，并且有大量的計(jì)算機(jī)視覺(jué)研究者已經(jīng)用這些數(shù)據(jù)集訓(xùn)練過(guò)他們的算法了。有時(shí)候這些訓(xùn)練過(guò)程需要花費(fèi)好幾周，并且需要很多的GPU，其它人已經(jīng)做過(guò)了，并且經(jīng)歷了非常痛苦的尋最優(yōu)過(guò)程，這就意味著你可以下載花費(fèi)了別人好幾周甚至幾個(gè)月而做出來(lái)的開(kāi)源的權(quán)重參數(shù)，把它當(dāng)作一個(gè)很好的初始化用在你自己的神經(jīng)網(wǎng)絡(luò)上。用遷移學(xué)習(xí)把公共的數(shù)據(jù)集的知識(shí)遷移到你自己的問(wèn)題上，讓我們看一下怎么做。

舉個(gè)例子，假如說(shuō)你要建立一個(gè)貓咪檢測(cè)器，用來(lái)檢測(cè)你自己的寵物貓。比如網(wǎng)絡(luò)上的Tigger，是一個(gè)常見(jiàn)的貓的名字，Misty也是比較常見(jiàn)的貓名字。假如你的兩只貓叫Tigger和Misty，還有一種情況是，兩者都不是。所以你現(xiàn)在有一個(gè)三分類問(wèn)題，圖片里是Tigger還是Misty，或者都不是，我們忽略兩只貓同時(shí)出現(xiàn)在一張圖片里的情況。現(xiàn)在你可能沒(méi)有Tigger或者Misty的大量的圖片，所以你的訓(xùn)練集會(huì)很小，你該怎么辦呢？

我建議你從網(wǎng)上下載一些神經(jīng)網(wǎng)絡(luò)開(kāi)源的實(shí)現(xiàn)，不僅把代碼下載下來(lái)，也把權(quán)重下載下來(lái)。有許多訓(xùn)練好的網(wǎng)絡(luò)，你都可以下載。舉個(gè)例子，ImageNet數(shù)據(jù)集，它有1000個(gè)不同的類別，因此這個(gè)網(wǎng)絡(luò)會(huì)有一個(gè)Softmax單元，它可以輸出1000個(gè)可能類別之一。

你可以去掉這個(gè)Softmax層，創(chuàng)建你自己的Softmax單元，用來(lái)輸出Tigger、Misty和neither三個(gè)類別。就網(wǎng)絡(luò)而言，我建議你把所有的層看作是凍結(jié)的，你凍結(jié)網(wǎng)絡(luò)中所有層的參數(shù)，你只需要訓(xùn)練和你的Softmax層有關(guān)的參數(shù)。這個(gè)Softmax層有三種可能的輸出，Tigger、Misty或者都不是。

通過(guò)使用其他人預(yù)訓(xùn)練的權(quán)重，你很可能得到很好的性能，即使只有一個(gè)小的數(shù)據(jù)集。幸運(yùn)的是，大多數(shù)深度學(xué)習(xí)框架都支持這種操作，事實(shí)上，取決于用的框架，它也許會(huì)有trainableParameter=0這樣的參數(shù)，對(duì)于這些前面的層，你可能會(huì)設(shè)置這個(gè)參數(shù)。為了不訓(xùn)練這些權(quán)重，有時(shí)也會(huì)有freeze=1這樣的參數(shù)。不同的深度學(xué)習(xí)編程框架有不同的方式，允許你指定是否訓(xùn)練特定層的權(quán)重。在這個(gè)例子中，你只需要訓(xùn)練softmax層的權(quán)重，把前面這些層的權(quán)重都凍結(jié)。

另一個(gè)技巧，也許對(duì)一些情況有用，由于前面的層都凍結(jié)了，相當(dāng)于一個(gè)固定的函數(shù)，不需要改變。因?yàn)槟悴恍枰淖兯?#xff0c;也不訓(xùn)練它，取輸入圖像，然后把它映射到這層（softmax的前一層）的激活函數(shù)。所以這個(gè)能加速訓(xùn)練的技巧就是，如果我們先計(jì)算這一層（紫色箭頭標(biāo)記），計(jì)算特征或者激活值，然后把它們存到硬盤(pán)里。你所做的就是用這個(gè)固定的函數(shù)，在這個(gè)神經(jīng)網(wǎng)絡(luò)的前半部分（softmax層之前的所有層視為一個(gè)固定映射），取任意輸入圖像，然后計(jì)算它的某個(gè)特征向量，這樣你訓(xùn)練的就是一個(gè)很淺的softmax模型，用這個(gè)特征向量來(lái)做預(yù)測(cè)。對(duì)你的計(jì)算有用的一步就是對(duì)你的訓(xùn)練集中所有樣本的這一層的激活值進(jìn)行預(yù)計(jì)算，然后存儲(chǔ)到硬盤(pán)里，然后在此之上訓(xùn)練softmax分類器。所以，存儲(chǔ)到硬盤(pán)或者說(shuō)預(yù)計(jì)算方法的優(yōu)點(diǎn)就是，你不需要每次遍歷訓(xùn)練集再重新計(jì)算這個(gè)激活值了。

因此如果你的任務(wù)只有一個(gè)很小的數(shù)據(jù)集，你可以這樣做。要有一個(gè)更大的訓(xùn)練集怎么辦呢？根據(jù)經(jīng)驗(yàn)，如果你有一個(gè)更大的標(biāo)定的數(shù)據(jù)集，也許你有大量的Tigger和Misty的照片，還有兩者都不是的，這種情況，你應(yīng)該凍結(jié)更少的層，比如只把這些層凍結(jié)，然后訓(xùn)練后面的層。如果你的輸出層的類別不同，那么你需要構(gòu)建自己的輸出單元，Tigger、Misty或者兩者都不是三個(gè)類別。有很多方式可以實(shí)現(xiàn)，你可以取后面幾層的權(quán)重，用作初始化，然后從這里開(kāi)始梯度下降。

或者你可以直接去掉這幾層，換成你自己的隱藏單元和你自己的softmax輸出層，這些方法值得一試。但是有一個(gè)規(guī)律，如果你有越來(lái)越多的數(shù)據(jù)，你需要凍結(jié)的層數(shù)越少，你能夠訓(xùn)練的層數(shù)就越多。這個(gè)理念就是，如果你有一個(gè)更大的數(shù)據(jù)集，也許有足夠多的數(shù)據(jù)，那么不要單單訓(xùn)練一個(gè)softmax單元，而是考慮訓(xùn)練中等大小的網(wǎng)絡(luò)，包含你最終要用的網(wǎng)絡(luò)的后面幾層。

最后，如果你有大量數(shù)據(jù)，你應(yīng)該做的就是用開(kāi)源的網(wǎng)絡(luò)和它的權(quán)重，把這、所有的權(quán)重當(dāng)作初始化，然后訓(xùn)練整個(gè)網(wǎng)絡(luò)。再次注意，如果這是一個(gè)1000節(jié)點(diǎn)的softmax，而你只有三個(gè)輸出，你需要你自己的softmax輸出層來(lái)輸出你要的標(biāo)簽。

如果你有越多的標(biāo)定的數(shù)據(jù)，或者越多的Tigger、Misty或者兩者都不是的圖片，你可以訓(xùn)練越多的層。極端情況下，你可以用下載的權(quán)重只作為初始化，用它們來(lái)代替隨機(jī)初始化，接著你可以用梯度下降訓(xùn)練，更新網(wǎng)絡(luò)所有層的所有權(quán)重。

這就是卷積網(wǎng)絡(luò)訓(xùn)練中的遷移學(xué)習(xí)，事實(shí)上，網(wǎng)上的公開(kāi)數(shù)據(jù)集非常龐大，并且你下載的其他人已經(jīng)訓(xùn)練好幾周的權(quán)重，已經(jīng)從數(shù)據(jù)中學(xué)習(xí)了很多了，你會(huì)發(fā)現(xiàn)，對(duì)于很多計(jì)算機(jī)視覺(jué)的應(yīng)用，如果你下載其他人的開(kāi)源的權(quán)重，并用作你問(wèn)題的初始化，你會(huì)做的更好。在所有不同學(xué)科中，在所有深度學(xué)習(xí)不同的應(yīng)用中，我認(rèn)為計(jì)算機(jī)視覺(jué)是一個(gè)你經(jīng)常用到遷移學(xué)習(xí)的領(lǐng)域，除非你有非常非常大的數(shù)據(jù)集，你可以從頭開(kāi)始訓(xùn)練所有的東西。總之，遷移學(xué)習(xí)是非常值得你考慮的，除非你有一個(gè)極其大的數(shù)據(jù)集和非常大的計(jì)算量預(yù)算來(lái)從頭訓(xùn)練你的網(wǎng)絡(luò)。

2.10 數(shù)據(jù)增強(qiáng)（Data augmentation）

大部分的計(jì)算機(jī)視覺(jué)任務(wù)使用很多的數(shù)據(jù)，所以數(shù)據(jù)擴(kuò)充是經(jīng)常使用的一種技巧來(lái)提高計(jì)算機(jī)視覺(jué)系統(tǒng)的表現(xiàn)。我認(rèn)為計(jì)算機(jī)視覺(jué)是一個(gè)相當(dāng)復(fù)雜的工作，你需要輸入圖像的像素值，然后弄清楚圖片中有什么，似乎你需要學(xué)習(xí)一個(gè)復(fù)雜方程來(lái)做這件事。在實(shí)踐中，更多的數(shù)據(jù)對(duì)大多數(shù)計(jì)算機(jī)視覺(jué)任務(wù)都有所幫助，不像其他領(lǐng)域，有時(shí)候得到充足的數(shù)據(jù)，但是效果并不怎么樣。但是，當(dāng)下在計(jì)算機(jī)視覺(jué)方面，計(jì)算機(jī)視覺(jué)的主要問(wèn)題是沒(méi)有辦法得到充足的數(shù)據(jù)。對(duì)大多數(shù)機(jī)器學(xué)習(xí)應(yīng)用，這不是問(wèn)題，但是對(duì)計(jì)算機(jī)視覺(jué)，數(shù)據(jù)就遠(yuǎn)遠(yuǎn)不夠。所以這就意味著當(dāng)你訓(xùn)練計(jì)算機(jī)視覺(jué)模型的時(shí)候，數(shù)據(jù)擴(kuò)充會(huì)有所幫助，這是可行的，無(wú)論你是使用遷移學(xué)習(xí)，使用別人的預(yù)訓(xùn)練模型開(kāi)始，或者從源代碼開(kāi)始訓(xùn)練模型。讓我們來(lái)看一下計(jì)算機(jī)視覺(jué)中常見(jiàn)的數(shù)據(jù)擴(kuò)充（增強(qiáng)）的方法。

或許最簡(jiǎn)單的數(shù)據(jù)擴(kuò)充方法就是垂直鏡像對(duì)稱，假如，訓(xùn)練集中有這張圖片，然后將其翻轉(zhuǎn)得到右邊的圖像。對(duì)大多數(shù)計(jì)算機(jī)視覺(jué)任務(wù)，左邊的圖片是貓，然后鏡像對(duì)稱仍然是貓，如果鏡像操作保留了圖像中想識(shí)別的物體的前提下，這是個(gè)很實(shí)用的數(shù)據(jù)擴(kuò)充技巧。

另一個(gè)經(jīng)常使用的技巧是隨機(jī)裁剪，給定一個(gè)數(shù)據(jù)集，然后開(kāi)始隨機(jī)裁剪，可能修剪這個(gè)（編號(hào)1），選擇裁剪這個(gè)（編號(hào)2），這個(gè)（編號(hào)3），可以得到不同的圖片放在數(shù)據(jù)集中，你的訓(xùn)練集中有不同的裁剪。隨機(jī)裁剪并不是一個(gè)完美的數(shù)據(jù)擴(kuò)充的方法，如果你隨機(jī)裁剪的那一部分（紅色方框標(biāo)記部分，編號(hào)4），這部分看起來(lái)不像貓。但在實(shí)踐中，這個(gè)方法還是很實(shí)用的，隨機(jī)裁剪構(gòu)成了很大一部分的真實(shí)圖片。

鏡像對(duì)稱和隨機(jī)裁剪是經(jīng)常被使用的。當(dāng)然，理論上，你也可以使用旋轉(zhuǎn)，剪切（shearing：此處并非裁剪的含義，圖像僅水平或垂直坐標(biāo)發(fā)生變化）圖像，可以對(duì)圖像進(jìn)行這樣的扭曲變形，引入很多形式的局部彎曲等等。當(dāng)然使用這些方法并沒(méi)有壞處，盡管在實(shí)踐中，因?yàn)樘珡?fù)雜了所以使用的很少。

第二種經(jīng)常使用的方法是彩色轉(zhuǎn)換，有這樣一張圖片，然后給R、G和B三個(gè)通道上加上不同的失真值。

在這個(gè)例子中（編號(hào)1），要給紅色、藍(lán)色通道加值，給綠色通道減值。紅色和藍(lán)色會(huì)產(chǎn)生紫色，使整張圖片看起來(lái)偏紫，這樣訓(xùn)練集中就有失真的圖片。為了演示效果，我對(duì)圖片的顏色進(jìn)行改變比較夸張。在實(shí)踐中，對(duì)R、G和B的變化是基于某些分布的，這樣的改變也可能很小。

這么做的目的就是使用不同的R、G和B的值，使用這些值來(lái)改變顏色。在第二個(gè)例子中（編號(hào)2），我們少用了一點(diǎn)紅色，更多的綠色和藍(lán)色色調(diào)，這就使得圖片偏黃一點(diǎn)。

在這（編號(hào)3）使用了更多的藍(lán)色，僅僅多了點(diǎn)紅色。在實(shí)踐中，R、G和B的值是根據(jù)某種概率分布來(lái)決定的。這么做的理由是，可能陽(yáng)光會(huì)有一點(diǎn)偏黃，或者是燈光照明有一點(diǎn)偏黃，這些可以輕易的改變圖像的顏色，但是對(duì)貓的識(shí)別，或者是內(nèi)容的識(shí)別，以及標(biāo)簽，還是保持不變的。所以介紹這些，顏色失真或者是顏色變換方法，這樣會(huì)使得你的學(xué)習(xí)算法對(duì)照片的顏色更改更具魯棒性。

這是對(duì)更高級(jí)的學(xué)習(xí)者的一些注意提醒，你可以不理解我用紅色標(biāo)出來(lái)的內(nèi)容。對(duì)R、G和B有不同的采樣方式，其中一種影響顏色失真的算法是PCA，即主成分分析，我在機(jī)器學(xué)習(xí)的mooc中講過(guò)，在Coursera ml-class.Org機(jī)器學(xué)習(xí)這門(mén)課中。但具體顏色改變的細(xì)節(jié)在AlexNet的論文中有時(shí)候被稱作PCA顏色增強(qiáng)，PCA顏色增強(qiáng)的大概含義是，比如說(shuō)，如果你的圖片呈現(xiàn)紫色，即主要含有紅色和藍(lán)色，綠色很少，然后PCA顏色增強(qiáng)算法就會(huì)對(duì)紅色和藍(lán)色增減很多，綠色變化相對(duì)少一點(diǎn)，所以使總體的顏色保持一致。如果這些你都不懂，不需要擔(dān)心，可以在網(wǎng)上搜索你想要了解的東西，如果你愿意的話可以閱讀AlexNet論文中的細(xì)節(jié)，你也能找到PCA顏色增強(qiáng)的開(kāi)源實(shí)現(xiàn)方法，然后直接使用它。

你可能有存儲(chǔ)好的數(shù)據(jù)，你的訓(xùn)練數(shù)據(jù)存在硬盤(pán)上，然后使用符號(hào)，這個(gè)圓桶來(lái)表示你的硬盤(pán)。如果你有一個(gè)小的訓(xùn)練數(shù)據(jù)，你可以做任何事情，這些數(shù)據(jù)集就夠了。

但是你有特別大的訓(xùn)練數(shù)據(jù)，接下來(lái)這些就是人么經(jīng)常使用的方法。你可能會(huì)使用CPU線程，然后它不停的從硬盤(pán)中讀取數(shù)據(jù)，所以你有一個(gè)從硬盤(pán)過(guò)來(lái)的圖片數(shù)據(jù)流。你可以用CPU線程來(lái)實(shí)現(xiàn)這些失真變形，可以是隨機(jī)裁剪、顏色變化，或者是鏡像。但是對(duì)每張圖片得到對(duì)應(yīng)的某一種變形失真形式，看這張圖片（編號(hào)1），對(duì)其進(jìn)行鏡像變換，以及使用顏色失真，這張圖最后會(huì)顏色變化（編號(hào)2），從而得到不同顏色的貓。

與此同時(shí)，CPU線程持續(xù)加載數(shù)據(jù)，然后實(shí)現(xiàn)任意失真變形，從而構(gòu)成批數(shù)據(jù)或者最小批數(shù)據(jù)，這些數(shù)據(jù)持續(xù)的傳輸給其他線程或者其他的進(jìn)程，然后開(kāi)始訓(xùn)練，可以在CPU或者GPU上實(shí)現(xiàn)訓(xùn)一個(gè)大型網(wǎng)絡(luò)的訓(xùn)練。

常用的實(shí)現(xiàn)數(shù)據(jù)擴(kuò)充的方法是使用一個(gè)線程或者是多線程，這些可以用來(lái)加載數(shù)據(jù)，實(shí)現(xiàn)變形失真，然后傳給其他的線程或者其他進(jìn)程，來(lái)訓(xùn)練這個(gè)（編號(hào)2）和這個(gè)（編號(hào)1），可以并行實(shí)現(xiàn)。

這就是數(shù)據(jù)擴(kuò)充，與訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的其他部分類似，在數(shù)據(jù)擴(kuò)充過(guò)程中也有一些超參數(shù)，比如說(shuō)顏色變化了多少，以及隨機(jī)裁剪的時(shí)候使用的參數(shù)。與計(jì)算機(jī)視覺(jué)其他部分類似，一個(gè)好的開(kāi)始可能是使用別人的開(kāi)源實(shí)現(xiàn)，了解他們?nèi)绾螌?shí)現(xiàn)數(shù)據(jù)擴(kuò)充。當(dāng)然如果你想獲得更多的不變特性，而其他人的開(kāi)源實(shí)現(xiàn)并沒(méi)有實(shí)現(xiàn)這個(gè)，你也可以去調(diào)整這些參數(shù)。因此，我希望你們可以使用數(shù)據(jù)擴(kuò)充使你的計(jì)算機(jī)視覺(jué)應(yīng)用效果更好。

2.11 計(jì)算機(jī)視覺(jué)現(xiàn)狀（The state of computer vision）

深度學(xué)習(xí)已經(jīng)成功地應(yīng)用于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別、在線廣告、物流還有其他許多問(wèn)題。在計(jì)算機(jī)視覺(jué)的現(xiàn)狀下，深度學(xué)習(xí)應(yīng)用于計(jì)算機(jī)視覺(jué)應(yīng)用有一些獨(dú)特之處。在這個(gè)視頻中，我將和你們分享一些我對(duì)深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)方面應(yīng)用的認(rèn)識(shí)，希望能幫助你們更好地理解計(jì)算機(jī)視覺(jué)作品（此處指計(jì)算機(jī)視覺(jué)或者數(shù)據(jù)競(jìng)賽中的模型）以及其中的想法，以及如何自己構(gòu)建這些計(jì)算機(jī)視覺(jué)系統(tǒng)。

你可以認(rèn)為大部分機(jī)器學(xué)習(xí)問(wèn)題是介于少量數(shù)據(jù)和大量數(shù)據(jù)范圍之間的。舉個(gè)例子，我認(rèn)為今天我們有相當(dāng)數(shù)量的語(yǔ)音識(shí)別數(shù)據(jù)，至少相對(duì)于這個(gè)問(wèn)題的復(fù)雜性而言。雖然現(xiàn)在圖像識(shí)別或圖像分類方面有相當(dāng)大的數(shù)據(jù)集，因?yàn)閳D像識(shí)別是一個(gè)復(fù)雜的問(wèn)題，通過(guò)分析像素并識(shí)別出它是什么，感覺(jué)即使在線數(shù)據(jù)集非常大，如超過(guò)一百萬(wàn)張圖片，我們?nèi)匀幌Ｍ覀兡苡懈嗟臄?shù)據(jù)。還有一些問(wèn)題，比如物體檢測(cè)，我們擁有的數(shù)據(jù)更少。提醒一下，圖像識(shí)別其實(shí)是如何看圖片的問(wèn)題，并且告訴你這張圖是不是貓，而對(duì)象檢測(cè)則是看一幅圖，你畫(huà)一個(gè)框，告訴你圖片里的物體，比如汽車等等。因?yàn)楂@取邊框的成本比標(biāo)記對(duì)象的成本更高，所以我們進(jìn)行對(duì)象檢測(cè)的數(shù)據(jù)往往比圖像識(shí)別數(shù)據(jù)要少，對(duì)象檢測(cè)是我們下周要討論的內(nèi)容。

所以，觀察一下機(jī)器學(xué)習(xí)數(shù)據(jù)范圍圖譜，你會(huì)發(fā)現(xiàn)當(dāng)你有很多數(shù)據(jù)時(shí)，人們傾向于使用更簡(jiǎn)單的算法和更少的手工工程，因?yàn)槲覀儾恍枰獮檫@個(gè)問(wèn)題精心設(shè)計(jì)特征。當(dāng)你有大量的數(shù)據(jù)時(shí)，只要有一個(gè)大型的神經(jīng)網(wǎng)絡(luò)，甚至一個(gè)更簡(jiǎn)單的架構(gòu)，可以是一個(gè)神經(jīng)網(wǎng)絡(luò)，就可以去學(xué)習(xí)它想學(xué)習(xí)的東西。

相反當(dāng)你沒(méi)有那么多的數(shù)據(jù)時(shí)，那時(shí)你會(huì)看到人們從事更多的是手工工程，低調(diào)點(diǎn)說(shuō)就是你有很多小技巧可用（整理者注：在機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)中，一般更崇尚更少的人工處理，而手工工程更多依賴人工處理，注意領(lǐng)會(huì)Andrew NG的意思）。但我認(rèn)為每你沒(méi)有太多數(shù)據(jù)時(shí)，手工工程實(shí)際上是獲得良好表現(xiàn)的最佳方式。

所以當(dāng)我看機(jī)器學(xué)習(xí)應(yīng)用時(shí)，我們認(rèn)為通常我們的學(xué)習(xí)算法有兩種知識(shí)來(lái)源，一個(gè)來(lái)源是被標(biāo)記的數(shù)據(jù)，就像，應(yīng)用在監(jiān)督學(xué)習(xí)。第二個(gè)知識(shí)來(lái)源是手工工程，有很多方法去建立一個(gè)手工工程系統(tǒng)，它可以是源于精心設(shè)計(jì)的特征，手工精心設(shè)計(jì)的網(wǎng)絡(luò)體系結(jié)構(gòu)或者是系統(tǒng)的其他組件。所以當(dāng)你沒(méi)有太多標(biāo)簽數(shù)據(jù)時(shí)，你只需要更多地考慮手工工程。

所以我認(rèn)為計(jì)算機(jī)視覺(jué)是在試圖學(xué)習(xí)一個(gè)非常復(fù)雜的功能，我們經(jīng)常感覺(jué)我們沒(méi)有足夠的數(shù)據(jù)，即使獲得了更多數(shù)據(jù)，我們還是經(jīng)常覺(jué)得還是沒(méi)有足夠的數(shù)據(jù)來(lái)滿足需求。這就是為什么計(jì)算機(jī)視覺(jué)，從過(guò)去甚至到現(xiàn)在都更多地依賴于手工工程。我認(rèn)為這也是計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)展相當(dāng)復(fù)雜網(wǎng)絡(luò)架構(gòu)地原因，因?yàn)樵谌狈Ω鄶?shù)據(jù)的情況下，獲得良好表現(xiàn)的方式還是花更多時(shí)間進(jìn)行架構(gòu)設(shè)計(jì)，或者說(shuō)在網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)上浪費(fèi)（貶義褒用，即需要花費(fèi)更多時(shí)間的意思）更多時(shí)間。

如果你認(rèn)為我是在貶低手工工程，那并不是我的意思，當(dāng)你沒(méi)有足夠的數(shù)據(jù)時(shí)，手工工程是一項(xiàng)非常困難，非常需要技巧的任務(wù)，它需要很好的洞察力，那些對(duì)手工工程有深刻見(jiàn)解的人將會(huì)得到更好的表現(xiàn)。當(dāng)你沒(méi)有足夠的數(shù)據(jù)時(shí)，手工工程對(duì)一個(gè)項(xiàng)目來(lái)說(shuō)貢獻(xiàn)就很大。當(dāng)你有很多數(shù)據(jù)的時(shí)候我就不會(huì)花時(shí)間去做手工工程，我會(huì)花時(shí)間去建立學(xué)習(xí)系統(tǒng)。但我認(rèn)為從歷史而言，計(jì)算機(jī)視覺(jué)領(lǐng)域還只是使用了非常小的數(shù)據(jù)集，因此從歷史上來(lái)看計(jì)算機(jī)視覺(jué)還是依賴于大量的手工工程。甚至在過(guò)去的幾年里，計(jì)算機(jī)視覺(jué)任務(wù)的數(shù)據(jù)量急劇增加，我認(rèn)為這導(dǎo)致了手工工程量大幅減少，但是在計(jì)算機(jī)視覺(jué)上仍然有很多的網(wǎng)絡(luò)架構(gòu)使用手工工程，這就是為什么你會(huì)在計(jì)算機(jī)視覺(jué)中看到非常復(fù)雜的超參數(shù)選擇，比你在其他領(lǐng)域中要復(fù)雜的多。實(shí)際上，因?yàn)槟阃ǔＳ斜葓D像識(shí)別數(shù)據(jù)集更小的對(duì)象檢測(cè)數(shù)據(jù)集，當(dāng)我們談?wù)搶?duì)象檢測(cè)時(shí)，其實(shí)這是下周的任務(wù)，你會(huì)看到算法變得更加復(fù)雜，而且有更多特殊的組件。

幸運(yùn)的是，當(dāng)你有少量的數(shù)據(jù)時(shí)，有一件事對(duì)你很有幫助，那就是遷移學(xué)習(xí)。我想說(shuō)的是，在之前的幻燈片中，Tigger、Misty或者二者都不是的檢測(cè)問(wèn)題中，我們有這么少的數(shù)據(jù)，遷移學(xué)習(xí)會(huì)有很大幫助。這是另一套技術(shù)，當(dāng)你有相對(duì)較少的數(shù)據(jù)時(shí)就可以用很多相似的數(shù)據(jù)。

如果你看一下計(jì)算機(jī)視覺(jué)方面的作品，看看那里的創(chuàng)意，你會(huì)發(fā)現(xiàn)人們真的是躊躇滿志，他們?cè)诨鶞?zhǔn)測(cè)試中和競(jìng)賽中表現(xiàn)出色。對(duì)計(jì)算機(jī)視覺(jué)研究者來(lái)說(shuō)，如果你在基準(zhǔn)上做得很好了，那就更容易發(fā)表論文了，所以有許多人致力于這些基準(zhǔn)上，把它做得很好。積極的一面是，它有助于整個(gè)社區(qū)找出最有效得算法。但是你在論文上也看到，人們所做的事情讓你在數(shù)據(jù)基準(zhǔn)上表現(xiàn)出色，但你不會(huì)真正部署在一個(gè)實(shí)際得應(yīng)用程序用在生產(chǎn)或一個(gè)系統(tǒng)上。

（整理著注：Benchmark 基準(zhǔn)測(cè)試，Benchmark是一個(gè)評(píng)價(jià)方式，在整個(gè)計(jì)算機(jī)領(lǐng)域有著長(zhǎng)期的應(yīng)用。維基百科上解釋：“As computer architecture advanced, it became more difficult to compare the performance of various computer systems simply by looking at their specifications.Therefore, tests were developed that allowed comparison of different architectures.”Benchmark在計(jì)算機(jī)領(lǐng)域應(yīng)用最成功的就是性能測(cè)試，主要測(cè)試負(fù)載的執(zhí)行時(shí)間、傳輸速度、吞吐量、資源占用率等。）

下面是一些有助于在基準(zhǔn)測(cè)試中表現(xiàn)出色的小技巧，這些都是我自己從來(lái)沒(méi)使用過(guò)的東西，如果我把一個(gè)系統(tǒng)投入生產(chǎn)，那就是為客戶服務(wù)。

其中一個(gè)是集成，這就意味著在你想好了你想要的神經(jīng)網(wǎng)絡(luò)之后，可以獨(dú)立訓(xùn)練幾個(gè)神經(jīng)網(wǎng)絡(luò)，并平均它們的輸出。比如說(shuō)隨機(jī)初始化三個(gè)、五個(gè)或者七個(gè)神經(jīng)網(wǎng)絡(luò)，然后訓(xùn)練所有這些網(wǎng)絡(luò)，然后平均它們的輸出。另外對(duì)他們的輸出進(jìn)行平均計(jì)算是很重要的，不要平均他們的權(quán)重，這是行不通的。看看你的7個(gè)神經(jīng)網(wǎng)絡(luò)，它們有7個(gè)不同的預(yù)測(cè)，然后平均他們，這可能會(huì)讓你在基準(zhǔn)上提高1%，2%或者更好。這會(huì)讓你做得更好，也許有時(shí)會(huì)達(dá)到1%或2%，這真的能幫助你贏得比賽。但因?yàn)榧梢馕吨獙?duì)每張圖片進(jìn)行測(cè)試，你可能需要在從3到15個(gè)不同的網(wǎng)絡(luò)中運(yùn)行一個(gè)圖像，這是很典型的，因?yàn)檫@3到15個(gè)網(wǎng)絡(luò)可能會(huì)讓你的運(yùn)行時(shí)間變慢，甚至更多時(shí)間，所以技巧之一的集成是人們?cè)诨鶞?zhǔn)測(cè)試中表現(xiàn)出色和贏得比賽的利器，但我認(rèn)為這幾乎不用于生產(chǎn)服務(wù)于客戶的，我想除非你有一個(gè)巨大的計(jì)算預(yù)算而且不介意在每個(gè)用戶圖像數(shù)據(jù)上花費(fèi)大量的計(jì)算。

你在論文中可以看到在測(cè)試時(shí)，對(duì)進(jìn)準(zhǔn)測(cè)試有幫助的另一個(gè)技巧就是Multi-crop at test time，我的意思是你已經(jīng)看到了如何進(jìn)行數(shù)據(jù)擴(kuò)充，Multi-crop是一種將數(shù)據(jù)擴(kuò)充應(yīng)用到你的測(cè)試圖像中的一種形式。

舉個(gè)例子，讓我們看看貓的圖片，然后把它復(fù)制四遍，包括它的兩個(gè)鏡像版本。有一種叫作10-crop的技術(shù)（crop理解為裁剪的意思），它基本上說(shuō)，假設(shè)你取這個(gè)中心區(qū)域，裁剪，然后通過(guò)你的分類器去運(yùn)行它，然后取左上角區(qū)域，運(yùn)行你的分類器，右上角用綠色表示，左下方用黃色表示，右下方用橙色表示，通過(guò)你的分類器來(lái)運(yùn)行它，然后對(duì)鏡像圖像做同樣的事情對(duì)吧？所以取中心的crop，然后取四個(gè)角落的crop。

這是這里（編號(hào)1）和這里（編號(hào)3）就是中心crop，這里（編號(hào)2）和這里（編號(hào)4）就是四個(gè)角落的crop。如果把這些加起來(lái)，就會(huì)有10種不同的圖像的crop，因此命名為10-crop。所以你要做的就是，通過(guò)你的分類器來(lái)運(yùn)行這十張圖片，然后對(duì)結(jié)果進(jìn)行平均。如果你有足夠的計(jì)算預(yù)算，你可以這么做，也許他們需要10個(gè)crops，你可以使用更多，這可能會(huì)讓你在生產(chǎn)系統(tǒng)中獲得更好的性能。如果是生產(chǎn)的話，我的意思還是實(shí)際部署用戶的系統(tǒng)。但這是另一種技術(shù)，它在基準(zhǔn)測(cè)試上的應(yīng)用，要比實(shí)際生產(chǎn)系統(tǒng)中好得多。

集成的一個(gè)大問(wèn)題是你需要保持所有這些不同的神經(jīng)網(wǎng)絡(luò)，這就占用了更多的計(jì)算機(jī)內(nèi)存。對(duì)于multi-crop，我想你只保留一個(gè)網(wǎng)絡(luò)，所以它不會(huì)占用太多的內(nèi)存，但它仍然會(huì)讓你的運(yùn)行時(shí)間變慢。

這些是你看到的小技巧，研究論文也可以參考這些，但我個(gè)人并不傾向于在構(gòu)建生產(chǎn)系統(tǒng)時(shí)使用這些方法，盡管它們?cè)诨鶞?zhǔn)測(cè)試和競(jìng)賽上做得很好。

由于計(jì)算機(jī)視覺(jué)問(wèn)題建立在小數(shù)據(jù)集之上，其他人已經(jīng)完成了大量的網(wǎng)絡(luò)架構(gòu)的手工工程。一個(gè)神經(jīng)網(wǎng)絡(luò)在某個(gè)計(jì)算機(jī)視覺(jué)問(wèn)題上很有效，但令人驚訝的是它通常也會(huì)解決其他計(jì)算機(jī)視覺(jué)問(wèn)題。

所以，要想建立一個(gè)實(shí)用的系統(tǒng)，你最好先從其他人的神經(jīng)網(wǎng)絡(luò)架構(gòu)入手。如果可能的話，你可以使用開(kāi)源的一些應(yīng)用，因?yàn)殚_(kāi)放的源碼實(shí)現(xiàn)可能已經(jīng)找到了所有繁瑣的細(xì)節(jié)，比如學(xué)習(xí)率衰減方式或者超參數(shù)。

最后，其他人可能已經(jīng)在幾路GPU上花了幾個(gè)星期的時(shí)間來(lái)訓(xùn)練一個(gè)模型，訓(xùn)練超過(guò)一百萬(wàn)張圖片，所以通過(guò)使用其他人的預(yù)先訓(xùn)練得模型，然后在數(shù)據(jù)集上進(jìn)行微調(diào)，你可以在應(yīng)用程序上運(yùn)行得更快。當(dāng)然如果你有電腦資源并且有意愿，我不會(huì)阻止你從頭開(kāi)始訓(xùn)練你自己的網(wǎng)絡(luò)。事實(shí)上，如果你想發(fā)明你自己的計(jì)算機(jī)視覺(jué)算法，這可能是你必須要做的。

這就是本周的學(xué)習(xí)，我希望看到大量的計(jì)算機(jī)視覺(jué)架構(gòu)能夠幫助你理解什么是有效的。在本周的編程練習(xí)中，你實(shí)際上會(huì)學(xué)習(xí)另一種編程框架，并使用它來(lái)實(shí)現(xiàn)ResNets。所以我希望你們喜歡這個(gè)編程練習(xí)，我期待下周還能見(jiàn)到你們。

本文提到的資源：

• Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun - Deep Residual Learning for Image Recognition (2015)

• Francois Chollet's github repository: https://github.com/fchollet/deep-learning-models/blob/master/resnet50.py

參考資料

[1]

深度學(xué)習(xí)課程:?https://mooc.study.163.com/university/deeplearning_ai

[2]

黃海廣:?https://github.com/fengdu78

[3]

github:?https://github.com/fengdu78/deeplearning_ai_books

總結(jié)

以上是生活随笔為你收集整理的深度学习笔记 第四门课 卷积神经网络 第二周 深度卷积网络：实例探究的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。