【AI杂谈】从一篇参考文献比正文还长的文章，杂谈深度学习综述
歡迎來到專欄《AI雜談》，顧名思義就是說一些比較雜的有意思的東西了，任何東西都有可能。
今天首先介紹一篇文章，2014年的一篇深度學(xué)習(xí)綜述，《Deep learning in Neural Networks：An Overiew》，來自于瑞士人工智能實(shí)驗(yàn)室Jurgen Schmidhuber。這是我見過的唯一一篇參考文獻(xiàn)比正文還長(zhǎng)的文章（看來還是文章看得太少了），正文17頁(yè)，參考文獻(xiàn)27頁(yè)。在這個(gè)基礎(chǔ)上對(duì)深度學(xué)習(xí)的各個(gè)方向做簡(jiǎn)單的介紹。
作者 | 言有三
編輯 | 言有三
01
文章內(nèi)容
顧名思義這是一篇深度學(xué)習(xí)綜述文章，雖然是4年前，時(shí)間有點(diǎn)久遠(yuǎn)了，但是還有具有可讀性的，尤其是歷史部分。文章的內(nèi)容包括以下幾個(gè)方面。
1.1?Introduction
前面四節(jié)都是簡(jiǎn)介，加起來也只有5頁(yè)紙，而且一些術(shù)語(yǔ)很是晦澀。
第一節(jié)簡(jiǎn)單介紹了什么是神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)的幾個(gè)重要?dú)v史節(jié)點(diǎn)（1960年代的啟蒙，1980年代反向傳播被用于訓(xùn)練模型，2009年后開始逐漸在各類比賽中嶄露頭角等）。
提到了早期的無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)，在沒有反向傳播算法之前，實(shí)際上主流是采用無監(jiān)督學(xué)習(xí)的方案，winner-take-all算法是很常見的。
第二節(jié)扯了沒什么卵用的東西。
第三節(jié)討論了模型深度的問題，何時(shí)shallow learning就能搞定問題，何時(shí)又需要deep learning？這是個(gè)很復(fù)雜的工程問題了，早點(diǎn)想一想也好。
第四節(jié)說了深度學(xué)習(xí)中的一些常見主題。提了無監(jiān)督學(xué)習(xí)對(duì)有監(jiān)督學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的輔助，甚至還有GPU，不過筆者覺得寫的真爛。
1.2 Supervised NNs
這一節(jié)才是正式開始說歷史，咱們可以看一下目錄了解大概。
5.1節(jié)說的是上個(gè)世紀(jì)40年代，McCulloch和Pitts提出的MP模型。
5.2節(jié)說的是上個(gè)世紀(jì)60年代Hubel和Wiesel研究貓的大腦并發(fā)現(xiàn)了大腦視覺機(jī)制，這是整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，兩人也因此獲得了諾貝爾生理學(xué)與醫(yī)學(xué)獎(jiǎng)。
5.3節(jié)說的是最早的多層感知器模型，甚至1971年的時(shí)候已經(jīng)達(dá)到了8層，當(dāng)時(shí)的機(jī)器下不知道怎么訓(xùn)練的，有時(shí)間要去看看。
5.4節(jié)說的是第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，Neogognitron。在這個(gè)網(wǎng)絡(luò)中已經(jīng)出現(xiàn)了現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的基本輪廓，卷積和下采樣，公眾號(hào)之前也解讀過的。
5.5節(jié)講述了反向傳播機(jī)制的誕生，及其在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的應(yīng)用。正式的出現(xiàn)是在1981年，從此反向傳播成為了神經(jīng)網(wǎng)絡(luò)的標(biāo)配訓(xùn)練機(jī)制。
后面的大家自己對(duì)著看吧
......
......
......
1.3 Reinforcement Learning
第5部分都在說有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)在一些模式識(shí)別任務(wù)中的應(yīng)用，第6部分則重點(diǎn)就是說增強(qiáng)學(xué)習(xí)在一些未知環(huán)境中的應(yīng)用，并且同時(shí)討論了前饋神經(jīng)網(wǎng)絡(luò)FNN和RNN。
02
雜談深度學(xué)習(xí)綜述
既然是雜談就再說兩句，上面這篇文章其實(shí)正文不長(zhǎng)，但是真的不好讀，在公眾號(hào)寫出來只是感覺比較奇特（吸引眼球）。
如果你想讀深度學(xué)習(xí)或者CNN相關(guān)的綜述，我推薦一些其他的資料，更好。
《What Do We Understand About Convolutional Networks?》，這是我見過最好的卷積神經(jīng)網(wǎng)絡(luò)綜述，沒有之一，老少咸宜，新手和菜鳥都行，覆蓋CNN方方面面，有圖有真相，機(jī)器之心有中文翻譯版本。
《Efficient?Processing?of?Deep?Neural?Networks: A Tutorial and Survey》，主要是硬件角度出發(fā)撰寫的Deep learning綜述，這篇文章說的東西也比較多。
《A Deep Learning Tutorial: From Perceptrons to Deep Networks》，優(yōu)秀入門博客，不多解釋。
下面我對(duì)深度學(xué)習(xí)中的一些重要研究方向列出來供大家學(xué)習(xí)參考，涉及的東西太多了。
2.1 深度學(xué)習(xí)理論
深度學(xué)習(xí)相關(guān)的理論涉及非常多的東西，為大家所熟悉的就包括最優(yōu)化方法，激活函數(shù)，正則化方法，歸一化方法，初始化方法，可視化解釋等等。
前段時(shí)間公眾號(hào)也做了調(diào)研，大家對(duì)這一塊內(nèi)容的投票最高，之所以前段時(shí)間沒寫，是因?yàn)槲蚁氚堰@一塊寫的盡可能完美而淺顯易懂，有理論又包含實(shí)踐，這一塊是我們2019年的重中之重，盡情期待吧！
2.2 模型架構(gòu)
這一塊包含的東西也特別多（其實(shí)可以包含在理論中），深度學(xué)習(xí)在各大領(lǐng)域都有不同的模型，比如圖像領(lǐng)域常見的CNN，語(yǔ)音和NLP領(lǐng)域常見的RNN，LSTM，GAN。而CNN又包含了非常多的結(jié)構(gòu)，我們有一個(gè)專欄（可以至公眾號(hào)菜單看），大家持續(xù)關(guān)注就好，下面是其中的幾篇文章。
【模型解讀】“不正經(jīng)”的卷積神經(jīng)網(wǎng)絡(luò)
【模型解讀】resnet中的殘差連接，你確定真的看懂了？
2.3 深度學(xué)習(xí)框架
工欲善其事必先利其器，深度學(xué)習(xí)框架對(duì)于從事相關(guān)工作太重要了，我們也有一個(gè)快速入門的專欄（可以至公眾號(hào)菜單看），而且今年會(huì)進(jìn)行更多的拓展，這也是公眾號(hào)今年的重點(diǎn)項(xiàng)目。
【caffe速成】caffe圖像分類從模型自定義到測(cè)試
【tensorflow速成】Tensorflow圖像分類從模型自定義到測(cè)試
2.4 數(shù)據(jù)相關(guān)
數(shù)據(jù)是深度學(xué)習(xí)系統(tǒng)的輸入，從數(shù)據(jù)的收集整理到數(shù)據(jù)增強(qiáng)的應(yīng)用等涉及的領(lǐng)域也非常廣，而且通常毀掉一個(gè)項(xiàng)目的就是數(shù)據(jù)，我們也有相關(guān)的專欄和文章。
【技術(shù)綜述】一文道盡“人臉數(shù)據(jù)集”
【技術(shù)綜述】深度學(xué)習(xí)中的數(shù)據(jù)增強(qiáng)（下）
【數(shù)據(jù)】深度學(xué)習(xí)從“數(shù)據(jù)集”開始
2.5 可視化
數(shù)據(jù)和模型的可視化也是一個(gè)單獨(dú)的領(lǐng)域，可以有助于我們更深入理解數(shù)據(jù)和模型到底學(xué)到了什么，在干什么，我們也有一篇綜述的。
【技術(shù)綜述】“看透”神經(jīng)網(wǎng)絡(luò)
2.6 方向
涉及的方向太廣了，以圖像為例，筆者以前在外講座包括了以下內(nèi)容。
當(dāng)然，從應(yīng)用角度來說，人臉，自動(dòng)駕駛等都是非常大的方向，足夠研究半輩子了。
另外，一些訓(xùn)練技巧，損失函數(shù)的設(shè)計(jì)等都是非常重要的工程技巧，我會(huì)經(jīng)常寫寫的，請(qǐng)持續(xù)關(guān)注吧。
本文相關(guān)的文章，可以發(fā)送關(guān)鍵詞“深度學(xué)習(xí)綜述”獲取。
總結(jié)
提幾個(gè)小眾但是很有意思的問題供大家思考一下，過一天我會(huì)公布答案。考驗(yàn)知識(shí)是不是扎實(shí)的時(shí)候到了。
1，誰(shuí)首先提出了數(shù)據(jù)增強(qiáng)策略？
2，第一個(gè)圖像領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)和第一個(gè)語(yǔ)音領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)分別是誰(shuí)？
3，為什么LeNet網(wǎng)絡(luò)，倒數(shù)第二層全連接的大小是84？
轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系
侵權(quán)必究
更多請(qǐng)關(guān)注知乎專欄《有三AI學(xué)院》
往期精選
回顧2018，計(jì)劃2019
【雜談】為什么你學(xué)了AI，企業(yè)卻不要你
總結(jié)
以上是生活随笔為你收集整理的【AI杂谈】从一篇参考文献比正文还长的文章，杂谈深度学习综述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 回顾2018，计划2019
- 下一篇： 【资源总结】国内AI领域的赛事全集