作為機(jī)器學(xué)習(xí)最重要的一個(gè)分支，深度學(xué)習(xí)近年來(lái)發(fā)展迅猛，在國(guó)內(nèi)外都引起了廣泛的關(guān)注。然而深度學(xué)習(xí)的火熱也不是一時(shí)興起的，而是經(jīng)歷了一段漫長(zhǎng)的發(fā)展史。接下來(lái)我們了解一下深度學(xué)習(xí)的發(fā)展歷程。

1. 深度學(xué)習(xí)的起源階段

?

圖1?“AI之父”馬文·明斯基

1943年，心里學(xué)家麥卡洛克和數(shù)學(xué)邏輯學(xué)家皮茲發(fā)表論文《神經(jīng)活動(dòng)中內(nèi)在思想的邏輯演算》，提出了MP模型。MP模型是模仿神經(jīng)元的結(jié)構(gòu)和工作原理，構(gòu)成出的一個(gè)基于神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，本質(zhì)上是一種“模擬人類(lèi)大腦”的神經(jīng)元模型。MP模型作為人工神經(jīng)網(wǎng)絡(luò)的起源，開(kāi)創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的新時(shí)代，也奠定了神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。

1949年，加拿大著名心理學(xué)家唐納德·赫布在《行為的組織》中提出了一種基于無(wú)監(jiān)督學(xué)習(xí)的規(guī)則——海布學(xué)習(xí)規(guī)則(Hebb Rule)。海布規(guī)則模仿人類(lèi)認(rèn)知世界的過(guò)程建立一種“網(wǎng)絡(luò)模型”，該網(wǎng)絡(luò)模型針對(duì)訓(xùn)練集進(jìn)行大量的訓(xùn)練并提取訓(xùn)練集的統(tǒng)計(jì)特征，然后按照樣本的相似程度進(jìn)行分類(lèi)，把相互之間聯(lián)系密切的樣本分為一類(lèi)，這樣就把樣本分成了若干類(lèi)。海布學(xué)習(xí)規(guī)則與“條件反射”機(jī)理一致，為以后的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法奠定了基礎(chǔ)，具有重大的歷史意義。

20世紀(jì)50年代末，在MP模型和海布學(xué)習(xí)規(guī)則的研究基礎(chǔ)上，美國(guó)科學(xué)家羅森布拉特發(fā)現(xiàn)了一種類(lèi)似于人類(lèi)學(xué)習(xí)過(guò)程的學(xué)習(xí)算法——感知機(jī)學(xué)習(xí)。并于1958年，正式提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)，稱之為“感知器”。感知器本質(zhì)上是一種線性模型，可以對(duì)輸入的訓(xùn)練集數(shù)據(jù)進(jìn)行二分類(lèi)，且能夠在訓(xùn)練集中自動(dòng)更新權(quán)值。感知器的提出吸引了大量科學(xué)家對(duì)人工神經(jīng)網(wǎng)絡(luò)研究的興趣，對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展具有里程碑式的意義。

但隨著研究的深入，在1969年，“AI之父”馬文·明斯基和LOGO語(yǔ)言的創(chuàng)始人西蒙·派珀特共同編寫(xiě)了一本書(shū)籍《感知器》，在書(shū)中他們證明了單層感知器無(wú)法解決線性不可分問(wèn)題（例如：異或問(wèn)題）。由于這個(gè)致命的缺陷以及沒(méi)有及時(shí)推廣感知器到多層神經(jīng)網(wǎng)絡(luò)中，在20世紀(jì)70年代，人工神經(jīng)網(wǎng)絡(luò)進(jìn)入了第一個(gè)寒冬期，人們對(duì)神經(jīng)網(wǎng)絡(luò)的研究也停滯了將近20年。

2. 深度學(xué)習(xí)的發(fā)展階段

?

圖2?深度學(xué)習(xí)之父杰弗里·辛頓

1982年，著名物理學(xué)家約翰·霍普菲爾德發(fā)明了Hopfield神經(jīng)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)是一種結(jié)合存儲(chǔ)系統(tǒng)和二元系統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)也可以模擬人類(lèi)的記憶，根據(jù)激活函數(shù)的選取不同，有連續(xù)型和離散型兩種類(lèi)型，分別用于優(yōu)化計(jì)算和聯(lián)想記憶。但由于容易陷入局部最小值的缺陷，該算法并未在當(dāng)時(shí)引起很大的轟動(dòng)。

直到1986年，深度學(xué)習(xí)之父杰弗里·辛頓提出了一種適用于多層感知器的反向傳播算法——BP算法。BP算法在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)正向傳播的基礎(chǔ)上，增加了誤差的反向傳播過(guò)程。反向傳播過(guò)程不斷地調(diào)整神經(jīng)元之間的權(quán)值和閾值，直到輸出的誤差達(dá)到減小到允許的范圍之內(nèi)，或達(dá)到預(yù)先設(shè)定的訓(xùn)練次數(shù)為止。BP算法完美的解決了非線性分類(lèi)問(wèn)題，讓人工神經(jīng)網(wǎng)絡(luò)再次的引起了人們廣泛的關(guān)注。

圖2 深度學(xué)習(xí)之父杰弗里·辛頓
但是由于八十年代計(jì)算機(jī)的硬件水平有限，如：運(yùn)算能力跟不上，這就導(dǎo)致當(dāng)神經(jīng)網(wǎng)絡(luò)的規(guī)模增大時(shí)，再使用BP算法會(huì)出現(xiàn)“梯度消失”的問(wèn)題。這使得BP算法的發(fā)展受到了很大的限制。再加上90年代中期，以SVM為代表的其它淺層機(jī)器學(xué)習(xí)算法被提出，并在分類(lèi)、回歸問(wèn)題上均取得了很好的效果，其原理又明顯不同于神經(jīng)網(wǎng)絡(luò)模型，所以人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再次進(jìn)入了瓶頸期。

3. 深度學(xué)習(xí)的爆發(fā)階段

?

圖3?AlphaGo大戰(zhàn)李世石

2006年，杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念。他們?cè)谑澜珥敿?jí)學(xué)術(shù)期刊《科學(xué)》發(fā)表的一篇文章中詳細(xì)的給出了“梯度消失”問(wèn)題的解決方案——通過(guò)無(wú)監(jiān)督的學(xué)習(xí)方法逐層訓(xùn)練算法，再使用有監(jiān)督的反向傳播算法進(jìn)行調(diào)優(yōu)。該深度學(xué)習(xí)方法的提出，立即在學(xué)術(shù)圈引起了巨大的反響，以斯坦福大學(xué)、多倫多大學(xué)為代表的眾多世界知名高校紛紛投入巨大的人力、財(cái)力進(jìn)行深度學(xué)習(xí)領(lǐng)域的相關(guān)研究。而后又在迅速蔓延到工業(yè)界中。

2006年，杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念。他們?cè)谑澜珥敿?jí)學(xué)術(shù)期刊《科學(xué)》發(fā)表的一篇文章中詳細(xì)的給出了“梯度消失”問(wèn)題的解決方案——通過(guò)無(wú)監(jiān)督的學(xué)習(xí)方法逐層訓(xùn)練算法，再使用有監(jiān)督的反向傳播算法進(jìn)行調(diào)優(yōu)。該深度學(xué)習(xí)方法的提出，立即在學(xué)術(shù)圈引起了巨大的反響，以斯坦福大學(xué)、多倫多大學(xué)為代表的眾多世界知名高校紛紛投入巨大的人力、財(cái)力進(jìn)行深度學(xué)習(xí)領(lǐng)域的相關(guān)研究。而后又在迅速蔓延到工業(yè)界中。

2012年，在著名的ImageNet圖像識(shí)別大賽中，杰弗里·辛頓領(lǐng)導(dǎo)的小組采用深度學(xué)習(xí)模型AlexNet一舉奪冠。AlexNet采用ReLU激活函數(shù)，從根本上解決了梯度消失問(wèn)題，并采用GPU極大的提高了模型的運(yùn)算速度。同年，由斯坦福大學(xué)著名的吳恩達(dá)教授和世界頂尖計(jì)算機(jī)專(zhuān)家Jeff Dean共同主導(dǎo)的深度神經(jīng)網(wǎng)絡(luò)——DNN技術(shù)在圖像識(shí)別領(lǐng)域取得了驚人的成績(jī)，在ImageNet評(píng)測(cè)中成功的把錯(cuò)誤率從26％降低到了15％。深度學(xué)習(xí)算法在世界大賽的脫穎而出，也再一次吸引了學(xué)術(shù)界和工業(yè)界對(duì)于深度學(xué)習(xí)領(lǐng)域的關(guān)注。

隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步以及數(shù)據(jù)處理能力的不斷提升，2014年，Facebook基于深度學(xué)習(xí)技術(shù)的DeepFace項(xiàng)目，在人臉識(shí)別方面的準(zhǔn)確率已經(jīng)能達(dá)到97%以上，跟人類(lèi)識(shí)別的準(zhǔn)確率幾乎沒(méi)有差別。這樣的結(jié)果也再一次證明了深度學(xué)習(xí)算法在圖像識(shí)別方面的一騎絕塵。

2016年，隨著谷歌公司基于深度學(xué)習(xí)開(kāi)發(fā)的AlphaGo以4:1的比分戰(zhàn)勝了國(guó)際頂尖圍棋高手李世石，深度學(xué)習(xí)的熱度一時(shí)無(wú)兩。后來(lái)，AlphaGo又接連和眾多世界級(jí)圍棋高手過(guò)招，均取得了完勝。這也證明了在圍棋界，基于深度學(xué)習(xí)技術(shù)的機(jī)器人已經(jīng)超越了人類(lèi)。

2017年，基于強(qiáng)化學(xué)習(xí)算法的AlphaGo升級(jí)版AlphaGo Zero橫空出世。其采用“從零開(kāi)始”、“無(wú)師自通”的學(xué)習(xí)模式，以100:0的比分輕而易舉打敗了之前的AlphaGo。除了圍棋，它還精通國(guó)際象棋等其它棋類(lèi)游戲，可以說(shuō)是真正的棋類(lèi)“天才”。此外在這一年，深度學(xué)習(xí)的相關(guān)算法在醫(yī)療、金融、藝術(shù)、無(wú)人駕駛等多個(gè)領(lǐng)域均取得了顯著的成果。所以，也有專(zhuān)家把2017年看作是深度學(xué)習(xí)甚至是人工智能發(fā)展最為突飛猛進(jìn)的一年。

所以在深度學(xué)習(xí)的浪潮之下，不管是AI的相關(guān)從業(yè)者還是其他各行各業(yè)的工作者，都應(yīng)該以開(kāi)放、學(xué)習(xí)的心態(tài)關(guān)注深度學(xué)習(xí)、人工智能的熱點(diǎn)動(dòng)態(tài)。人工智能正在悄無(wú)聲息的改變著我們的生活！

機(jī)器學(xué)習(xí)集訓(xùn)營(yíng) 第四期 北上廣深杭

機(jī)器學(xué)習(xí)集訓(xùn)營(yíng) 第四期 北上廣深杭 報(bào)名咨詢 可以獲得額外的優(yōu)惠

http://www.buluo360.com/2018/03/12/machine-learning-capus-shenzhen/

轉(zhuǎn)載于:https://www.cnblogs.com/tensorflownews/p/8552106.html

總結(jié)

以上是生活随笔為你收集整理的梳理百年深度学习发展史-七月在线机器学习集训营助你把握深度学习浪潮的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。