本文從介紹人工智能及主要的思想派系，進(jìn)一步系統(tǒng)地梳理了其發(fā)展歷程、標(biāo)志性成果并側(cè)重其算法思想介紹，將這段 60余年幾經(jīng)沉浮的歷史，以一個(gè)清晰的脈絡(luò)呈現(xiàn)出來(lái)，以此展望人工智能（AI）未來(lái)的趨勢(shì)。

一、人工智能簡(jiǎn)介

1.1 人工智能研究目的

人工智能（Artificial Intelligence，AI）研究目的是通過探索智慧的實(shí)質(zhì)，擴(kuò)展人類智能——促使智能主體會(huì)聽（語(yǔ)音識(shí)別、機(jī)器翻譯等）、會(huì)看（圖像識(shí)別、文字識(shí)別等）、會(huì)說（語(yǔ)音合成、人機(jī)對(duì)話等）、會(huì)思考（人機(jī)對(duì)弈、專家系統(tǒng)等）、會(huì)學(xué)習(xí)（知識(shí)表示，機(jī)器學(xué)習(xí)等）、會(huì)行動(dòng)（機(jī)器人、自動(dòng)駕駛汽車等）。一個(gè)經(jīng)典的AI定義是：“ 智能主體可以理解數(shù)據(jù)及從中學(xué)習(xí)，并利用知識(shí)實(shí)現(xiàn)特定目標(biāo)和任務(wù)的能力。(A system’s ability to correctly interpret external data, to learn from such data, and to use those learnings to achieve specific goals and tasks through flexible adaptation)”

1.2 人工智能的學(xué)派

在人工智能的發(fā)展過程中，不同時(shí)代、學(xué)科背景的人對(duì)于智慧的理解及其實(shí)現(xiàn)方法有著不同的思想主張，并由此衍生了不同的學(xué)派，影響較大的學(xué)派及其代表方法如下：

其中，符號(hào)主義及聯(lián)結(jié)主義為主要的兩大派系：

• “符號(hào)主義”（Symbolicism），又稱邏輯主義、計(jì)算機(jī)學(xué)派，認(rèn)為認(rèn)知就是通過對(duì)有意義的表示符號(hào)進(jìn)行推導(dǎo)計(jì)算，并將學(xué)習(xí)視為逆向演繹，主張用顯式的公理和邏輯體系搭建人工智能系統(tǒng)。如用決策樹模型輸入業(yè)務(wù)特征預(yù)測(cè)天氣：

• “聯(lián)結(jié)主義”（Connectionism），又叫仿生學(xué)派，篤信大腦的逆向工程，主張是利用數(shù)學(xué)模型來(lái)研究人類認(rèn)知的方法，用神經(jīng)元的連接機(jī)制實(shí)現(xiàn)人工智能。如用神經(jīng)網(wǎng)絡(luò)模型輸入雷達(dá)圖像數(shù)據(jù)預(yù)測(cè)天氣：

二、人工智能發(fā)展史

從始至此，人工智能(AI)便在充滿未知的道路探索，曲折起伏，我們可將這段發(fā)展歷程大致劃分為5個(gè)階段期：

• 起步發(fā)展期：1943年—20世紀(jì)60年代

• 反思發(fā)展期：20世紀(jì)70年代

• 應(yīng)用發(fā)展期：20世紀(jì)80年代

• 平穩(wěn)發(fā)展期：20世紀(jì)90年代—2010年

• 蓬勃發(fā)展期：2011年至今

2.1 起步發(fā)展期：1943年—20世紀(jì)60年代

人工智能概念的提出后，發(fā)展出了符號(hào)主義、聯(lián)結(jié)主義(神經(jīng)網(wǎng)絡(luò))，相繼取得了一批令人矚目的研究成果，如機(jī)器定理證明、跳棋程序、人機(jī)對(duì)話等，掀起人工智能發(fā)展的第一個(gè)高潮。

• 1943年，美國(guó)神經(jīng)科學(xué)家麥卡洛克（Warren McCulloch）和邏輯學(xué)家皮茨（Water Pitts）提出神經(jīng)元的數(shù)學(xué)模型，這是現(xiàn)代人工智能學(xué)科的奠基石之一。

• 1950年，艾倫·麥席森·圖靈（Alan Mathison Turing）提出“圖靈測(cè)試”（測(cè)試機(jī)器是否能表現(xiàn)出與人無(wú)法區(qū)分的智能），讓機(jī)器產(chǎn)生智能這一想法開始進(jìn)入人們的視野。

• 1950年，克勞德·香農(nóng)（Claude Shannon）提出計(jì)算機(jī)博弈。

• 1956年，達(dá)特茅斯學(xué)院人工智能夏季研討會(huì)上正式使用了人工智能（artificial intelligence，AI）這一術(shù)語(yǔ)。這是人類歷史上第一次人工智能研討，標(biāo)志著人工智能學(xué)科的誕生。

• 1957年,弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺(tái)IBM-704計(jì)算機(jī)上模擬實(shí)現(xiàn)了一種他發(fā)明的叫做“感知機(jī)”（Perceptron）的神經(jīng)網(wǎng)絡(luò)模型。

感知機(jī)可以被視為一種最簡(jiǎn)單形式的前饋式人工神經(jīng)網(wǎng)絡(luò)，是一種二分類的線性分類判別模型，其輸入為實(shí)例的特征向量（x1,x2...），神經(jīng)元的激活函數(shù)f為sign，輸出為實(shí)例的類別（+1或者-1），模型的目標(biāo)是要將輸入實(shí)例通過超平面將正負(fù)二類分離。

• 1958年，David Cox提出了logistic regression。

LR是類似于感知機(jī)結(jié)構(gòu)的線性分類判別模型，主要不同在于神經(jīng)元的激活函數(shù)f為sigmoid，模型的目標(biāo)為(最大似然)極大化正確分類概率。

• 1959年，Arthur Samuel給機(jī)器學(xué)習(xí)了一個(gè)明確概念：Field of study that gives computers the ability to learn without being explicitly programmed.（機(jī)器學(xué)習(xí)是研究如何讓計(jì)算機(jī)不需要顯式的程序也可以具備學(xué)習(xí)的能力）。

• 1961年，Leonard Merrick Uhr 和 Charles M Vossler發(fā)表了題目為A Pattern Recognition Program That Generates, Evaluates and Adjusts its Own Operators 的模式識(shí)別論文，該文章描述了一種利用機(jī)器學(xué)習(xí)或自組織過程設(shè)計(jì)的模式識(shí)別程序的嘗試。

• 1965年，古德（I. J. Good）發(fā)表了一篇對(duì)人工智能未來(lái)可能對(duì)人類構(gòu)成威脅的文章，可以算“AI威脅論”的先驅(qū)。他認(rèn)為機(jī)器的超級(jí)智能和無(wú)法避免的智能爆炸最終將超出人類可控范疇。后來(lái)著名科學(xué)家霍金、發(fā)明家馬斯克等人對(duì)人工智能的恐怖預(yù)言跟古德半個(gè)世界前的警告遙相呼應(yīng)。

• 1966 年，麻省理工學(xué)院科學(xué)家Joseph Weizenbaum 在 ACM 上發(fā)表了題為《ELIZA-a computer program for the study of natural language communication between man and machine》文章描述了ELIZA 的程序如何使人與計(jì)算機(jī)在一定程度上進(jìn)行自然語(yǔ)言對(duì)話成為可能，ELIZA 的實(shí)現(xiàn)技術(shù)是通過關(guān)鍵詞匹配規(guī)則對(duì)輸入進(jìn)行分解，而后根據(jù)分解規(guī)則所對(duì)應(yīng)的重組規(guī)則來(lái)生成回復(fù)。

• 1967年，Thomas等人提出K最近鄰算法（The nearest neighbor algorithm）。

KNN的核心思想，即給定一個(gè)訓(xùn)練數(shù)據(jù)集，對(duì)新的輸入實(shí)例Xu，在訓(xùn)練數(shù)據(jù)集中找到與該實(shí)例最鄰近的K個(gè)實(shí)例，以這K個(gè)實(shí)例的最多數(shù)所屬類別作為新實(shí)例Xu的類別。

• 1968年，愛德華·費(fèi)根鮑姆（Edward Feigenbaum）提出首個(gè)專家系統(tǒng)DENDRAL，并對(duì)知識(shí)庫(kù)給出了初步的定義，這也孕育了后來(lái)的第二次人工智能浪潮。該系統(tǒng)具有非常豐富的化學(xué)知識(shí)，可根據(jù)質(zhì)譜數(shù)據(jù)幫助化學(xué)家推斷分子結(jié)構(gòu)。

專家系統(tǒng)（Expert Systems）是AI的一個(gè)重要分支，同自然語(yǔ)言理解，機(jī)器人學(xué)并列為AI的三大研究方向。它的定義是使用人類專家推理的計(jì)算機(jī)模型來(lái)處理現(xiàn)實(shí)世界中需要專家作出解釋的復(fù)雜問題，并得出與專家相同的結(jié)論，可視作“知識(shí)庫(kù)(knowledge base)”和“推理機(jī)(inference machine)” 的結(jié)合。

• 1969年，“符號(hào)主義”代表人物馬文·明斯基（Marvin Minsky）的著作《感知器》提出對(duì)XOR線性不可分的問題：單層感知器無(wú)法劃分XOR原數(shù)據(jù)，解決這問題需要引入更高維非線性網(wǎng)絡(luò)（MLP, ?至少需要兩層），但多層網(wǎng)絡(luò)并無(wú)有效的訓(xùn)練算法。這些論點(diǎn)給神經(jīng)網(wǎng)絡(luò)研究以沉重的打擊，神經(jīng)網(wǎng)絡(luò)的研究走向長(zhǎng)達(dá)10年的低潮時(shí)期。

2.2 反思發(fā)展期：20世紀(jì)70年代

人工智能發(fā)展初期的突破性進(jìn)展大大提升了人們對(duì)人工智能的期望，人們開始嘗試更具挑戰(zhàn)性的任務(wù)，然而計(jì)算力及理論等的匱乏使得不切實(shí)際目標(biāo)的落空，人工智能的發(fā)展走入低谷。

• 1974年，哈佛大學(xué)沃伯斯(Paul Werbos)博士論文里，首次提出了通過誤差的反向傳播(BP)來(lái)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，但在該時(shí)期未引起重視。

BP算法的基本思想不是（如感知器那樣）用誤差本身去調(diào)整權(quán)重，而是用誤差的導(dǎo)數(shù)（梯度）調(diào)整。通過誤差的梯度做反向傳播，更新模型權(quán)重, ?以下降學(xué)習(xí)的誤差，擬合學(xué)習(xí)目標(biāo)，實(shí)現(xiàn)'網(wǎng)絡(luò)的萬(wàn)能近似功能'的過程。

• 1975年，馬文·明斯基(Marvin Minsky)在論文《知識(shí)表示的框架》(A Framework for Representing Knowledge)中提出用于人工智能中的知識(shí)表示學(xué)習(xí)框架理論。

• 1976年，蘭德爾·戴維斯（Randall Davis）構(gòu)建和維護(hù)的大規(guī)模的知識(shí)庫(kù)，提出使用集成的面向?qū)ο竽Ｐ涂梢蕴岣咧R(shí)庫(kù)（KB）開發(fā)、維護(hù)和使用的完整性。

• 1976年，斯坦福大學(xué)的肖特利夫(Edward H. Shortliffe)等人完成了第一個(gè)用于血液感染病的診斷、治療和咨詢服務(wù)的醫(yī)療專家系統(tǒng)MYCIN。

• 1976年，斯坦福大學(xué)的博士勒納特發(fā)表論文《數(shù)學(xué)中發(fā)現(xiàn)的人工智能方法——啟發(fā)式搜索》，描述了一個(gè)名為“AM”的程序，在大量啟發(fā)式規(guī)則的指導(dǎo)下開發(fā)新概念數(shù)學(xué)，最終重新發(fā)現(xiàn)了數(shù)百個(gè)常見的概念和定理。

• 1977年，海斯·羅思(Hayes. Roth)等人的基于邏輯的機(jī)器學(xué)習(xí)系統(tǒng)取得較大的進(jìn)展，但只能學(xué)習(xí)單一概念，也未能投入實(shí)際應(yīng)用。

• 1979年，漢斯·貝利納（Hans Berliner）打造的計(jì)算機(jī)程序戰(zhàn)勝雙陸棋世界冠軍成為標(biāo)志性事件。(隨后，基于行為的機(jī)器人學(xué)在羅德尼·布魯克斯和薩頓等人的推動(dòng)下快速發(fā)展，成為人工智能一個(gè)重要的發(fā)展分支。格瑞·特索羅等人打造的自我學(xué)習(xí)雙陸棋程序又為后來(lái)的強(qiáng)化學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。)

2.3 應(yīng)用發(fā)展期：20世紀(jì)80年代

人工智能走入應(yīng)用發(fā)展的新高潮。專家系統(tǒng)模擬人類專家的知識(shí)和經(jīng)驗(yàn)解決特定領(lǐng)域的問題，實(shí)現(xiàn)了人工智能從理論研究走向?qū)嶋H應(yīng)用、從一般推理策略探討轉(zhuǎn)向運(yùn)用專門知識(shí)的重大突破。而機(jī)器學(xué)習(xí)(特別是神經(jīng)網(wǎng)絡(luò))探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法，在大量的實(shí)際應(yīng)用中也開始慢慢復(fù)蘇。

• 1980年，在美國(guó)的卡內(nèi)基梅隆大學(xué)(CMU)召開了第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)，標(biāo)志著機(jī)器學(xué)習(xí)研究已在全世界興起。

• 1980年，德魯·麥狄蒙（Drew McDermott）和喬恩·多伊爾（Jon Doyle）提出非單調(diào)邏輯，以及后期的機(jī)器人系統(tǒng)。

• 1980年，卡耐基梅隆大學(xué)為DEC公司開發(fā)了一個(gè)名為XCON的專家系統(tǒng)，每年為公司節(jié)省四千萬(wàn)美元，取得巨大成功。

• 1981年，保羅（R.P.Paul）出版第一本機(jī)器人學(xué)課本，“Robot Manipulator：Mathematics，Programmings and Control”，標(biāo)志著機(jī)器人學(xué)科走向成熟。

• 1982年，馬爾（David Marr）發(fā)表代表作《視覺計(jì)算理論》提出計(jì)算機(jī)視覺（Computer Vision）的概念，并構(gòu)建系統(tǒng)的視覺理論，對(duì)認(rèn)知科學(xué)（CognitiveScience）也產(chǎn)生了很深遠(yuǎn)的影響。

• 1982年，約翰·霍普菲爾德（John Hopfield） 發(fā)明了霍普菲爾德網(wǎng)絡(luò)，這是最早的RNN的雛形。霍普菲爾德神經(jīng)網(wǎng)絡(luò)模型是一種單層反饋神經(jīng)網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要可分為前饋神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)及圖網(wǎng)絡(luò)），從輸出到輸入有反饋連接。它的出現(xiàn)振奮了神經(jīng)網(wǎng)絡(luò)領(lǐng)域，在人工智能之機(jī)器學(xué)習(xí)、聯(lián)想記憶、模式識(shí)別、優(yōu)化計(jì)算、VLSI和光學(xué)設(shè)備的并行實(shí)現(xiàn)等方面有著廣泛應(yīng)用。

• 1983年，Terrence Sejnowski, Hinton等人發(fā)明了玻爾茲曼機(jī)（Boltzmann Machines），也稱為隨機(jī)霍普菲爾德網(wǎng)絡(luò)，它本質(zhì)是一種無(wú)監(jiān)督模型，用于對(duì)輸入數(shù)據(jù)進(jìn)行重構(gòu)以提取數(shù)據(jù)特征做預(yù)測(cè)分析。

• 1985年，朱迪亞·珀?duì)柼岢鲐惾~斯網(wǎng)絡(luò)(Bayesian network)，他以倡導(dǎo)人工智能的概率方法和發(fā)展貝葉斯網(wǎng)絡(luò)而聞名，還因發(fā)展了一種基于結(jié)構(gòu)模型的因果和反事實(shí)推理理論而受到贊譽(yù)。

貝葉斯網(wǎng)絡(luò)是一種模擬人類推理過程中因果關(guān)系的不確定性處理模型，如常見的樸素貝葉斯分類算法就是貝葉斯網(wǎng)絡(luò)最基本的應(yīng)用。貝葉斯網(wǎng)絡(luò)拓樸結(jié)構(gòu)是一個(gè)有向無(wú)環(huán)圖(DAG)，通過把某個(gè)研究系統(tǒng)中涉及的隨機(jī)變量，根據(jù)是否條件獨(dú)立繪制在一個(gè)有向圖中，以描述隨機(jī)變量之間的條件依賴，用圈表示隨機(jī)變量(random variables)，用箭頭表示條件依賴(conditional dependencies)就形成了貝葉斯網(wǎng)絡(luò)。對(duì)于任意的隨機(jī)變量，其聯(lián)合概率可由各自的局部條件概率分布相乘而得出。如圖中b依賴于a(即：a->b)，c依賴于a和b，a獨(dú)立無(wú)依賴，根據(jù)貝葉斯定理有 P(a,b,c) = P(a)*P(b|a)*P(c|a,b)

• 1986年，羅德尼·布魯克斯(Brooks)發(fā)表論文《移動(dòng)機(jī)器人魯棒分層控制系統(tǒng)》，標(biāo)志著基于行為的機(jī)器人學(xué)科的創(chuàng)立，機(jī)器人學(xué)界開始把注意力投向?qū)嶋H工程主題。

• 1986年，辛頓(Geoffrey Hinton)等人先后提出了多層感知器(MLP)與反向傳播（BP）訓(xùn)練相結(jié)合的理念（該方法在當(dāng)時(shí)計(jì)算力上還是有很多挑戰(zhàn)，基本上都是和鏈?zhǔn)角髮?dǎo)的梯度算法相關(guān)的），這也解決了單層感知器不能做非線性分類的問題，開啟了神經(jīng)網(wǎng)絡(luò)新一輪的高潮。

• 1986年，昆蘭（Ross Quinlan）提出ID3決策樹算法。

決策樹模型可視為多個(gè)規(guī)則(if, then)的組合，與神經(jīng)網(wǎng)絡(luò)黑盒模型截然不同是，它擁有良好的模型解釋性。ID3算法核心的思想是通過自頂向下的貪心策略構(gòu)建決策樹：根據(jù)信息增益來(lái)選擇特征進(jìn)行劃分（信息增益的含義是 引入屬性A的信息后，數(shù)據(jù)D的不確定性減少程度。也就是信息增益越大，區(qū)分D的能力就越強(qiáng))，依次遞歸地構(gòu)建決策樹。

• 1989年，George Cybenko證明了“萬(wàn)能近似定理”（universal approximation theorem）。簡(jiǎn)單來(lái)說，多層前饋網(wǎng)絡(luò)可以近似任意函數(shù)，其表達(dá)力和圖靈機(jī)等價(jià)。這就從根本上消除了Minsky對(duì)神經(jīng)網(wǎng)絡(luò)表達(dá)力的質(zhì)疑。

“萬(wàn)能近似定理”可視為神經(jīng)網(wǎng)絡(luò)的基本理論：?個(gè)前饋神經(jīng)?絡(luò)如果具有線性層和?少?層具有 “擠壓” 性質(zhì)的激活函數(shù)（如 sigmoid 等），給定?絡(luò)?夠數(shù)量的隱藏單元，它可以以任意精度來(lái)近似任何從?個(gè)有限維空間到另?個(gè)有限維空間的 borel 可測(cè)函數(shù)。

• 1989年，LeCun (CNN之父) 結(jié)合反向傳播算法與權(quán)值共享的卷積神經(jīng)層發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），并首次將卷積神經(jīng)網(wǎng)絡(luò)成功應(yīng)用到美國(guó)郵局的手寫字符識(shí)別系統(tǒng)中。

卷積神經(jīng)網(wǎng)絡(luò)通常由輸入層、卷積層、池化（Pooling）層和全連接層組成。卷積層負(fù)責(zé)提取圖像中的局部特征，池化層用來(lái)大幅降低參數(shù)量級(jí)(降維)，全連接層類似傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的部分，用來(lái)輸出想要的結(jié)果。

2.4 平穩(wěn)發(fā)展期：20世紀(jì)90年代—2010年

由于互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，加速了人工智能的創(chuàng)新研究，促使人工智能技術(shù)進(jìn)一步走向?qū)嵱没?#xff0c;人工智能相關(guān)的各個(gè)領(lǐng)域都取得長(zhǎng)足進(jìn)步。在2000年代初，由于專家系統(tǒng)的項(xiàng)目都需要編碼太多的顯式規(guī)則，這降低了效率并增加了成本，人工智能研究的重心從基于知識(shí)系統(tǒng)轉(zhuǎn)向了機(jī)器學(xué)習(xí)方向。

• 1995年，Cortes和Vapnik提出聯(lián)結(jié)主義經(jīng)典的支持向量機(jī)(Support Vector Machine)，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。

支持向量機(jī)（Support Vector Machine, SVM）可以視為在感知機(jī)基礎(chǔ)上的改進(jìn)，是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的廣義線性分類器。與感知機(jī)主要差異在于：1、感知機(jī)目標(biāo)是找到一個(gè)超平面將各樣本盡可能分離正確(有無(wú)數(shù)個(gè))，SVM目標(biāo)是找到一個(gè)超平面不僅將各樣本盡可能分離正確，還要使各樣本離超平面距離最遠(yuǎn)(只有一個(gè)最大邊距超平面)，SVM的泛化能力更強(qiáng)。2、對(duì)于線性不可分的問題，不同于感知機(jī)的增加非線性隱藏層，SVM利用核函數(shù)，本質(zhì)上都是實(shí)現(xiàn)特征空間非線性變換，使可以被線性分類。

• 1995年， Freund和schapire提出了 AdaBoost (Adaptive Boosting)算法。AdaBoost采用的是Boosting集成學(xué)習(xí)方法——串行組合弱學(xué)習(xí)器以達(dá)到更好的泛化性能。另外一種重要集成方法是以隨機(jī)森林為代表的Bagging并行組合的方式。以“偏差-方差分解”分析，Boosting方法主要優(yōu)化偏差，Bagging主要優(yōu)化方差。

Adaboost迭代算法基本思想主要是通過調(diào)節(jié)的每一輪各訓(xùn)練樣本的權(quán)重(錯(cuò)誤分類的樣本權(quán)重更高)，串行訓(xùn)練出不同分類器。最終以各分類器的準(zhǔn)確率作為其組合的權(quán)重，一起加權(quán)組合成強(qiáng)分類器。

• 1997年國(guó)際商業(yè)機(jī)器公司（簡(jiǎn)稱IBM）深藍(lán)超級(jí)計(jì)算機(jī)戰(zhàn)勝了國(guó)際象棋世界冠軍卡斯帕羅夫。深藍(lán)是基于暴力窮舉實(shí)現(xiàn)國(guó)際象棋領(lǐng)域的智能，通過生成所有可能的走法，然后執(zhí)行盡可能深的搜索，并不斷對(duì)局面進(jìn)行評(píng)估，嘗試找出最佳走法。

• 1997年，Sepp Hochreiter 和 Jürgen Schmidhuber提出了長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)。

LSTM是一種復(fù)雜結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），結(jié)構(gòu)上引入了遺忘門、輸入門及輸出門：輸入門決定當(dāng)前時(shí)刻網(wǎng)絡(luò)的輸入數(shù)據(jù)有多少需要保存到單元狀態(tài)，遺忘門決定上一時(shí)刻的單元狀態(tài)有多少需要保留到當(dāng)前時(shí)刻，輸出門控制當(dāng)前單元狀態(tài)有多少需要輸出到當(dāng)前的輸出值。這樣的結(jié)構(gòu)設(shè)計(jì)可以解決長(zhǎng)序列訓(xùn)練過程中的梯度消失問題。

• 1998年，萬(wàn)維網(wǎng)聯(lián)盟的蒂姆·伯納斯·李(Tim Berners-Lee)提出語(yǔ)義網(wǎng)(Semantic ?Web)的概念。其核心思想是：通過給萬(wàn)維網(wǎng)上的文檔（如HTML）添加能夠被計(jì)算機(jī)所理解的語(yǔ)義(Meta data)，從而使整個(gè)互聯(lián)網(wǎng)成為一個(gè)基于語(yǔ)義鏈接的通用信息交換媒介。換言之，就是構(gòu)建一個(gè)能夠?qū)崿F(xiàn)人與電腦無(wú)障礙溝通的智能網(wǎng)絡(luò)。

• 2001年，John Lafferty首次提出條件隨機(jī)場(chǎng)模型（Conditional random field，CRF）。CRF是基于貝葉斯理論框架的判別式概率圖模型，在給定條件隨機(jī)場(chǎng)P ( Y ∣ X ) 和輸入序列x，求條件概率最大的輸出序列y *。在許多自然語(yǔ)言處理任務(wù)中比如分詞、命名實(shí)體識(shí)別等表現(xiàn)尤為出色。

• 2001年，布雷曼博士提出隨機(jī)森林（Random Forest）。隨機(jī)森林是將多個(gè)有差異的弱學(xué)習(xí)器(決策樹)Bagging并行組合，通過建立多個(gè)的擬合較好且有差異模型去組合決策，以優(yōu)化泛化性能的一種集成學(xué)習(xí)方法。多樣差異性可減少對(duì)某些特征噪聲的依賴，降低方差（過擬合），組合決策可消除些學(xué)習(xí)器間的偏差。

隨機(jī)森林算法的基本思路是對(duì)于每一弱學(xué)習(xí)器(決策樹)有放回的抽樣構(gòu)造其訓(xùn)練集，并隨機(jī)抽取其可用特征子集，即以訓(xùn)練樣本及特征空間的多樣性訓(xùn)練出N個(gè)不同的弱學(xué)習(xí)器，最終結(jié)合N個(gè)弱學(xué)習(xí)器的預(yù)測(cè)（類別或者回歸預(yù)測(cè)數(shù)值），取最多數(shù)類別或平均值作為最終結(jié)果。

• 2003年，David Blei, Andrew Ng和 Michael I. Jordan于2003年提出LDA（Latent Dirichlet Allocation）。

LDA是一種無(wú)監(jiān)督方法，用來(lái)推測(cè)文檔的主題分布，將文檔集中每篇文檔的主題以概率分布的形式給出，可以根據(jù)主題分布進(jìn)行主題聚類或文本分類。

• 2003年，Google公布了3篇大數(shù)據(jù)奠基性論文，為大數(shù)據(jù)存儲(chǔ)及分布式處理的核心問題提供了思路：非結(jié)構(gòu)化文件分布式存儲(chǔ)（GFS）、分布式計(jì)算（MapReduce）及結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)（BigTable），并奠定了現(xiàn)代大數(shù)據(jù)技術(shù)的理論基礎(chǔ)。

• 2005 年，波士頓動(dòng)力公司推出一款動(dòng)力平衡四足機(jī)器狗，有較強(qiáng)的通用性，可適應(yīng)較復(fù)雜的地形。

• 2006年，杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念（Deeping Learning），開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。2006年也被稱為深度學(xué)習(xí)元年，杰弗里·辛頓也因此被稱為深度學(xué)習(xí)之父。

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，它的本質(zhì)是使用多個(gè)隱藏層網(wǎng)絡(luò)結(jié)構(gòu)，通過大量的向量計(jì)算，學(xué)習(xí)數(shù)據(jù)內(nèi)在信息的高階表示。

• 2010年，Sinno Jialin Pan和 Qiang Yang發(fā)表文章《遷移學(xué)習(xí)的調(diào)查》。

遷移學(xué)習(xí)(transfer learning)通俗來(lái)講，就是運(yùn)用已有的知識(shí)（如訓(xùn)練好的網(wǎng)絡(luò)權(quán)重）來(lái)學(xué)習(xí)新的知識(shí)以適應(yīng)特定目標(biāo)任務(wù)，核心是找到已有知識(shí)和新知識(shí)之間的相似性。

2.5 蓬勃發(fā)展期：2011年至今

隨著大數(shù)據(jù)、云計(jì)算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展，泛在感知數(shù)據(jù)和圖形處理器等計(jì)算平臺(tái)推動(dòng)以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)飛速發(fā)展，大幅跨越了科學(xué)與應(yīng)用之間的技術(shù)鴻溝，諸如圖像分類、語(yǔ)音識(shí)別、知識(shí)問答、人機(jī)對(duì)弈、無(wú)人駕駛等人工智能技術(shù)實(shí)現(xiàn)了重大的技術(shù)突破，迎來(lái)爆發(fā)式增長(zhǎng)的新高潮。

• 2011年，IBM Watson問答機(jī)器人參與Jeopardy回答測(cè)驗(yàn)比賽最終贏得了冠軍。Waston是一個(gè)集自然語(yǔ)言處理、知識(shí)表示、自動(dòng)推理及機(jī)器學(xué)習(xí)等技術(shù)實(shí)現(xiàn)的電腦問答（Q&A）系統(tǒng)。

• 2012年，Hinton和他的學(xué)生Alex Krizhevsky設(shè)計(jì)的AlexNet神經(jīng)網(wǎng)絡(luò)模型在ImageNet競(jìng)賽大獲全勝，這是史上第一次有模型在 ImageNet 數(shù)據(jù)集表現(xiàn)如此出色，并引爆了神經(jīng)網(wǎng)絡(luò)的研究熱情。

AlexNet是一個(gè)經(jīng)典的CNN模型，在數(shù)據(jù)、算法及算力層面均有較大改進(jìn)，創(chuàng)新地應(yīng)用了Data Augmentation、ReLU、Dropout和LRN等方法，并使用GPU加速網(wǎng)絡(luò)訓(xùn)練。

• 2012年，谷歌正式發(fā)布谷歌知識(shí)圖譜Google Knowledge Graph），它是Google的一個(gè)從多種信息來(lái)源匯集的知識(shí)庫(kù)，通過Knowledge Graph來(lái)在普通的字串搜索上疊一層相互之間的關(guān)系，協(xié)助使用者更快找到所需的資料的同時(shí)，也可以知識(shí)為基礎(chǔ)的搜索更近一步，以提高Google搜索的質(zhì)量。

知識(shí)圖譜是結(jié)構(gòu)化的語(yǔ)義知識(shí)庫(kù)，是符號(hào)主義思想的代表方法，用于以符號(hào)形式描述物理世界中的概念及其相互關(guān)系。其通用的組成單位是RDF三元組(實(shí)體-關(guān)系-實(shí)體)，實(shí)體間通過關(guān)系相互聯(lián)結(jié)，構(gòu)成網(wǎng)狀的知識(shí)結(jié)構(gòu)。

• 2013年，Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》提出變分自編碼器（Variational Auto-Encoder，VAE）。

VAE基本思路是將真實(shí)樣本通過編碼器網(wǎng)絡(luò)變換成一個(gè)理想的數(shù)據(jù)分布，然后把數(shù)據(jù)分布再傳遞給解碼器網(wǎng)絡(luò)，構(gòu)造出生成樣本，模型訓(xùn)練學(xué)習(xí)的過程是使生成樣本與真實(shí)樣本足夠接近。

• 2013年，Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出經(jīng)典的 Word2Vec模型用來(lái)學(xué)習(xí)單詞分布式表示，因其簡(jiǎn)單高效引起了工業(yè)界和學(xué)術(shù)界極大的關(guān)注。

Word2Vec基本的思想是學(xué)習(xí)每個(gè)單詞與鄰近詞的關(guān)系，從而將單詞表示成低維稠密向量。通過這樣的分布式表示可以學(xué)習(xí)到單詞的語(yǔ)義信息，直觀來(lái)看，語(yǔ)義相似的單詞的距離相近。Word2Vec網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)淺層神經(jīng)網(wǎng)絡(luò)（輸入層-線性全連接隱藏層->輸出層），按訓(xùn)練學(xué)習(xí)方式可分為CBOW模型(以一個(gè)詞語(yǔ)作為輸入，來(lái)預(yù)測(cè)它的鄰近詞)或Skip-gram模型 (以一個(gè)詞語(yǔ)的鄰近詞作為輸入，來(lái)預(yù)測(cè)這個(gè)詞語(yǔ))。

• 2014年，聊天程序“尤金·古斯特曼”（Eugene Goostman）在英國(guó)皇家學(xué)會(huì)舉行的“2014圖靈測(cè)試”大會(huì)上，首次“通過”了圖靈測(cè)試。

• 2014年，Goodfellow及Bengio等人提出生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN），被譽(yù)為近年來(lái)最酷炫的神經(jīng)網(wǎng)絡(luò)。

GAN是基于強(qiáng)化學(xué)習(xí)(RL)思路設(shè)計(jì)的，由生成網(wǎng)絡(luò)(Generator, G)和判別網(wǎng)絡(luò)(Discriminator, D)兩部分組成， 生成網(wǎng)絡(luò)構(gòu)成一個(gè)映射函數(shù)G: Z→X（輸入噪聲z, 輸出生成的偽造數(shù)據(jù)x）, 判別網(wǎng)絡(luò)判別輸入是來(lái)自真實(shí)數(shù)據(jù)還是生成網(wǎng)絡(luò)生成的數(shù)據(jù)。在這樣訓(xùn)練的博弈過程中，提高兩個(gè)模型的生成能力和判別能力。

• 2015年，為紀(jì)念人工智能概念提出60周年，深度學(xué)習(xí)三巨頭LeCun、Bengio和Hinton(他們于2018年共同獲得了圖靈獎(jiǎng))推出了深度學(xué)習(xí)的聯(lián)合綜述《Deep learning》。

《Deep learning》文中指出深度學(xué)習(xí)就是一種特征學(xué)習(xí)方法，把原始數(shù)據(jù)通過一些簡(jiǎn)單的但是非線性的模型轉(zhuǎn)變成為更高層次及抽象的表達(dá)，能夠強(qiáng)化輸入數(shù)據(jù)的區(qū)分能力。通過足夠多的轉(zhuǎn)換的組合，非常復(fù)雜的函數(shù)也可以被學(xué)習(xí)。

• 2015年，Microsoft Research的Kaiming He等人提出的殘差網(wǎng)絡(luò)（ResNet）在ImageNet大規(guī)模視覺識(shí)別競(jìng)賽中獲得了圖像分類和物體識(shí)別的優(yōu)勝。

殘差網(wǎng)絡(luò)的主要貢獻(xiàn)是發(fā)現(xiàn)了網(wǎng)絡(luò)不恒等變換導(dǎo)致的“退化現(xiàn)象（Degradation）”，并針對(duì)退化現(xiàn)象引入了 “快捷連接（Shortcut connection）”，緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來(lái)的梯度消失問題。

• 2015年，谷歌開源TensorFlow框架。它是一個(gè)基于數(shù)據(jù)流編程（dataflow programming）的符號(hào)數(shù)學(xué)系統(tǒng)，被廣泛應(yīng)用于各類機(jī)器學(xué)習(xí)（machine learning）算法的編程實(shí)現(xiàn)，其前身是谷歌的神經(jīng)網(wǎng)絡(luò)算法庫(kù)DistBelief。

• 2015年，馬斯克等人共同創(chuàng)建OpenAI。它是一個(gè)非營(yíng)利的研究組織，使命是確保通用人工智能?(即一種高度自主且在大多數(shù)具有經(jīng)濟(jì)價(jià)值的工作上超越人類的系統(tǒng)）將為全人類帶來(lái)福祉。其發(fā)布熱門產(chǎn)品的如：OpenAI Gym，GPT等。

• 2016年，谷歌提出聯(lián)邦學(xué)習(xí)方法，它在多個(gè)持有本地?cái)?shù)據(jù)樣本的分散式邊緣設(shè)備或服務(wù)器上訓(xùn)練算法，而不交換其數(shù)據(jù)樣本。

聯(lián)邦學(xué)習(xí)保護(hù)隱私方面最重要的三大技術(shù)分別是：差分隱私 ( Differential Privacy )、同態(tài)加密 ( Homomorphic Encryption )和 隱私保護(hù)集合交集 ( Private Set Intersection )，能夠使多個(gè)參與者在不共享數(shù)據(jù)的情況下建立一個(gè)共同的、強(qiáng)大的機(jī)器學(xué)習(xí)模型，從而解決數(shù)據(jù)隱私、數(shù)據(jù)安全、數(shù)據(jù)訪問權(quán)限和異構(gòu)數(shù)據(jù)的訪問等關(guān)鍵問題。

• 2016年，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝。

AlphaGo是一款圍棋人工智能程序，其主要工作原理是“深度學(xué)習(xí)”，由以下四個(gè)主要部分組成：策略網(wǎng)絡(luò)（Policy Network）給定當(dāng)前局面，預(yù)測(cè)并采樣下一步的走棋；快速走子（Fast rollout）目標(biāo)和策略網(wǎng)絡(luò)一樣，但在適當(dāng)犧牲走棋質(zhì)量的條件下，速度要比策略網(wǎng)絡(luò)快1000倍；價(jià)值網(wǎng)絡(luò)（Value Network）估算當(dāng)前局面的勝率；蒙特卡洛樹搜索（Monte Carlo Tree Search）樹搜索估算每一種走法的勝率。在2017年更新的AlphaGo Zero，在此前的版本的基礎(chǔ)上，結(jié)合了強(qiáng)化學(xué)習(xí)進(jìn)行了自我訓(xùn)練。它在下棋和游戲前完全不知道游戲規(guī)則，完全是通過自己的試驗(yàn)和摸索，洞悉棋局和游戲的規(guī)則，形成自己的決策。隨著自我博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升下法勝率。更為厲害的是，隨著訓(xùn)練的深入，AlphaGo Zero還獨(dú)立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項(xiàng)古老游戲帶來(lái)了新的見解。

• 2017年，中國(guó)香港的漢森機(jī)器人技術(shù)公司（Hanson Robotics）開發(fā)的類人機(jī)器人索菲亞，是歷史上首個(gè)獲得公民身份的一臺(tái)機(jī)器人。索菲亞看起來(lái)就像人類女性，擁有橡膠皮膚，能夠表現(xiàn)出超過62種自然的面部表情。其“大腦”中的算法能夠理解語(yǔ)言、識(shí)別面部，并與人進(jìn)行互動(dòng)。

• 2018年，Google提出論文《Pre-training of Deep Bidirectional Transformers for Language Understanding》并發(fā)布Bert(Bidirectional Encoder Representation from Transformers)模型，成功在 11 項(xiàng) NLP 任務(wù)中取得 state of the art 的結(jié)果。

BERT是一個(gè)預(yù)訓(xùn)練的語(yǔ)言表征模型，可在海量的語(yǔ)料上用無(wú)監(jiān)督學(xué)習(xí)方法學(xué)習(xí)單詞的動(dòng)態(tài)特征表示。它基于Transformer注意力機(jī)制的模型，對(duì)比RNN可以更加高效、能捕捉更長(zhǎng)距離的依賴信息，且不再像以往一樣采用傳統(tǒng)的單向語(yǔ)言模型或者把兩個(gè)單向語(yǔ)言模型進(jìn)行淺層拼接的方法進(jìn)行預(yù)訓(xùn)練，而是采用新的masked language model（MLM），以致能生成深度的雙向語(yǔ)言表征。

• 2019年， IBM宣布推出Q System One，它是世界上第一個(gè)專為科學(xué)和商業(yè)用途設(shè)計(jì)的集成通用近似量子計(jì)算系統(tǒng)。

• 2019年，香港 Insilico Medicine 公司和多倫多大學(xué)的研究團(tuán)隊(duì)實(shí)現(xiàn)了重大實(shí)驗(yàn)突破，通過深度學(xué)習(xí)和生成模型相關(guān)的技術(shù)發(fā)現(xiàn)了幾種候選藥物，證明了 AI 發(fā)現(xiàn)分子策略的有效性，很大程度解決了傳統(tǒng)新藥開發(fā)在分子鑒定困難且耗時(shí)的問題。

• 2020年，Google與Facebook分別提出SimCLR與MoCo兩個(gè)無(wú)監(jiān)督學(xué)習(xí)算法，均能夠在無(wú)標(biāo)注數(shù)據(jù)上學(xué)習(xí)圖像數(shù)據(jù)表征。兩個(gè)算法背后的框架都是對(duì)比學(xué)習(xí)（contrastive learning），對(duì)比學(xué)習(xí)的核心訓(xùn)練信號(hào)是圖片的“可區(qū)分性”。

• 2020年，OpenAI開發(fā)的文字生成 (text generation) 人工智能GPT-3，它具有1,750億個(gè)參數(shù)的自然語(yǔ)言深度學(xué)習(xí)模型，比以前的版本GPT-2高100倍，該模型經(jīng)過了將近0.5萬(wàn)億個(gè)單詞的預(yù)訓(xùn)練，可以在多個(gè)NLP任務(wù)（答題、翻譯、寫文章）基準(zhǔn)上達(dá)到最先進(jìn)的性能。

• 2020年，馬斯克的腦機(jī)接口（brain–computer interface, BCI）公司Neuralink舉行現(xiàn)場(chǎng)直播，展示了植入Neuralink設(shè)備的實(shí)驗(yàn)豬的腦部活動(dòng)。

• 2020年，谷歌旗下DeepMind的AlphaFold2人工智能系統(tǒng)有力地解決了蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)的里程碑式問題。它在國(guó)際蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)競(jìng)賽（CASP）上擊敗了其余的參會(huì)選手，精確預(yù)測(cè)了蛋白質(zhì)的三維結(jié)構(gòu)，準(zhǔn)確性可與冷凍電子顯微鏡（cryo-EM）、核磁共振或 X 射線晶體學(xué)等實(shí)驗(yàn)技術(shù)相媲美。

• 2020年，中國(guó)科學(xué)技術(shù)大學(xué)潘建偉等人成功構(gòu)建76個(gè)光子的量子計(jì)算原型機(jī)“九章”，求解數(shù)學(xué)算法“高斯玻色取樣”只需200秒，而目前世界最快的超級(jí)計(jì)算機(jī)要用6億年。

• 2021年，OpenAI提出兩個(gè)連接文本與圖像的神經(jīng)網(wǎng)絡(luò)：DALL·E 和 CLIP。DALL·E 可以基于文本直接生成圖像，CLIP 則能夠完成圖像與文本類別的匹配。

• 2021年，德國(guó)Eleuther人工智能公司于今年3月下旬推出開源的文本AI模型GPT-Neo。對(duì)比GPT-3的差異在于它是開源免費(fèi)的。

• 2021年，美國(guó)斯坦福大學(xué)的研究人員開發(fā)出一種用于打字的腦機(jī)接口（brain–computer interface, BCI），這套系統(tǒng)可以從運(yùn)動(dòng)皮層的神經(jīng)活動(dòng)中解碼癱瘓患者想象中的手寫動(dòng)作，并利用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）解碼方法將這些手寫動(dòng)作實(shí)時(shí)轉(zhuǎn)換為文本。相關(guān)研究結(jié)果發(fā)表在2021年5月13日的Nature期刊上，論文標(biāo)題為“High-performance brain-to-text communication via handwriting”。

三、AI 未來(lái)趨勢(shì)

人工智能有三個(gè)要素：數(shù)據(jù)、算力及算法，數(shù)據(jù)即是知識(shí)原料，算力及算法提供“計(jì)算智能”以學(xué)習(xí)知識(shí)并實(shí)現(xiàn)特定目標(biāo)。人工智能60多年的技術(shù)發(fā)展，可以歸根為數(shù)據(jù)、算力及算法層面的發(fā)展，那么在可以預(yù)見的未來(lái)，人工智能發(fā)展將會(huì)出現(xiàn)怎樣的趨勢(shì)呢？

3.1 數(shù)據(jù)層面

數(shù)據(jù)是現(xiàn)實(shí)世界映射構(gòu)建虛擬世界的基本要素，隨著數(shù)據(jù)量以指數(shù)形式增長(zhǎng)，開拓的虛擬世界的疆土也不斷擴(kuò)張。不同于AI算法開源，關(guān)鍵數(shù)據(jù)往往是不開放的，數(shù)據(jù)隱私化、私域化是一種趨勢(shì)，數(shù)據(jù)之于AI應(yīng)用，如同流量是互聯(lián)網(wǎng)的護(hù)城河，有核心數(shù)據(jù)才有關(guān)鍵的AI能力。

3.2 算力層面

推理就是計(jì)算（reason is nothing but reckoning） ?--托馬斯.霍布斯

計(jì)算是AI的關(guān)鍵，自2010年代以來(lái)的深度學(xué)習(xí)浪潮，很大程度上歸功于計(jì)算能力的進(jìn)步。

• 量子計(jì)算發(fā)展

在計(jì)算芯片按摩爾定律發(fā)展越發(fā)失效的今天，計(jì)算能力進(jìn)步的放慢會(huì)限制未來(lái)的AI技，量子計(jì)算提供了一條新量級(jí)的增強(qiáng)計(jì)算能力的思路。隨著量子計(jì)算機(jī)的量子比特?cái)?shù)量以指數(shù)形式增長(zhǎng)，而它的計(jì)算能力是量子比特?cái)?shù)量的指數(shù)級(jí)，這個(gè)增長(zhǎng)速度將遠(yuǎn)遠(yuǎn)大于數(shù)據(jù)量的增長(zhǎng)，為數(shù)據(jù)爆發(fā)時(shí)代的人工智能帶來(lái)了強(qiáng)大的硬件基礎(chǔ)。

• 邊緣計(jì)算發(fā)展

邊緣計(jì)算作為云計(jì)算的一種補(bǔ)充和優(yōu)化，一部分的人工智能正在加快速度從云端走向邊緣，進(jìn)入到越來(lái)越小的物聯(lián)網(wǎng)設(shè)備中。而這些物聯(lián)網(wǎng)設(shè)備往往體積很小，為此輕量機(jī)器學(xué)習(xí)（TinyML）受到青睞，以滿足功耗、延時(shí)以及精度等問題。

• 類腦計(jì)算發(fā)展

以類腦計(jì)算芯片為核心的各種類腦計(jì)算系統(tǒng)，在處理某些智能問題以及低功耗智能計(jì)算方面正逐步展露出優(yōu)勢(shì)。類腦計(jì)算芯片設(shè)計(jì)將從現(xiàn)有處理器的設(shè)計(jì)方法論及其發(fā)展歷史中汲取靈感，在計(jì)算完備性理論基礎(chǔ)上結(jié)合應(yīng)用需求實(shí)現(xiàn)完備的硬件功能。同時(shí)類腦計(jì)算基礎(chǔ)軟件將整合已有類腦計(jì)算編程語(yǔ)言與框架，實(shí)現(xiàn)類腦計(jì)算系統(tǒng)從“專用”向“通用”的逐步演進(jìn)。

• 人工智能計(jì)算中心成為智能化時(shí)代的關(guān)鍵基礎(chǔ)設(shè)施

人工智能計(jì)算中心基于最新人工智能理論，采用領(lǐng)先的人工智能計(jì)算架構(gòu)，是融合公共算力服務(wù)、數(shù)據(jù)開放共享、智能生態(tài)建設(shè)、產(chǎn)業(yè)創(chuàng)新聚集的“四位一體”綜合平臺(tái)，可提供算力、數(shù)據(jù)和算法等人工智能全棧能力，是人工智能快速發(fā)展和應(yīng)用所依托的新型算力基礎(chǔ)設(shè)施。未來(lái)，隨著智能化社會(huì)的不斷發(fā)展，人工智能計(jì)算中心將成為關(guān)鍵的信息基礎(chǔ)設(shè)施，推動(dòng)數(shù)字經(jīng)濟(jì)與傳統(tǒng)產(chǎn)業(yè)深度融合，加速產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展。

3.3 算法層面

• 機(jī)器學(xué)習(xí)自動(dòng)化(AutoML)發(fā)展

自動(dòng)化機(jī)器學(xué)習(xí)（AutoML）解決的核心問題是：在給定數(shù)據(jù)集上使用哪種機(jī)器學(xué)習(xí)算法、是否以及如何預(yù)處理其特征以及如何設(shè)置所有超參數(shù)。隨著機(jī)器學(xué)習(xí)在許多應(yīng)用領(lǐng)域取得了長(zhǎng)足的進(jìn)步，這促成了對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的不斷增長(zhǎng)的需求，并希望機(jī)器學(xué)習(xí)應(yīng)用可以自動(dòng)化構(gòu)建并使用。借助AutoMl、MLOps技術(shù)，將大大減少機(jī)器學(xué)習(xí)人工訓(xùn)練及部署過程，技術(shù)人員可以專注于核心解決方案。

• 向分布式隱私保護(hù)方向演進(jìn)

當(dāng)前全球多個(gè)國(guó)家和地區(qū)已出臺(tái)數(shù)據(jù)監(jiān)管法規(guī)，如HIPAA（美國(guó)健康保險(xiǎn)便利和責(zé)任法案）、GDPR（歐盟通用數(shù)據(jù)保護(hù)條例）等，通過嚴(yán)格的法規(guī)限制多機(jī)構(gòu)間隱私數(shù)據(jù)的交互。分布式隱私保護(hù)機(jī)器學(xué)習(xí)(聯(lián)邦學(xué)習(xí))通過加密、分布式存儲(chǔ)等方式保護(hù)機(jī)器學(xué)習(xí)模型訓(xùn)練的輸入數(shù)據(jù)，是打破數(shù)據(jù)孤島、完成多機(jī)構(gòu)聯(lián)合訓(xùn)練建模的可行方案。

• 數(shù)據(jù)和機(jī)理融合

AI模型的發(fā)展是符合簡(jiǎn)單而美的定律的。從數(shù)據(jù)出發(fā)的建模從數(shù)據(jù)中總結(jié)規(guī)律，追求在實(shí)踐中的應(yīng)用效果。從機(jī)理出發(fā)的建模以基本物理規(guī)律為出發(fā)點(diǎn)進(jìn)行演繹，追求簡(jiǎn)潔與美的表達(dá)。

一個(gè)好的、主流的的模型，通常是高度總結(jié)了數(shù)據(jù)規(guī)律并切合機(jī)理的，是“優(yōu)雅”的，因?yàn)樗|及了問題的本質(zhì)。就和科學(xué)理論一樣，往往簡(jiǎn)潔的，沒有太多補(bǔ)丁，而這同時(shí)解決了收斂速度問題和泛化問題。

• 神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)發(fā)展

神經(jīng)網(wǎng)絡(luò)的演進(jìn)一直沿著模塊化+層次化的方向，不斷把多個(gè)承擔(dān)相對(duì)簡(jiǎn)單任務(wù)的模塊組合起來(lái)。

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通過較低層級(jí)模塊偵測(cè)基本的特征，并在較高層級(jí)偵測(cè)更高階的特征，無(wú)論是多層前饋網(wǎng)絡(luò)，還是卷積神經(jīng)網(wǎng)絡(luò)，都體現(xiàn)了這種模塊性(近年Hinton提出的“膠囊”（capsule）網(wǎng)絡(luò)就是進(jìn)一步模塊化發(fā)展)。因?yàn)槲覀兲幚淼膯栴}（圖像、語(yǔ)音、文字）往往都有天然的模塊性，學(xué)習(xí)網(wǎng)絡(luò)的模塊性若匹配了問題本身內(nèi)在的模塊性，就能取得較好的效果。

層次化并不僅僅是網(wǎng)絡(luò)的拓?fù)浏B加，更重要的是學(xué)習(xí)算法的升級(jí)，僅僅簡(jiǎn)單地加深層次可能會(huì)導(dǎo)致BP網(wǎng)絡(luò)的梯度消失等問題。

• 多學(xué)派方法融合發(fā)展

通過多學(xué)派方法交融發(fā)展，得以互補(bǔ)算法之間的優(yōu)勢(shì)和弱點(diǎn)。如 1）貝葉斯派與神經(jīng)網(wǎng)絡(luò)融合，Neil Lawrence組的Deep Gaussian process, 用簡(jiǎn)單的概率分布替換神經(jīng)網(wǎng)絡(luò)層。2）符號(hào)主義、集成學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的融合，周志華老師的深度隨機(jī)森林。3) ?符號(hào)主義與神經(jīng)網(wǎng)絡(luò)的融合：將知識(shí)庫(kù)(KG)融入進(jìn)神經(jīng)網(wǎng)絡(luò)，如GNN、知識(shí)圖譜表示學(xué)習(xí)。4) ?神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)的融合，如谷歌基于DNN+強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)的Alpha Go 讓AI的復(fù)雜任務(wù)表現(xiàn)逼近人類。

• 基于大規(guī)模無(wú)(自)監(jiān)督預(yù)訓(xùn)練發(fā)展

If intelligence is a cake, the bulk of the cake is unsupervised learning, the icing on the cake is supervised learning, and the cherry on the cake is reinforcement learning (RL) ? ?-- Yann Lecun

監(jiān)督學(xué)習(xí)需要足夠的帶標(biāo)簽數(shù)據(jù)，然而人工標(biāo)注大量數(shù)據(jù)既耗時(shí)又費(fèi)力，在一些領(lǐng)域(如醫(yī)學(xué)領(lǐng)域)上幾乎不太可能獲得足量的標(biāo)注數(shù)據(jù)。通過大規(guī)模無(wú)(自)監(jiān)督預(yù)訓(xùn)練方法利用現(xiàn)實(shí)中大量的無(wú)標(biāo)簽數(shù)據(jù)是一個(gè)研究的熱點(diǎn)，如GPT-3的出現(xiàn)激發(fā)了對(duì)大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法繼續(xù)開展探索和研究。未來(lái)，基于大規(guī)模圖像、語(yǔ)音、視頻等多模態(tài)數(shù)據(jù)的跨語(yǔ)言的自監(jiān)督預(yù)訓(xùn)練模型將進(jìn)一步發(fā)展，并不斷提升模型的認(rèn)知、推理能力。

• 基于因果學(xué)習(xí)方法發(fā)展

當(dāng)前人工智能模型大多關(guān)注于數(shù)據(jù)特征間相關(guān)性，而相關(guān)性與更為本源的因果關(guān)系并不等價(jià)，可能導(dǎo)致預(yù)測(cè)結(jié)果的偏差，對(duì)抗攻擊的能力不佳，且模型往往缺乏可解釋性。另外，模型需要獨(dú)立同分布(i.i.d.)假設(shè)(現(xiàn)實(shí)很多情況，i.i.d.的假設(shè)是不成立的)，若測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)來(lái)自不同的分布，統(tǒng)計(jì)學(xué)習(xí)模型往往效果不佳，而因果推斷所研究的正是這樣的情形：如何學(xué)習(xí)一個(gè)可以在不同分布下工作、蘊(yùn)含因果機(jī)制的因果模型(Causal Model)，并使用因果模型進(jìn)行干預(yù)或反事實(shí)推斷。

• 可解釋性AI (XAI)發(fā)展

可解釋的人工智能有可能成為未來(lái)機(jī)器學(xué)習(xí)的核心，隨著模型變得越來(lái)越復(fù)雜，確定簡(jiǎn)單的、可解釋的規(guī)則就會(huì)變得越來(lái)越困難。一個(gè)可以解釋的AI（Explainable AI, ?XAI）意味著AI運(yùn)作的透明，便于人類對(duì)于對(duì)AI監(jiān)督及接納，以保證算法的公平性、安全性及隱私性。

后記

隨著數(shù)據(jù)、算力及算法取得不斷的突破，人工智能可能進(jìn)入一個(gè)永恒的春天。本文主要從技術(shù)角度看待AI趨勢(shì)是比較片面的，雖然技術(shù)是“高大上”的第一生產(chǎn)力，有著自身的發(fā)展規(guī)律，但不可忽視的是技術(shù)是為需求市場(chǎng)所服務(wù)的。技術(shù)結(jié)合穩(wěn)定的市場(chǎng)需求，才是技術(shù)發(fā)展的實(shí)際導(dǎo)向。

總結(jié)

以上是生活随笔為你收集整理的几经沉浮，人工智能(AI)前路何方？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。