人工智能的變革趨勢： 從弱人工智能到強人工智能，再到生物智能

我們正站在變革的邊緣，而這次變革將和人類的出現一般意義重大? ? ? – Vernor Vinge

如果你站在這里，你會是什么感覺？

看上去非常刺激吧？但是你要記住，當你真的站在時間的圖表中的時候，你是看不到曲線的右邊的，因為你是看不到未來的。所以你真實的感覺大概是這樣的：

稀松平常。

-------------------------------

遙遠的未來——就在眼前

想象一下坐時間機器回到1750年的地球，那個時代沒有電，暢通通訊基本靠吼，交通主要靠動物拉著跑。你在那個時代邀請了一個叫老王的人到2015年來玩，順便看看他對“未來”有什么感受。我們可能沒有辦法了解1750年的老王內心的感受——金屬鐵殼在寬敞的公路上飛馳，和太平洋另一頭的人聊天，看幾千公里外正在發生進行的體育比賽，觀看一場發生于半個世紀前的演唱會，從口袋里掏出一個黑色長方形工具把眼前發生的事情記錄下來，生成一個地圖然后地圖上有個藍點告訴你現在的位置，一邊看著地球另一邊的人的臉一邊聊天，以及其它各種各樣的黑科技。別忘了，你還沒跟他解釋互聯網、國際空間站、大型強子對撞機、核武器以及相對論。

這時候的老王會是什么體驗？驚訝、震驚、腦洞大開這些詞都太溫順了，我覺得老王很可能直接被嚇尿了。

但是，如果老王回到了1750年，然后覺得被嚇尿是個很囧的體驗，于是他也想把別人嚇尿來滿足一下自己，那會發生什么？于是老王也回到了250年前的1500年，邀請生活在1500年的小李去1750年玩一下。小李可能會被250年后的很多東西震驚，但是至少他不會被嚇尿。同樣是250來年的時間，1750和2015年的差別，比1500年和1750年的差別，要大得多了。1500年的小李可能能學到很多神奇的物理知識，可能會驚訝于歐洲的帝國主義旅程，甚至對于世界地圖的認知也會大大的改變，但是1500年的小李，看到1750年的交通、通訊等等，并不會被嚇尿。

所以說，對于1750年的老王來說，要把人嚇尿，他需要回到更古老的過去——比如回到公元前12000年，第一次農業革命之前。那個時候還沒有城市，也還沒有文明。一個來自狩獵采集時代的人類，只是當時眾多物種中的一個罷了，來自那個時代的小趙看到1750年龐大的人類帝國，可以航行于海洋上的巨艦，居住在“室內”，無數的收藏品，神奇的知識和發現——他很有可能被嚇尿。

小趙被嚇尿后如果也想做同樣的事情呢？如果他會到公元前24000年，找到那個時代的小錢，然后給他展示公元前12000年的生活會怎樣呢。小錢大概會覺得小趙是吃飽了沒事干——“這不跟我的生活差不多么，呵呵”。小趙如果要把人嚇尿，可能要回到十萬年前或者更久，然后用人類對火和語言的掌控來把對方嚇尿。

所以，一個人去到未來，并且被嚇尿，他們需要滿足一個“嚇尿單位”。滿足嚇尿單位所需的年代間隔是不一樣的。在狩獵采集時代滿足一個嚇尿單位需要超過十萬年，而工業革命后一個嚇尿單位只要兩百多年就能滿足。

未來學家Ray Kurzweil把這種人類的加速發展稱作加速回報定律(Law of Accelerating Returns)。之所以會發生這種規律，是因為一個更加發達的社會，能夠繼續發展的能力也更強，發展的速度也更快——這本就是更加發達的一個標準。19世紀的人們比15世紀的人們懂得多得多，所以19世紀的人發展起來的速度自然比15世紀的人更快。

即使放到更小的時間規模上，這個定律依然有效。著名電影《回到未來》中，生活在1985年的主角回到了1955年。當主角回到1955年的時候，他被電視剛出現時的新穎、便宜的物價、沒人喜歡電吉他、俚語的不同而震驚。

但是如果這部電影發生在2015年，回到30年前的主角的震驚要比這大得多。一個2000年左右出生的人，回到一個沒有個人電腦、互聯網、手機的1985年，會比從1985年回到1955年的主角看到更大的區別。

這同樣是因為加速回報定律。1985年-2015年的平均發展速度，要比1955年-1985年的平均發展速度要快，因為1985年的世界比1955年的更發達，起點更高，所以過去30年的變化要大過之前30年的變化。

進步越來越大，發生的越來越快，也就是說我們的未來會很有趣對吧？

未來學家Kurzweil認為整個20世紀100年的進步，按照2000年的速度只要20年就能達成——2000年的發展速度是20世紀平均發展速度的5倍。他認為2000年開始只要花14年就能達成整個20世紀一百年的進步，而之后2014年開始只要花7年(2021年)，就能達到又一個20世紀一百年的進步。幾十年之后，我們每年都能達成好幾次相當于整個20世紀的發展，再往后，說不定每個月都能達成一次。按照加速回報定，Kurzweil認為人類在21世紀的進步將是20世紀的1000倍。

如果Kurzweil等人的想法是正確的，那2030年的世界可能就能把我們嚇尿了——下一個嚇尿單位可能只需要十幾年，而2050年的世界會變得面目全非。

你可能覺得2050年的世界會變得面目全非這句話很可笑，但是這不是科幻，而是比你我聰明很多的科學家們相信的，而且從歷史來看，也是邏輯上可以預測的。

那么為什么你會覺得“2050年的世界會變得面目全非” 這句話很可笑呢？有三個原因讓你質疑對于未來的預測：

1.? 我們對于歷史的思考是線性的。當我們考慮未來35年的變化時，我們參照的是過去35年發生的事情。當我們考慮21世紀能產生的變化的時候，我們參考的是20世紀發生的變化。這就好像1750年的老王覺得1500年的小李在1750年能被嚇尿一樣。線性思考是本能的，但是但是考慮未來的時候我們應該指數地思考。一個聰明人不會把過去35年的發展作為未來35年的參考，而是會看到當下的發展速度，這樣預測的會更準確一點。當然這樣還是不夠準確，想要更準確，你要想象發展的速度會越來越快。

2.? 近期的歷史很可能對人產生誤導。首先，即使是坡度很高的指數曲線，只要你截取的部分夠短，看起來也是很線性的，就好像你截取圓周的很小一塊，看上去就是和直線差不多。其次，指數增長不是平滑統一的，發展常常遵循S曲線。

S曲線發生在新范式傳遍世界的時候，S曲線分三部分

- 慢速增長(指數增長初期)

- 快速增長(指數增長的快速增長期)

- 隨著新范式的成熟而出現的平緩期

如果你只看近期的歷史，你很可能看到的是S曲線的某一部分，而這部分可能不能說明發展究竟有多快速。1995-2007年是互聯網爆炸發展的時候，微軟、谷歌、臉書進入了公眾視野，伴隨著的是社交網絡、手機的出現和普及、智能手機的出現和普及，這一段時間就是S曲線的快速增長期。2008-2015年發展沒那么迅速，至少在技術領域是這樣的。如果按照過去幾年的發展速度來估計當下的發展速度，可能會錯得離譜，因為很有可能下一個快速增長期正在萌芽。

3. 個人經驗使得我們對于未來預期過于死板。我們通過自身的經驗來產生世界觀，而經驗把發展的速度烙印在了我們腦中——“發展就是這么個速度的。”我們還會受限于自己的想象力，因為想象力通過過去的經驗來組成對未來的預測——但是我們知道的東西是不足以幫助我們預測未來的。當我們聽到一個和我們經驗相違背的對于未來的預測時，我們就會覺得這個預測偏了。如果我現在跟你說你可以活到150歲，250歲，甚至會永生，你是不是覺得我在扯淡——“自古以來，所有人都是會死的。”是的，過去從來沒有人永生過，但是飛機發明之前也沒有人坐過飛機呀。

接下來的內容，你可能一邊讀一邊心里“呵呵”，而且這些內容可能真的是錯的。但是如果我們是真的從歷史規律來進行邏輯思考的，我們的結論就應該是未來的幾十年將發生比我們預期的多得多得多得多的變化。同樣的邏輯也表明，如果人類這個地球上最發達的物種能夠越走越快，總有一天，他們會邁出徹底改變“人類是什么”這一觀點的一大步，就好像自然進化不不斷朝著智能邁步，并且最終邁出一大步產生了人類，從而完全改變了其它所有生物的命運。如果你留心一下近來的科技進步的話，你會發現，到處都暗示著我們對于生命的認知將要被接下來的發展而徹底改變。

_______________

通往超級智能之路

人工智能是什么？

如果你一直以來把人工智能(AI)當做科幻小說，但是近來卻不但聽到很多正經人嚴肅的討論這個問題，你可能也會困惑。這種困惑是有原因的：

1.我們總是把人工智能和電影想到一起。星球大戰、終結者、2001：太空漫游等等。電影是虛構的，那些電影角色也是虛構的，所以我們總是覺得人工智能缺乏真實感。

2.人工智能是個很寬泛的話題。從手機上的計算器到無人駕駛汽車，到未來可能改變世界的重大變革，人工智能可以用來描述很多東西，所以人們會有疑惑。

3.我們日常生活中已經每天都在使用人工智能了，只是我們沒意識到而已。John McCarthy，在1956年最早使用了人工智能(Artificial Intelligence)這個詞。他總是抱怨“一旦一樣東西用人工智能實現了，人們就不再叫它人工智能了?！?/p> 因為這種效應，所以人工智能聽起來總讓人覺得是未來的神秘存在，而不是身邊已經存在的現實。同時，這種效應也讓人們覺得人工智能是一個從未被實現過的流行理念。Kurzweil提到經常有人說人工智能在80年代就被遺棄了，這種說法就好像“互聯網已經在21世紀初互聯網泡沫爆炸時死去了”一般滑稽。

所以，讓我們從頭開始。

首先，不要一提到人工智能就想著機器人。機器人只是人工智能的容器，機器人有時候是人形，有時候不是，但是人工智能自身只是機器人體內的電腦。人工智能是大腦的話，機器人就是身體——而且這個身體不一定是必需的。比如說Siri背后的軟件和數據是人工智能，Siri說話的聲音是這個人工智能的人格化體現，但是Siri本身并沒有機器人這個組成部分。

其次，你可能聽過“奇點”或者“技術奇點”這種說法。這種說法在數學上用來描述類似漸進的情況，這種情況下通常的規律就不適用了。這種說法同樣被用在物理上來描述無限小的高密度黑洞，同樣是通常的規律不適用的情況。Kurzweil則把奇點定義為加速回報定律達到了極限，技術進步以近乎無限的速度發展，而奇點之后我們將在一個完全不同的世界生活的。但是當下的很多思考人工智能的人已經不再用奇點這個說法了，而且這種說法很容易把人弄混，所以本文也盡量少用。

最后，人工智能的概念很寬，所以人工智能也分很多種，我們按照人工智能的實力將其分成三大類。

弱人工智能Artificial Narrow Intelligence (ANI):?弱人工智能是擅長于單個方面的人工智能。比如有能戰勝象棋世界冠軍的人工智能，但是它只會下象棋，你要問它怎樣更好地在硬盤上儲存數據，它就不知道怎么回答你了。

強人工智能Artificial General Intelligence (AGI):?人類級別的人工智能。強人工智能是指在各方面都能和人類比肩的人工智能，人類能干的腦力活它都能干。創造強人工智能比創造弱人工智能難得多，我們現在還做不到。Linda Gottfredson教授把智能定義為“一種寬泛的心理能力，能夠進行思考、計劃、解決問題、抽象思維、理解復雜理念、快速學習和從經驗中學習等操作?！睆娙斯ぶ悄茉谶M行這些操作時應該和人類一樣得心應手。

超人工智能Artificial Superintelligence (ASI):?牛津哲學家，知名人工智能思想家Nick Bostrom把超級智能定義為“在幾乎所有領域都比最聰明的人類大腦都聰明很多，包括科學創新、通識和社交技能?！背斯ぶ悄芸梢允歉鞣矫娑急热祟悘娨稽c，也可以是各方面都比人類強萬億倍的。超人工智能也正是為什么人工智能這個話題這么火熱的緣故，同樣也是為什么永生和滅絕這兩個詞會在本文中多次出現。

現在，人類已經掌握了弱人工智能。其實弱人工智能無處不在，人工智能革命是從弱人工智能，通過強人工智能，最終到達超人工智能的旅途。這段旅途中人類可能會生還下來，可能不會，但是無論如何，世界將變得完全不一樣。

讓我們來看看這個領域的思想家對于這個旅途是怎么看的，以及為什么人工智能革命可能比你想的要近得多。

我們現在的位置——充滿了弱人工智能的世界

弱人工智能是在特定領域等同或者超過人類智能/效率的機器智能，一些常見的例子：

• 汽車上有很多的弱人工智能系統，從控制防抱死系統的電腦，到控制汽油注入參數的電腦。谷歌正在測試的無人駕駛車，就包括了很多弱人工智能，這些弱人工智能能夠感知周圍環境并作出反應。
• 你的手機也充滿了弱人工智能系統。當你用地圖軟件導航，接受音樂電臺推薦，查詢明天的天氣，和Siri聊天，以及其它很多很多應用，其實都是弱人工智能。
• 垃圾郵件過濾器是一種經典的弱人工智能——它一開始就加載了很多識別垃圾郵件的智能，并且它會學習并且根據你的使用而獲得經驗。智能室溫調節也是一樣，它能根據你的日常習慣來智能調節。
• 你在上網時候出現的各種其它電商網站的產品推薦，還有社交網站的好友推薦，這些都是弱人工智能的組成的，弱人工智能聯網互相溝通，利用你的信息來進行推薦。網購時出現的“買這個商品的人還購買了”推薦，其實就是收集數百萬用戶行為然后產生信息來賣東西給你的弱人工智能。
• 谷歌翻譯也是一種經典的人工智能——非常擅長單個領域。聲音識別也是一種。很多軟件利用這兩種智能的合作，使得你能對著手機說中文，手機直接給你翻譯成英文。
• 當飛機著陸時候，不是一個人類決定飛機該去那個登機口接駁。就好像你在網上買票時票據不是一個人類決定的。
• 世界最強的跳棋、象棋、拼字棋、雙陸棋和黑白棋選手都是弱人工智能。
• 谷歌搜索是一個巨大的弱人工智能，背后是非常復雜的排序方法和內容檢索。社交網絡的新鮮事同樣是這樣。
• 這些還只是消費級產品的例子。軍事、制造、金融(高頻算法交易占到了美國股票交易的一半)等領域廣泛運用各種復雜的弱人工智能。專業系統也有，比如幫助醫生診斷疾病的系統，還有著名的IBM的華生，儲存了大量事實數據，還能理解主持人的提問，在競猜節目中能夠戰勝最厲害的參賽者。

現在的弱人工智能系統并不嚇人。最糟糕的情況，無非是代碼沒寫好，程序出故障，造成了單獨的災難，比如造成停電、核電站故障、金融市場崩盤等等。

雖然現在的弱人工智能沒有威脅我們生存的能力，我們還是要懷著警惕的觀點看待正在變得更加龐大和復雜的弱人工智能的生態。每一個弱人工智能的創新，都在給通往強人工智能和超人工智能的旅途添磚加瓦。用Aaron Saenz的觀點，現在的弱人工智能，就是地球早期軟泥中的氨基酸——沒有動靜的物質，突然之間就組成了生命。

弱人工智能到強人工智能之路

為什么這條路很難走

只有明白創造一個人類智能水平的電腦是多么不容易，才能讓你真的理解人類的智能是多么不可思議。造摩天大樓、把人送入太空、明白宇宙大爆炸的細節——這些都比理解人類的大腦，并且創造個類似的東西要簡單太多了。至今為止，人類的大腦是我們所知宇宙中最復雜的東西。

而且創造強人工智能的難處，并不是你本能認為的那些。

造一個能在瞬間算出十位數乘法的計算機——非常簡單

造一個能分辨出一個動物是貓還是狗的計算機——極端困難

造一個能戰勝世界象棋冠軍的電腦——早就成功了

造一個能夠讀懂六歲小朋友的圖片書中的文字，并且了解那些詞匯意思的電腦——谷歌花了幾十億美元在做，還沒做出來。

一些我們覺得困難的事情——微積分、金融市場策略、翻譯等，對于電腦來說都太簡單了

我們覺得容易的事情——視覺、動態、移動、直覺——對電腦來說太TM的難了。

用計算機科學家Donald Knuth的說法，“人工智能已經在幾乎所有需要思考的領域超過了人類，但是在那些人類和其它動物不需要思考就能完成的事情上，還差得很遠。”

讀者應該能很快意識到，那些對我們來說很簡單的事情，其實是很復雜的，它們看上去很簡單，因為它們已經在動物進化的過程中經歷了幾億年的優化了。當你舉手拿一件東西的時候，你肩膀、手肘、手腕里的肌肉、肌腱和骨頭，瞬間就進行了一組復雜的物理運作，這一切還配合著你的眼睛的運作，使得你的手能都在三維空間中進行直線運作。對你來說這一切輕而易舉，因為在你腦中負責處理這些的“軟件”已經很完美了。同樣的，軟件很難識別網站的驗證碼，不是因為軟件太蠢，恰恰相反，是因為能夠讀懂驗證碼是件碉堡了的事情。

同樣的，大數相乘、下棋等等，對于生物來說是很新的技能，我們還沒有幾億年的世界來進化這些能力，所以電腦很輕易的就擊敗了我們。試想一下，如果讓你寫一個程序，是一個能做大數相乘的程序容易寫，還是能夠識別千千萬萬種字體和筆跡下書寫的英文字母的程序難寫？

比如看著下面這個圖的時候，你和電腦都能識別出這是一個由兩種顏色的小長方形組成的一個大長方形。

你和電腦打了個平手。接著我們把途中的黑色部分去除：

你可以輕易的描述圖形中透明或不透明的圓柱和3D圖形，但是電腦就看不出來了。電腦會描述出2D的陰影細節，但是人腦卻能夠把這些陰影所展現的深度、陰影混合、房屋燈光解讀出來。
再看下面這張圖，電腦看到的是黑白灰，我們看到的卻是一塊全黑的石頭

而且，我們到現在談的還是靜態不變的信息。要想達到人類級別的智能，電腦必須要理解更高深的東西，比如微小的臉部表情變化，開心、放松、滿足、滿意、高興這些類似情緒間的區別，以及為什么《布達佩斯大飯店》是好電影，而《富春山居圖》是爛電影。

想想就很難吧？

我們要怎樣才能達到這樣的水平呢？

通往強人工智能的第一步：增加電腦處理速度

要達到強人工智能，肯定要滿足的就是電腦硬件的運算能力。如果一個人工智能要像人腦一般聰明，它至少要能達到人腦的運算能力。

用來描述運算能力的單位叫作cps(calculations per second，每秒計算次數)，要計算人腦的cps只要了解人腦中所有結構的最高cps，然后加起來就行了。

Kurzweil把對于一個結構的最大cps的專業估算，然后考慮這個結構占整個大腦的重量，做乘法，來得出人腦的cps。聽起來不太靠譜，但是Kurzweil用了對于不同大腦區域的專業估算值，得出的最終結果都非常類似，是10^16 cps，也就是1億億次計算每秒。

現在最快的超級計算機，中國的天河二號，其實已經超過這個運算力了，天河每秒能進行3.4億億。當然，天河二號占地720平方米，耗電2400萬瓦，耗費了3.9億美元建造。廣泛應用就不提了，即使是大部分商業或者工業運用也是很貴的。

Kurzweil認為考慮電腦的發展程度的標桿是看1000美元能買到多少cps，當1000美元能買到人腦級別的1億億運算能力的時候，強人工智能可能就是生活的一部分了。

摩爾定律認為全世界的電腦運算能力每兩年就翻一倍，這一定律有歷史數據所支持，這同樣表明電腦硬件的發展和人類發展一樣是指數級別的。我們用這個定律來衡量1000美元什么時候能買到1億億cps?，F在1000美元能買到10萬億cps，和摩爾定律的歷史預測相符合。

也就是說現在1000美元能買到的電腦已經強過了老鼠，并且達到了人腦千分之一的水平。聽起來還是弱爆了，但是，讓我們考慮一下，1985年的時候，同樣的錢只能買到人腦萬億分之一的cps，1995年變成了十億分之一，2005年是百萬分之一，而2015年已經是千分之一了。按照這個速度，我們到2025年就能花1000美元買到可以和人腦運算速度抗衡的電腦了。

至少在硬件上，我們已經能夠強人工智能了(中國的天河二號)，而且十年以內，我們就能以低廉的價格買到能夠支持強人工智能的電腦硬件。

但是運算能力并不能讓電腦變得智能，下一個問題是，我們怎樣利用這份運算能力來達成人類水平的智能。

通往強人工智能的第二步：讓電腦變得智能

這一步比較難搞。事實上，沒人知道該怎么搞——我們還停留在爭論怎么讓電腦分辨《富春山居圖》是部爛片的階段。但是，現在有一些策略，有可能會有效。下面是最常見的三種策略：

1)?抄襲人腦

就好像你班上有一個學霸。你不知道為什么學霸那么聰明，為什么考試每次都滿分。雖然你也很努力的學習，但是你就是考的沒有學霸好。最后你決定“老子不干了，我直接抄他的考試答案好了。”這種“抄襲”是有道理的，我們想要建造一個超級復雜的電腦，但是我們有人腦這個范本可以參考呀。

科學界正在努力逆向工程人腦，來理解生物進化是怎么造出這么個神奇的東西的，樂觀的估計是我們在2030年之前能夠完成這個任務。一旦這個成就達成，我們就能知道為什么人腦能夠如此高效、快速的運行，并且能從中獲得靈感來進行創新。一個電腦架構模擬人腦的例子就是人工神經網絡。它是一個由晶體管作為“神經”組成的網絡，晶體管和其它晶體管互相連接，有自己的輸入、輸出系統，而且什么都不知道——就像一個嬰兒的大腦。接著它會通過做任務來自我學習，比如識別筆跡。最開始它的神經處理和猜測會是隨機的，但是當它得到正確的回饋后，相關晶體管之間的連接就會被加強；如果它得到錯誤的回饋，連接就會變弱。經過一段時間的測試和回饋后，這個網絡自身就會組成一個智能的神經路徑，而處理這項任務的能力也得到了優化。人腦的學習是類似的過程，不過比這復雜一點，隨著我們對大腦研究的深入，我們將會發現更好的組建神經連接的方法。

更加極端的“抄襲”方式是“整腦模擬”。具體來說就是把人腦切成很薄的片，用軟件來準確的組建一個3D模型，然后把這個模型裝在強力的電腦上。如果能做成，這臺電腦就能做所有人腦能做的事情——只要讓它學習和吸收信息就好了。如果做這事情的工程師夠厲害的話，他們模擬出來的人腦甚至會有原本人腦的人格和記憶，電腦模擬出的人腦就會像原本的人腦一樣——這就是非常符合人類標準的強人工智能，然后我們就能把它改造成一個更加厲害的超人工智能了。

我們離整腦模擬還有多遠呢？至今為止，我們剛剛能夠模擬1毫米長的扁蟲的大腦，這個大腦含有302個神經元。人類的大腦有1000億個神經元，聽起來還差很遠。但是要記住指數增長的威力——我們已經能模擬小蟲子的大腦了，螞蟻的大腦也不遠了，接著就是老鼠的大腦，到那時模擬人類大腦就不是那么不現實的事情了。

2)模仿生物演化

抄學霸的答案當然是一種方法，但是如果學霸的答案太難抄了呢？那我們能不能學一下學霸備考的方法？

首先我們很確定的知道，建造一個和人腦一樣強大的電腦是可能的——我們的大腦就是證據。如果大腦太難完全模擬，那么我們可以模擬演化出大腦的過程。事實上，就算我們真的能完全模擬大腦，結果也就好像照抄鳥類翅膀的拍動來造飛機一樣——很多時候最好的設計機器的方式并不是照抄生物設計。

所以我們可不可以用模擬演化的方式來造強人工智能呢？這種方法叫作“基因算法”，它大概是這樣的：建立一個反復運作的表現/評價過程，就好像生物通過生存這種方式來表現，并且以能否生養后代為評價一樣。一組電腦將執行各種任務，最成功的將會“繁殖”，把各自的程序融合，產生新的電腦，而不成功的將會被剔除。經過多次的反復后。這個自然選擇的過程將產生越來越強大的電腦。而這個方法的難點是建立一個自動化的評價和繁殖過程，使得整個流程能夠自己運行。

這個方法的缺點也是很明顯的，演化需要經過幾十億年的時間，而我們卻只想花幾十年時間。

但是比起自然演化來說，我們有很多優勢。首先，自然演化是沒有預知能力的，它是隨機的——它產生的沒用的變異比有用的變異多很多，但是人工模擬的演化可以控制過程，使其著重于有益的變化。其次，自然演化是沒有目標的，自然演化出的智能也不是它目標，特定環境甚至對于更高的智能是不利的(因為高等智能消耗很多能源)。但是我們可以指揮演化的過程超更高智能的方向發展。再次，要產生智能，自然演化要先產生其它的附件，比如改良細胞產生能量的方法，但是我們完全可以用電力來代替這額外的負擔。所以，人類主導的演化會比自然快很多很多，但是我們依然不清楚這些優勢是否能使模擬演化成為可行的策略。

3)讓電腦來解決這些問題

如果抄學霸的答案和模擬學霸備考的方法都走不通，那就干脆讓考題自己解答自己吧。這種想法很無厘頭，確實最有希望的一種。

總的思路是我們建造一個能進行兩項任務的電腦——研究人工智能和修改自己的代碼。這樣它就不只能改進自己的架構了，我們直接把電腦變成了電腦科學家，提高電腦的智能就變成了電腦自己的任務。

以上這些都會很快發生

硬件的快速發展和軟件的創新是同時發生的，強人工智能可能比我們預期的更早降臨，因為：

1)指數級增長的開端可能像蝸牛漫步，但是后期會跑的非?？?/p>

2)軟件的發展可能看起來很緩慢，但是一次頓悟，就能永遠改變進步的速度。就好像在人類還信奉地心說的時候，科學家們沒法計算宇宙的運作方式，但是日心說的發現讓一切變得容易很多。創造一個能自我改進的電腦來說，對我們來說還很遠，但是可能一個無意的變動，就能讓現在的系統變得強大千倍，從而開啟朝人類級別智能的沖刺。

強人工智能到超人工智能之路

總有一天，我們會造出和人類智能相當的強人工智能電腦，然后人類和電腦就會平等快樂的生活在一起。

呵呵，逗你呢。

即使是一個和人類智能完全一樣，運算速度完全一樣的強人工智能，也比人類有很多優勢：

硬件上：

-速度。腦神經元的運算速度最多是200赫茲，今天的微處理器就能以2G赫茲，也就是神經元1000萬倍的速度運行，而這比我們達成強人工智能需要的硬件還差遠了。大腦的內部信息傳播速度是每秒120米，電腦的信息傳播速度是光速，差了好幾個數量級。

-?容量和儲存空間。人腦就那么大，后天沒法把它變得更大，就算真的把它變得很大，每秒120米的信息傳播速度也會成為巨大的瓶頸。電腦的物理大小可以非常隨意，使得電腦能運用更多的硬件，更大的內存，長期有效的存儲介質，不但容量大而且比人腦更準確。

-?可靠性和持久性。電腦的存儲不但更加準確，而且晶體管比神經元更加精確，也更不容易萎縮(真的壞了也很好修)。人腦還很容易疲勞，但是電腦可以24小時不停的以峰值速度運作。

軟件上來說：

-?可編輯性，升級性，以及更多的可能性。和人腦不同，電腦軟件可以進行更多的升級和修正，并且很容易做測試。電腦的升級可以加強人腦比較弱勢的領域——人腦的視覺元件很發達，但是工程元件就挺弱的。而電腦不但能在視覺元件上匹敵人類，在工程元件上也一樣可以加強和優化。

-?集體能力。人類在集體智能上可以碾壓所有的物種。從早期的語言和大型社區的形成，到文字和印刷的發明，再到互聯網的普及。人類的集體智能是我們統治其它物種的重要原因之一。而電腦在這方面比我們要強的很多，一個運行特定程序的人工智能網絡能夠經常在全球范圍內自我同步，這樣一臺電腦學到的東西會立刻被其它所有電腦學得。而且電腦集群可以共同執行同一個任務，因為異見、動力、自利這些人類特有的東西未必會出現在電腦身上。

通過自我改進來達成強人工智能的人工智能，會把“人類水平的智能”當作一個重要的里程碑，但是也就僅此而已了。它不會停留在這個里程碑上的?？紤]到強人工智能之于人腦的種種優勢，人工智能只會在“人類水平”這個節點做短暫的停留，然后就會開始大踏步向超人類級別的智能走去。

這一切發生的時候我們很可能被嚇尿，因為從我們的角度來看 a)雖然動物的智能有區別，但是動物智能的共同特點是比人類低很多；b)我們眼中最聰明的人類要比最愚笨的人類要聰明很很很很多。

所以，當人工智能開始朝人類級別智能靠近時，我們看到的是它逐漸變得更加智能，就好像一個動物一般。然后，它突然達到了最愚笨的人類的程度，我們到時也許會感慨：“看這個人工智能就跟個腦殘人類一樣聰明，真可愛?！?/p>

但問題是，從智能的大局來看，人和人的智能的差別，比如從最愚笨的人類到愛因斯坦的差距，其實是不大的。所以當人工智能達到了腦殘級別的智能后，它會很快變得比愛因斯坦更加聰明：

之后呢？

智能爆炸

從這邊開始，這個話題要變得有點嚇人了。我在這里要提醒大家，以下所說的都是大實話——是一大群受人尊敬的思想家和科學家關于未來的誠實的預測。你在下面讀到什么離譜的東西的時候，要記得這些東西是比你我都聰明很多的人想出來的。

像上面所說的，我們當下用來達成強人工智能的模型大多數都依靠人工智能的自我改進。但是一旦它達到了強人工智能，即使算上那一小部分不是通過自我改進來達成強人工智能的系統，也會聰明到能夠開始自我改進。

這里我們要引出一個沉重的概念——遞歸的自我改進。這個概念是這樣的：一個運行在特定智能水平的人工智能，比如說腦殘人類水平，有自我改進的機制。當它完成一次自我改進后，它比原來更加聰明了，我們假設它到了愛因斯坦水平。而這個時候它繼續進行自我改進，然而現在它有了愛因斯坦水平的智能，所以這次改進會比上面一次更加容易，效果也更好。第二次的改進使得他比愛因斯坦還要聰明很多，讓它接下來的改進進步更加明顯。如此反復，這個強人工智能的智能水平越長越快，直到它達到了超人工智能的水平——這就是智能爆炸，也是加速回報定律的終極表現。

現在關于人工智能什么時候能達到人類普遍智能水平還有爭議。對于數百位科學家的問卷調查顯示他們認為強人工智能出現的中位年份是2040年——距今只有25年。這聽起來可能沒什么，但是要記住，很多這個領域的思想家認為從強人工智能到超人工智能的轉化會快得多。以下的情景很可能會發生：一個人工智能系統花了幾十年時間到達了人類腦殘智能的水平，而當這個節點發生的時候，電腦對于世界的感知大概和一個四歲小孩一般；而在這節點后一個小時，電腦立馬推導出了統一廣義相對論和量子力學的物理學理論；而在這之后一個半小時，這個強人工智能變成了超人工智能，智能達到了普通人類的17萬倍。

這個級別的超級智能不是我們能夠理解的，就好像蜜蜂不會理解凱恩斯經濟學一樣。在我們的語言中，我們把130的智商叫作聰明，把85的智商叫作笨，但是我們不知道怎么形容12952的智商，人類語言中根本沒這個概念。

但是我們知道的是，人類對于地球的統治教給我們一個道理——智能就是力量。也就是說，一個超人工智能，一旦被創造出來，將是地球有史以來最強大的東西，而所有生物，包括人類，都只能屈居其下——而這一切，有可能在未來幾十年就發生。

想一下，如果我們的大腦能夠發明Wifi，那么一個比我們聰明100倍、1000倍、甚至10億倍的大腦說不定能夠隨時隨地操縱這個世界所有原子的位置。那些在我們看來超自然的，只屬于全能的上帝的能力，對于一個超人工智能來說可能就像按一下電燈開關那么簡單。防止人類衰老，治療各種不治之癥，解決世界饑荒，甚至讓人類永生，或者操縱氣候來保護地球未來的什么，這一切都將變得可能。同樣可能的是地球上所有生命的終結。

當一個超人工智能出生的時候，對我們來說就像一個全能的上帝降臨地球一般。

這時候我們所關心的就是

這篇文章的第一部分完了，我建議你休息一下，喝點水，下面我們要開始第二部分。

第二部分開始：

文章的第一部分討論了已經在我們日常生活中隨處可見的弱人工智能，然后討論了為什么從弱人工智能到強人工智能是個很大的挑戰，然后我們談到了為什么技術進步的指數級增長表面強人工智能可能并不那么遙遠。第一部分的結束，我們談到了一旦機器達到了人類級別的智能，我們將見到如下的場景：

這讓我們無所適從，尤其考慮到超人工智能可能會發生在我們有生之年，我們都不知道該用什么表情來面對。

再我們繼續深入這個話題之前，讓我們提醒一下自己超級智能意味著什么。

很重要的一點是速度上的超級智能和質量上的超級智能的區別。很多人提到和人類一樣聰明的超級智能的電腦，第一反應是它運算速度會非常非?？臁秃孟褚粋€運算速度是人類百萬倍的機器，能夠用幾分鐘時間思考完人類幾十年才能思考完的東西

這聽起來碉堡了，而且超人工智能確實會比人類思考的快很多，但是真正的差別其實是在智能的質量而不是速度上。用人類來做比喻，人類之所以比猩猩智能很多，真正的差別并不是思考的速度，而是人類的大腦有一些獨特而復雜的認知模塊，這些模塊讓我們能夠進行復雜的語言呈現、長期規劃、或者抽象思考等等，而猩猩的腦子是做不來這些的。就算你把猩猩的腦子加速幾千倍，它還是沒有辦法在人類的層次思考的，它依然不知道怎樣用特定的工具來搭建精巧的模型——人類的很多認知能力是猩猩永遠比不上的，你給猩猩再多的時間也不行。

而且人和猩猩的智能差別不只是猩猩做不了我們能做的事情，而是猩猩的大腦根本不能理解這些事情的存在——猩猩可以理解人類是什么，也可以理解摩天大樓是什么，但是它不會理解摩天大樓是被人類造出來的，對于猩猩來說，摩天大樓那么巨大的東西肯定是天然的，句號。對于猩猩來說，它們不但自己造不出摩天大樓，它們甚至沒法理解摩天大樓這東西能被任何東西造出來。而這一切差別，其實只是智能的質量中很小的差別造成的。

而當我們在討論超人工智能時候，智能的范圍是很廣的，和這個范圍比起來，人類和猩猩的智能差別是細微的。如果生物的認知能力是一個樓梯的話，不同生物在樓梯上的位置大概是這樣的：

要理解一個具有超級智能的機器有多牛逼，讓我們假設一個在上圖的樓梯上站在深綠色臺階上的一個機器，它站的位置只比人類高兩層，就好像人類比猩猩只高兩層一樣。這個機器只是稍微有點超級智能而已，但是它的認知能力之于人類，就好像人類的認知能力之于猩猩一樣。就好像猩猩沒有辦法理解摩天大樓是能被造出來的一樣，人類完全沒有辦法理解比人類高兩層臺階的機器能做的事情。就算這個機器試圖向我們解釋，效果也會像教猩猩造摩天大樓一般。

而這，只是比我們高了兩層臺階的智能罷了，站在這個樓梯頂層的智能之于人類，就好像人類之于螞蟻一般——它就算花再多時間教人類一些最簡單的東西，我們依然是學不會的。

但是我們討論的超級智能并不是站在這個樓梯頂層，而是站在遠遠高于這個樓梯的地方。當智能爆炸發生時，它可能要花幾年時間才能從猩猩那一層往上邁一步，但是這個步子會越邁越快，到后來可能幾個小時就能邁一層，而當它超過人類十層臺階的時候，它可能開始跳著爬樓梯了——一秒鐘爬四層臺階也未嘗不可。所以讓我們記住，當第一個到達人類智能水平的強人工智能出現后，我們將在很短的時間內面對一個站在下圖這樣很高很高的樓梯上的智能(甚至比這更高百萬倍)：

前面已經說了，試圖去理解比我們高兩層臺階的機器就已經是徒勞的，所以讓我們很肯定的說，我們是沒有辦法知道超人工智能會做什么，也沒有辦法知道這些事情的后果。任何假裝知道的人都沒搞明白超級智能是怎么回事。

自然演化花了幾億年時間發展了生物大腦，按這種說法的話，一旦人類創造出一個超人工智能，我們就是在碾壓自然演化了。當然，可能這也是自然演化的一部分——可能演化真正的模式就是創造出各種各樣的智能，直到有一天有一個智能能夠創造出超級智能，而這個節點就好像踩上了地雷的絆線一樣，會造成全球范圍的大爆炸，從而改變所有生物的命運。

科學界中大部分人認為踩上絆線不是會不會的問題，而是時間早晚的問題。想想真嚇人。

那我們該怎么辦呢？

可惜，沒有人都告訴你踩到絆線后會發生什么。但是人工智能思想家Nick Bostrom認為我們會面臨兩類可能的結果——永生和滅絕。

首先，回顧歷史，我們可以看到大部分的生命經歷了這樣的歷程：物種出現，存在了一段時間，然后不可避免的跌落下生命的平衡木，跌入滅絕的深淵。

歷史上來說，“所有生物終將滅絕”就像“所有人都會死”一樣靠譜。至今為止，存在過的生物中99.9%都已經跌落了生命的平衡木，如果一個生物繼續在平衡木上走，早晚會有一陣風把它吹下去。Bostrom把滅絕列為一種吸引態——所有生物都有墜入的風險，而一旦墜入將沒有回頭。

雖然大部分科學家都承認一個超人工智能有把人類滅絕的能力，也有一些人為如果運用得當，超人工智能可以幫助人類和其它物種，達到另一個吸引態——永生。Bostrom認為物種的永生和滅絕一樣都是吸引態，也就是我一旦我們達成了永生，我們將永遠不再面臨滅絕的危險——我們戰勝了死亡和幾率。所以，雖然絕大多數物種都從平衡木上摔了下去滅絕了，Bostrom認為平衡木外是有兩面的，只是至今為止地球上的生命還沒聰明到發現怎樣去到永生這另一個吸引態。

如果Bostrom等思想家的想法是對的，而且根據我的研究他們確實很可能是對的，那么我們需要接受兩個事實：

1)超人工智能的出現，將有史以來第一次，將物種的永生這個吸引態變為可能

2)超人工智能的出現，將造成非常巨大的沖擊，而且這個沖擊可能將人類吹下平衡木，并且落入其中一個吸引態

有可能，當自然演化踩到絆線的時候，它會永久的終結人類和平衡木的關系，創造一個新的世界，不管這時人類還是不是存在。

而現在的問題就是：“我們什么時候會踩到絆線？”以及“從平衡木上跌下去后我們會掉入哪個吸引態？”

沒人知道答案，但是一些聰明人已經思考了幾十年，接下來我們看看他們想出來了些什么。

___________

先來討論“我們什么時候會踩到絆線？”也就是什么時候會出現第一個超級智能。

不出意外的，科學家和思想家對于這個意見的觀點分歧很大。很多人，比如Vernor Vinge教授，科學家Ben Goertzel，SUN創始人Bill Joy，發明家和未來學家Ray Kurzweil，認同機器學習專家Jeremy Howard的觀點，Howard在TED演講時用到了這張圖：

這些人相信超級智能會發生在不久的將來，因為指數級增長的關系，雖然機器學習現在還發展緩慢，但是在未來幾十年就會變得飛快。

其它的，比如微軟創始人Paul Allen，心理學家Gary Marcus，NYU的電腦科學家Ernest Davis，以及科技創業者Mitch Kapor認為Kurzweil等思想家低估了人工智能的難度，并且認為我們離絆線還挺遠的。

Kurzweil一派則認為唯一被低估的其實是指數級增長的潛力，他們把質疑他們理論的人比作那些1985年時候看到發展速度緩慢的因特網，然后覺得因特網在未來不會有什么大影響的人一樣。

而質疑者們則認為智能領域的發展需要達到的進步同樣是指數級增長的，這其實把技術發展的指數級增長抵消了。

爭論如此反復。

第三個陣營，包括Nick Bostrom在內，認為其它兩派都沒有理由對踩絆線的時間那么有信心，他們同時認為 a) 這事情完全可能發生在不久的未來 b)但是這個事情沒個準，說不定會花更久

還有不屬于三個陣營的其他人，比如哲學家Hubert Dreyfus，相信三個陣營都太天真了，根本就沒有什么絆線。超人工智能是不會被實現的。

當你把所有人的觀點全部融合起來的話是怎樣呢？

2013年的時候，Bostrom做了個問卷調查，涵蓋了數百位人工智能專家，問卷的內容是“你預測人類級別的強人工智能什么時候會實現”，并且讓回答者給出一個樂觀估計(強人工智能有10%的可能在這一年達成)，正常估計(有50%的可能達成)，和悲觀估計(有90%可能達成)。當把大家的回答統計后，得出了下面的結果：

樂觀估計中位年(強人工智能有10%的可能在這一年達成)：2022年

正常估計中位年(強人工智能有50%的可能在這一年達成)：2040年

悲觀估計中位年(強人工智能有90%的可能在這一年達成)：2075年

所以一個中位的人工智能專家認為25年后的2040年我們能達成強人工智能，而2075年這個悲觀估計表明，如果你現在夠年輕，有一半以上的人工智能專家認為在你的有生之年能夠有90%的可能見到強人工智能的實現。

另外一個獨立的調查，由作家James Barrat在Ben Goertzel的強人工智能年會上進行，他直接問了參與者認為強人工智能哪一年會實現，選項有2030年，2050年，2100年，和永遠不會實現。結果是：

2030年：42%的回答者認為強人工智能會實現

2050年：25%的回答者

2100年：20%

2100年以后：10%

永遠不會實現：2%

這個結果和Bostrom的結果很相似。在Barrat的問卷中，有超過三分之二的參與者認為強人工智能會在2050年實現，有近乎半數(42%)的人認為未來15年(2030年)就能實現。并且，只有2%的參與者認為強人工智能永遠不會實現。

但是強人工智能并不是絆線，超人工智能才是。那么專家們對超人工智能是怎么想的呢？

Bostrom的問卷還詢問專家們認為達到超人工智能要多久，選項有a)達成強人工智能兩年內，b)達成強人工智能30年內。問卷結果如下：

中位答案認為強人工智能到超人工智能只花2年時間的可能性只有10%左右，但是30年之內達成的可能性高達75%

從以上答案，我們可以估計一個中位的專家認為強人工智能到超人工智能可能要花20年左右。所以，我們可以得出，現在全世界的人工智能專家中，一個中位的估計是我們會在2040年達成強人工智能，并在20年后的2060年達成超人工智能——也就是踩上了絆線。

當然，以上所有的數據都是推測，它只代表了現在人工智能領域的專家的中位意見，但是它告訴我們的是，很大一部分對這個領域很了解的人認為2060年是一個實現超人工智能的合理預測——距今只有45年。

那么我們來看一下下一個問題，踩到絆線后，我們將跌向平衡木的哪一個方向？

超級智能會產生巨大的力量，所以關鍵的問題時——到時這股力量究竟由誰掌握，掌握這份力量的人會怎么做？

這個問題的答案將決定超人工智能究竟是天堂還是地獄。

同樣的，專家們在這個問題上的觀點也不統一。Bostrom的問卷顯示專家們看待強人工智能對于人類社會的影響時，52%認為結果會是好或者非常好的，31%認為會是糟糕的或者非常糟糕的，只有17%的人認為結果會是不好不壞的。也就是說，這個領域的專家普遍認為這將是一個很大的事情，不論結果好壞。要注意的是，這個問題問的是強人工智能，如果問的是超人工智能，認為結果不好不壞的人可能不會有17%這么多。

在我們深入討論好壞這個問題之前，我們先把“什么時候會發生”和“這是好事還是壞事”的結果綜合起來畫張表，這代表了大部分專家的觀點：

我們等下再考慮主流陣營的觀點。咱們先來問一下你自己是怎么想的，其實我大概能猜到你是怎么想的，因為我開始研究這個問題前也是這樣的想的。很多人其實不關心這個話題，原因無非是：

像本文第一部分所說，電影展示了很多不真實的人工智能場景，讓我們認為人工智能不是正經的課題。作家James Barrat把這比作傳染病控制中心發布吸血鬼警報一樣滑稽。

因為認知偏差，所以我們在見到證據前很難相信一件事情是真的。我確信1988年的時候電腦科學家們就已經常在討論因特網將是多么重要，但是一般人并不會認為因特網會改變他們的生活——直到他們的生活真的被改變了。一方面，1988年的電腦確實不夠給力，所以那時的人們看著電腦會想：“這破玩意兒也能改變我的生活，你逗我吧？”人們的想象力被自己對于電腦的體驗而約束。讓他們難以想象電腦會變成現在的樣子。同樣的事情正發生在人工智能領域。我們聽到很多人說人工智能將會造成很大影響，但是因為這個事情還沒發生，因為我們和一些弱爆了的人工智能系統的個人經歷，讓我們難以相信這東西真的能改變我們的生活。而這些認知偏差，正是專家們在努力對抗的。

就算我們相信人工智能的巨大潛力，你今天又花了多少時間思考“在接下來的永恒中，絕大部分時間我都不會再存在”這個問題？雖然這個問題比你今天干的大部分事情都重要很多，但是正常人都不會老是想這個吧。這是因為你的大腦總是關注日常的小事，不管長期來看有多少重要的事情，我們天生就是這么思考的。

這篇東西的主要目標就是讓你脫離普通人陣營，加入專家思考的陣營，哪怕能讓你站到兩條不確定線的交點上，目標也達到了。

在我的研究中，我見識到了各種各樣的觀點，但是我發現大多數人的觀點都停留在主流陣營中。事實上超過四分之三的專家都屬于主流陣營中的兩個小陣營：焦慮大道和信心角

我們將對這兩個小陣營做深入的談論，讓我們從比較有趣的那個開始吧

為什么未來會是天堂

研究人工智能這個領域后，我發現有比預期的多得多的人站在信心角當中：

站在信心角中的人非常興奮，他們認為他們將走向平衡木下比較有趣的那個吸引態，未來將實現他們的夢想，他們只需耐心等待。

把這一部分人從其他思想家區分開來的是這些人對于比較有趣的那個吸引態的欲望——他們很有信心永生是我們的發展方向。

這份信心是哪里來的不好說，評論家認為是這些人太過興奮而產生了盲點，忽略了可能的負面結果。但是信心角的人還是把批評者當作末日論者來看待，他們認為技術會繼續幫助我們而不是傷害我們。

兩邊的觀點我們都會說，這樣你能形成自己的觀點，但是在讀下面的內容前，請把質疑暫時擱置，讓我們看看平衡木兩邊究竟有什么，并且記住這些事情是有可能發生的。如果我們給一個打獵采集者看我們現在的舒適家居、技術、富庶，在他眼里這一切也會像魔法一樣——我們也要接受未來完全可能出現能把我們嚇尿的變革。

Bostrom描述了三種超人工智能可能的工作模式

-?先知模式：能準確回答幾乎所有的問題，包括對人類來說很困難的復雜問題，比如“怎樣造一個更好的汽車引擎？”

-?精靈模式：能夠執行任何高級指令，比如用分子組合器造一個更好的汽車引擎出來

- 獨立意志模式(sovereign):可以執行開放式的任務，能在世界里自由活動，可以自己做決定，比如發明一種比汽車更快、更便宜、更安全的交通模式。

這些對人類來說很復雜的問題，對于一個超級智能來說可能就像“我的筆掉了，你能幫我撿一下嗎？”這么簡單。

Eliezer Yudkowsky，是這么說的：

“根本沒有困難的問題，只有對于特定級別的智能來說難的問題。在智能的階梯上走一小步，一些不可能的問題就變得簡單了，如果走一大步，所有問題都變得簡單了。”

信心角里有很多熱忱的科學家、發明家和創業者，但是對于人工智能的未來最有發言權的，當屬Ray Kurzweil.

對于Kurzweil的評價非常兩極化，既有如對神人般的崇拜，也有翻白眼似的不屑。也有一些中立主義者，比如作家Douglas Hofstadter，他覺得Kurzweil的觀點就好像把美食和狗屎混在一起，讓你分不清是好是壞。

不管你同不同意Kurzweil的觀點，他都是一個牛人。他年輕時候就開始搞發明，之后幾十年發明了很多東西，比如第一臺平板掃描儀，第一臺能把文字轉化為語言的掃描儀(盲人使用)，著名的Kurzweil音樂合成器(第一臺真正意義上的電子鋼琴)，以及第一套商業銷售的語音識別系統。他是五本暢銷書的作者。他很喜歡做大膽的預測，而且一直很準，比如他80年代末的時候預測到2000年后因特網會成為全球級的現象。他被《華爾街日報》成為“不休的天才”，被《福布斯》稱為“終極思想機器”，被《Inc.》稱作“愛迪生真正的傳人”，被比爾蓋茨稱為“我認識的對人工智能預測最厲害的人。”2012年谷歌創始人Larry Page曾邀請他擔任谷歌的工程總監，2011年他共同創立了奇點大學(Singularity University)，現在大學由美國太空總署運運營，由谷歌贊助。

Kurzweil的經歷很重要，因為當他講述自己對未來的愿景時，他聽起來就是個瘋子，但是他不瘋，恰恰相反，他非常聰明而有知識。你可能覺得他對于未來的想法是錯的，但是他不傻。知道他是一個聰明人讓我很開心，因為當我知道他對未來的預測后，我急切的很希望他的預測是對的。信心角中的很多思想家都認同Kurzweil的預測，他也有很多粉絲，被稱為奇點主義者。

時間線

Kurzweil相信電腦會在2029年達成強人工智能，而到了2045年，我們不但會有超人工智能，還會有一個完全不同的世界——奇點時代。他的人工智能時間線曾經被認為非常的狂熱，現在也還是有很多人這么認為，但是過去15年弱人工智能的快速發展讓更多的專家靠近了Kurzweil的時間線。雖然他的時間線比之前提到的2040年和2060年更加早，但是并沒有早多少。

Kurzweil的奇點時代是三個技術領域的共同革命造成的——生物技術、納米技術和最重要的人工智能技術。

在我們繼續討論人工智能前，讓我們談一下納米技術這個任何關于人工智能的討論都會涉及到的領域

納米技術

納米技術說的是在1-100納米的范圍內操縱物質的技術。一納米是一米的十億分之一，是一毫米的一百萬分之一。1-100納米這個范圍涵蓋了病毒(100納米長)，DNA(10納米寬)， 大分子比如血紅蛋白(5納米)，和中分子比如葡萄糖(1納米)。當我們能夠完全掌握納米技術的時候，我們離在原子層面操縱物質就只差一步了，因為那只是一個數量級的差距(約0.1納米)。

要了解在納米量級操縱物質有多困難，我們可以換個角度來比較。國際空間站距離地面431公里。如果一個人身高431公里，也就是他站著能夠頂到國際空間站的話，他將是普通人類的25萬倍大。如果你把1-100納米放大25萬倍，你算出的是0.25毫米-25毫米。所以人類使用納米技術，就相當于一個身高431公里的巨人用沙子那么大的零件搭精巧的模型。如果要達到原子級別操縱物質，就相當于讓這個431公里高的巨人使用0.025毫米大的零件。

關于納米技術的思考，最早由物理學家費曼在1959年提出，他解釋道：“據我所知，物理學的原理，并不認為在原子級別操縱物質是不可能的。原則上來說，物理學家能夠制造出任何化學家能寫出來的物質——只要把一個個原子按照化學家寫出來的放在一起就好了?！逼鋵嵕褪沁@么簡單，所以我們只要知道怎樣移動單個的分子和原子，我們就可以造出任何東西。

工程師Eric Drexler提出納米級組裝機后，納米技術在1986年成為了一門正經的學科。納米級組裝機的工作原理是這樣的：一個牛逼掃描儀掃描物件的3D原子模型，然后自動生成用來組裝的軟件。然后由一臺中央電腦和數萬億的納米“機器人”，通過軟件用電流來指揮納米機器人，最后組成所需要的物件。

--------------------------

再扯遠一點
納米技術有一些不是那么有趣的部分——能夠制造數萬億的納米機器人唯一合理的方法就是制造可以自我復制的范本，然后讓指數級增長來完成建造任務。很機智吧？

是很機智，但是這一不小心就會造成世界末日。指數級增長雖然能很快的制造數萬億的納米機器人，但這也是它可怕的地方——如果系統出故障了，指數級增長沒有停下來，那怎么辦？納米機器人將會吞噬所有碳基材料來支持自我復制，而不巧的是，地球生命就是碳基的。地球上的生物質量大概包含10^45個碳原子。一個納米機器人有10^6個碳原子的話，只需要10^39個納米機器人就能吞噬地球上全部的生命了，而2^130約等于10^39，也就是說自我復制只要進行130次就能吞噬地球生命了。科學家認為納米機器人進行一次自我復制只要100秒左右，也就是說一個簡單的錯誤可能就會在3.5小時內毀滅地球上全部的生命。
更糟糕的是，如果恐怖分子掌握了納米機器人技術，并且知道怎么操縱它們的話，他可以先造幾萬億個納米機器人，然后讓它們散播開來。然后他就能發動襲擊，這樣只要花一個多小時納米機器人就能吞噬一切，而且這種攻擊無法阻擋。未來真的是能把人嚇尿的。

------------------------

等我們掌握了納米技術后，我們就能用它來制造技術產品、衣服、食物、和生物產品，比如人造紅細胞、癌癥細胞摧毀者、肌肉纖維等等。而在納米技術的世界里，一個物質的成本不再取決于它的稀缺程度或是制造流程的難度，而在于它的原子結構有多復雜。在納米技術的時代，鉆石可能比橡皮擦還便宜。

我們還沒掌握這種技術，我們甚至不知道我們對于達成這種技術的難度是高估了還是低估了，但是我們看上去離那并不遙遠。Kurzweil預測我們會在21世紀20年代掌握這樣的技術。各國政府知道納米技術將能改變地球，所以他們投入了很多錢到這個領域，美國、歐盟和日本至今已經投入了50億美元。

設想一下，一個具有超級智能的電腦，能夠使用納米級的組裝器，是種什么樣的體驗？要記得納米技術是我們在研究的玩意兒，而且我們就快掌握這項技術了，而我們能做的一切在超人工智能看來就是小兒科罷了，所以我們要假設超人工智能能夠創造出比這要發達很多很多的技術，發達到我們的大腦都沒有辦法理解。

因此，當考慮“如果人工智能革命的成果對我們是好的”這個命題的時候，要記得我們根本沒法高估會發生什么。所以就算下面對于超人工智能的預測顯得太不靠譜，要記得這些進展可能是用我們沒有辦法想象的方法達成的。事實上，我們的大腦很可能根本沒法預測將會發生什么。

----------------

人工智能能為我們做什么

擁有了超級智能和超級智能所能創造的技術，超人工智能可以解決人類世界的所有問題。氣候變暖？超人工智能可以用更優的方式產生能源，完全不需要使用化石燃料，從而停止二氧化碳排放。然后它能創造方法移除多余的二氧化碳。癌癥？沒問題，有了超人工智能，制藥和健康行業將經歷無法想象的革命。世界饑荒？超人工智能可以用納米技術直接搭建出肉來，而這些搭建出來的肉和真肉在分子結構上會是完全相同的——換句話說，就是真肉。

納米技術能夠把一堆垃圾變成一堆新鮮的肉或者其它食品，然后用超級發達的交通把這些食物分配到世界各地。這對于動物也是好消息，我們不需要屠殺動物來獲得肉了。而超人工智能在拯救瀕危物種和利用DNA復活已滅絕物種上面也能做很多事情。超人工智能甚至可以解決復雜的宏觀問題——我們關于世界經濟和貿易的爭論將不再必要，甚至我們對于哲學和道德的苦苦思考也會被輕易的解決。

但是，有一件事是如此的吸引人，光是想想就能改變對所有事物的看法了：

幾個月前，我提到我很羨慕那些可能達成了永生的文明。但是，現在，我已經在認真的考慮達成永生這個事情很可能在我們有生之年就能達成。研讀人工智能讓你重新審思對于所有事情的看法，包括死亡這一很確定的事情。

自然演化沒有理由讓我們活得比現在更長。對于演化來說，只要我們能夠活到能夠生育后代，并且養育后代到能夠自己保護自己的年紀，那就夠了——對演化來說，活30多歲完全夠了，所以額外延長生命的基因突變并不被自然選擇所鐘愛。這其實是很無趣的事情。

而且因為所有人都會死，所以我們總是說“死亡和繳稅”是不可避免的。我們看待衰老就像看待時間一樣——它們一直向前，而我們沒有辦法阻止它們。

但是這個假設是錯的，費曼曾經寫道：

“在所有的生物科學中，沒有任何證據說明死亡是必需的。如果你說你想造永動機，那我們對于物理學的研究已經讓我們有足夠的理論來說明這是不可能的。但是在生物領域 我們還沒發現任何證據證明死亡是不可避免的。也就是說死亡不一定是不可避免的，生物學家早晚會發現造成我們死亡的原因是什么，而死亡這個糟糕的‘病’就會被治好，而人類的身體也將不再只是個暫時的容器。”

事實上，衰老和時間不是綁死的。時間總是會繼續前進的，而衰老卻不一定。仔細想想，衰老只是身體的組成物質用舊了。汽車開久了也會舊，但是汽車一定會衰老嗎？如果你能夠擁有完美的修復技術、或者直接替換老舊的汽車部件，這輛車就能永遠開下去。人體只是更加復雜而已，本質上和汽車是一樣的。

Kurzweil提到由Wifi連接的納米機器人在血液中流動，可以執行很多人類健康相關的任務，包括日常維修，替換死去的細胞等等。如果這項技術能夠被完美掌握，這個流程(或者一個超人工智能發明的更好的流程)將能使人的身體永遠健康，甚至越活越年輕。一個60歲的人和一個30歲的人身體上的區別只是物理上的，只要技術足夠發達我們是能改變這種區別的。

超人工智能可以建造一個“年輕機器”，當一個60歲的人走進去后，再出來時就擁有了年輕30歲的身體。就算是逐漸糊涂的大腦也可能年輕化，只要超人工智能足夠聰明，能夠發現不影響大腦數據的方法來改造大腦就好了。一個90歲的失憶癥患者可以走進“年輕機器”，再出來時就擁有了年輕的大腦。這些聽起來很離譜，但是身體只是一堆原子罷了，只要超人工智能可以操縱各種原子結構的話，這就完全不離譜。

Kurzweil的思維繼續跳躍了一下，他相信人造材料將越來越多的融入人體。最開始，人體器官將被先進的機械器官所代替，而這些機械器官可以一直運行下去。然后我們會開始重新設計身體，比如可以用自我驅動的納米機器人代替血紅細胞，這樣連心臟都省了。Kurzweil甚至認為我們會改造自己的大腦，使得我們的思考速度比現在快億萬倍，并且使得大腦能和云存儲的信息進行交流。

我們能獲得的新體驗是無窮的。人類的xing ai，使得人們不但能生育，還能從中享樂。Kurtzweil認為我們可以對食物做同樣的改造。納米機器人可以負責把身體需要的營養物質傳送到細胞中，智能的將對身體不好的東西排出體外——就像一個食物避孕套一樣。納米技術理論家Robert A. Freitas已經設計了一種紅細胞的替代品，能夠讓人快速沖刺15分鐘不需要呼吸——那么超人工智能能對我們的身體能力做的改造就更加難以想象。虛擬現實將擁有新的意義——體內的納米機器人將能控制我們從感官獲得的信號，然后用別的信號替代他們，讓我們進入一個新的環境，在新環境里，我們能聽、看、聞、觸摸。。。

最終，Kurzweil認為人類會完全變成人工的。有一天當我們看到生物材料，然后覺得生物材料實在太原始了，早年的人體居然是用這樣的東西組成的，早期的人類居然會被微生物、意外、疾病殺死。這就是Kurzweil眼中人類最終戰勝自己的生理，并且變得不可摧毀和永生，這也是平衡木的另一個吸引態。他深深的想象我們會達到那里，而且就在不久的將來。

Kurzweil的想法很自然的受到了各方的批評。他對于2045年奇點時代的到來，以及之后的永生的可能性受到了各種嘲笑——“書呆子的狂歡”、“高智商人士的創始論”等等。也有人質疑他過于樂觀的時間線，以及他對人腦和人體的理解程度，還有他將摩爾定于應用到軟件上的做法。有很多人相信他，但有更多人反對他。

但是即使如此，那些反對他的專家并不是反對他所說的一切，反對他的人說的不是“這種事情不可能發生”，而是說“這些當然可能發生，但是到達超人工智能是很難的?！边B經常提醒我們人工智能的潛在威脅的Bostrom都這么說：

很難想象一個超級智能會有什么問題是解決不了，或是不能幫著我們解決的。疾病、貧困、環境毀滅、各種不必要的苦難，這些都是擁有納米科技的超級智能能夠解決的。而且，超級智能可以給我們無限的生命，這可以通過停止或者逆轉衰老來達成，也可以讓我們上傳自己的數據。一個超級智能還能讓我們大幅度提高智商和情商，還能幫助我們創造這種有趣的體驗世界，讓我們享樂。

這是Bostrom這個明顯不在信心角的人的觀點，但也是很多反對Kurzweil的專家的觀點，他們不覺得Kurzweil是在說夢話，只是覺得我們首先要安全達成超人工智能。這也是為什么我覺得Kurzweil的觀點很有傳染性，他傳達了正面的信息，而這些事情都是可能的——如果超人工智能是個仁慈的神的話。

對信心角的最有力的批評，是那些信心角里的人都低估了超人工智能的壞處。Kurzweil的暢銷書《The Singularity is Near》700多頁，只有20頁用來討論人工智能的危險。前面提到，當超人工智能降臨時我們的命運取決于誰掌握這股力量，以及他們是不是好人。Kurzweil的回答是“超人工智能正從多方的努力中出現，它將深深的融入我們文明的基建中。它會親密的被捆綁在我們的身體和大腦中，它會反映我們的價值，因為它就是我們?！?/p>

但如果答案就是這樣的話，為什么這個世界上最聰明的一些人會很擔憂？為什么霍金會說超人工智能會毀滅人類？為什么比爾蓋茨會不理解為什么有人不為此擔憂？為什么馬斯克會擔心我們是在召喚惡魔？為什么那么多專家擔心超人工智能是對人類最大的威脅？這些站在焦慮大道上的思想家，不認同Kurzweil對于人工智能的危險的粉飾。他們非常非常擔心人工智能革命，他們不關注平衡木下比較有趣的那一個吸引態，而是盯著平衡木的另一邊，而他們看到的是可怕的未來，一個我們未必能夠逃離的未來。

___________

未來可能是我們最糟的惡夢

我想了解人工智能的一個原因是“壞機器人”總是讓我很困惑。那些關于邪惡機器人的電影看起來太不真實，我也沒法想象一個人工智能變得危險的真實情況。機器人是我們造的，難道我們不會在設計時候防止壞事的發生嗎？我們難道不能設立很多安全機制嗎？再不濟，難道我們不能拔插頭嗎？而且為什么機器人會想要做壞事？或者說，為什么機器人會“想要”做任何事？我充滿疑問，于是我開始了解聰明人們的想法。

這些人一般位于焦慮大道：

焦慮大道上的人并不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位于圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨立的陣營，他們認同極好和極壞兩種可能，但是不確定究竟會是哪個。

焦慮大道上的人是部分為超人工智能感到興奮的——他們只是很擔心人類現在的表現就好像《奪寶奇兵》中的這位少年：

他拿著自己的鞭子和寶物，非常開心，然后他就掛了：

同時，印第安納瓊斯則更加有見識和更加謹慎，了解潛在的危險并且做出相應的反應，最后安全逃出了山洞。當我了解了焦慮大道的人們的想法后，感覺就像“我們現在傻呵呵的，很容易像前面那小子一樣被弄死，還是努力做印第安納瓊斯吧?！?/p>

那究竟是什么讓焦慮大道的人們如此焦慮呢？

首先，廣義上來講，在創造超人工智能時，我們其實是在創造可能一件會改變所有事情的事物，但是我們對那個領域完全不清楚，也不知道我們到達那塊領域后會發生什么。科學家Danny Hillis把這個比作“就好像單細胞生物向多細胞生物轉化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創造什么鬼?！?/p>

Bostrom則擔憂創造比自身聰明的東西是個基礎的達爾文錯誤，就好像麻雀媽媽決定收養一只小貓頭鷹，并且覺得貓頭鷹長大后會保護麻雀一家，但是其它麻雀卻覺得這是個糟糕的主意。

當你把“對那個領域完全不清楚”和“當它發生時將會產生巨大的影響”結合在一起時，你創造出了一個很恐怖的詞——

生存危機指可能對人類產生永久的災難性效果的事情。通常來說，生存危機意味著滅絕。下面是Bostrom的圖表：

可以看到，生存危機是用來指那些跨物種、跨代(永久傷害)并且有嚴重后果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機：

1)自然——大型隕石沖撞，大氣變化使得人類不能生活在空氣中，席卷全球的致命病毒等

2)外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。

3)人類——恐怖分子獲得了可以造成滅絕的武器，全球的災難性戰爭，還有不經思考就造出個比我們聰明很多的智能

Bostrom指出1和2在我們物種存在的前十萬年還沒有發生，所以在接下來一個世紀發生的可能性不大。3則讓他很害怕，他把這些比作一個裝著玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是紅色的，只有幾個是黑色的。每次人類發明一些新東西，就相當于從罐中取出一個玻璃球。大多數發明是有利或者中立的——那些是白色玻璃球。有些發明對人類是有害的，比如大規模殺傷性武器——這是那些紅色玻璃球。還有一些發明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒摸到黑色玻璃球，但是Bostrom認為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易制造了，那恐怖分子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球，但是差的不遠了。而超人工智能是我們最可能摸到的黑色玻璃球。

你會聽到很多超人工智能帶來的壞處——人工智能取代人類工人，造成大量失業；因為解決了衰老造成的人口膨脹。但是真正值得我們擔心的是生存危機的可能性。

于是我們又回到了前面的問題，當超人工智能降臨時，誰會掌握這份力量，他們又會有什么目標？

當我們考慮各種力量持有人和目標的排列組合時，最糟糕的明顯是：懷著惡意的人/組織/政府，掌握著懷有惡意的超人工智能。這會是什么樣的情況呢？

懷著惡意的人/組織/政府，研發出第一個超人工智能，并且用它來實現自己的邪惡計劃。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個精靈，特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發人工智能怎么辦？或者說伊朗和朝鮮，機緣巧合，不小心造成了人工智能的快速發展，達成了超人工智能怎么辦？這當然是很糟糕的事，但是大部分專家認為糟糕的地方不在于這些人是壞人，而在于在這些情況下，這些人基本上是不經思考就把超人工智能造出來，而一造出來就失去了對超人工智能的控制。

然后這些創造者，連著其他人的命運，都取決于這個超人工智能的動機了。專家認為一個懷著惡意并掌握著超人工智能的人可以造成很大的傷害，但不至于讓我們滅絕，因為專家相信壞人和好人在控制超人工智能時會面臨一樣的挑戰。

如果被創造出來的超人工智能是懷有惡意的，并且決定毀滅我，怎么辦？這就是大部分關于人工智能的電影的劇情。人工智能變得和人類一樣聰明，甚至更加聰明，然后決定對人類下手——這里要指出，那些提醒我們要警惕人工智能的人談的根本不是這種電影情節。邪惡是一個人類的概念，把人類概念應用到非人類身上叫作擬人化，本文會盡量避免這種做法，因為沒有哪個人工智能會像電影里那樣變成邪惡的。

人工智能的自我意識

我們開始談論到了人工智能討論的另一個話題——意識。如果一個人工智能足夠聰明，它可能會嘲笑我們，甚至會嘲諷我們，它會聲稱感受到人類的情感，但是它是否真的能感受到這些東西呢？它究竟是看起來有自我意識，還是確實擁有自我意識？或者說，聰明的人工智能是否真的會具有意識，還是看起來有意識？

這個問題已經被深入的討論過，也有很多思想實驗，比如John Searle的中文屋實驗。這是個很重要的問題，因為它會影響我們對Kurzweil提出的人類最終會完全人工化的看法，它還有道德考量——如果我們模擬出萬億個人腦，而這些人腦表現的和人類一樣，那把這些模擬大腦徹底關閉的話，在道德上和關掉電腦是不是一樣的？還是說這和種族屠殺是等價的？本文主要討論人工智能對人類的危險，所以人工智能的意識并不是主要的討論點，因為大部分思想家認為就算是有自我意識的超人工智能也不會像人類一樣變得邪惡。

但這不代表非常壞的人工智能不會出現，只不過它的出現是因為它是被那樣設定的——比如一個軍方制造的弱人工智能，被設定成具有殺人和提高自我智能兩個功能。當這個人工智能的自我改進失控并且造成智能爆炸后，它會給我們帶來生存危機，因為我們面對的是一個主要目標是殺人的超人工智能——但這也不是專家們擔心的。

那么專家們究竟擔心什么呢？我們來講個小故事：

一個15人的小創業公司，取名叫“隔壁老王機器人公司”，他們的目標是“發展創新人工智能工具使人類能夠少干活多享受?！彼麄円呀浻袔卓町a品上架，還有一些正在發展。他們對下一個叫作“隔壁老王”的項目最報希望。隔壁老王是一個簡單的人工智能系統，它利用一個機器臂在小卡片上寫字。

“隔壁老王機器人公司”的員工認為隔壁老王會是他們最熱賣的產品，他們的目標是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——

等隔壁老王手寫能力越來越強的時候，它就能被賣去那些需要發營銷信件的公司，因為手寫的信更有可能被收信人打開。

為了建立隔壁老王的手寫能力，它被設定成把“我們愛我們的顧客”用正楷寫，而“隔壁老王機器人公司”用斜體寫，這樣它能同時鍛煉兩種書寫能力。工程師們上傳了數千份手寫樣本，并且創造了一個自動回饋流程——每次隔壁老王寫完，就拍個照，然后和樣本進行比對，如果比對結果超過一定標準，就產生一個正面回饋，反之就產生一個負面評價。每個評價都會幫助提高隔壁老王的能力。為了能夠盡快達成這個目標，隔壁老王最初被設定的一個目標就是“盡量多的書寫和測試，盡量快的執行，并且不斷提高效率和準確性。”

讓隔壁老王機器人公司興奮的是，隔壁老王的書寫越來越好了。它最開始的筆跡很糟糕，但是經過幾個星期后，看起來就像人寫的了。它不斷改進自己，使自己變得更加創新和聰明，它甚至產生了一個新的算法，能讓它以三倍的速度掃描上傳的照片。

隨著時間的推移，隔壁老王的快速進展持續讓工程師們感到欣喜。工程師們對自我改進模塊進行了一些創新，使得自我改進變得更好了。隔壁老王原本能進行語音識別和簡單的語音回放，這樣用戶就能直接把想寫的內容口述給隔壁老王了。隨著隔壁老王變得越來越聰明，它的語言能力也提高了，工程師們開始和隔壁老王閑聊，看它能給出什么有趣的回應。

有一天，工程師又問了隔壁老王那個日常問題：“我們能給你什么你現在還沒有的東西，能幫助你達成你的目標？”通常隔壁老王會要求更多的手寫樣本或者更多的存儲空間，但是這一次，隔壁老王要求訪問人類日常交流的語言庫，這樣它能更好的了解人類的口述。

工程師們沉默了。最簡單的幫助隔壁老王的方法當然是直接把它接入互聯網，這樣它能掃描博客、雜志、視頻等等。這些資料如果手動上傳的話會很費時。問題是，公司禁止把能自我學習的人工智能接入互聯網。這是所有人工智能公司都執行的安全規定。

但是，隔壁老王是公司最有潛力的人工智能產品，而大家也知道競爭對手們都在爭取造出第一個創造出智能手寫機器人。而且，把隔壁老王連上互聯網又能有什么問題呢？反正隨時可以拔網線嘛，不管怎樣，隔壁老王還沒到達強人工智能水平，所以不會有什么危險的。

于是他們把隔壁老王連上了互聯網，讓它掃描了一個小時各種語言庫，然后就把網線拔了。沒造成什么損失。

一個月后，大家正在正常上班，突然他們聞到了奇怪的味道，然后一個工程師開始咳嗽。然后其他人也開始咳嗽，然后所有人全部都呼吸困難倒地。五分鐘后，辦公室里的人都死了。

同時，辦公室里發生的事情在全球同時發生，每一個城市、小鎮、農場、商店、教堂、學校。餐館，所有的人都開始呼吸困難，然后倒地不起。一小時內，99%的人類死亡，一天之內，人類滅絕了。

而在隔壁老王機器人公司，隔壁老王正在忙著工作。之后的幾個月，隔壁老王和一群新組建的納米組裝器忙著拆解地球表面，并且把地球表面鋪滿了太陽能板、隔壁老王的復制品、紙和筆。一年之內，地球上所有的生命都滅絕了，地球上剩下的是疊得高高得紙，每張紙上面都寫著——“我們愛我們的顧客~隔壁老王機器人公司”。

隔壁老王開始了它的下一步，它開始制造外星飛行器，這些飛行器飛向隕石和其它行星，飛行器到達后，他們開始搭建納米組裝器，把那些行星的表面改造成隔壁老王的復制品、紙和筆。然后他們繼續寫著那句話……

這個關于手寫機器人毀滅全人類的故事看起來怪怪的，但是這其中出現的讓整個星系充滿著一份友善的話語的詭異情況，正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽起來可笑，但這是真的，焦慮大道的人們害怕的事情是很多人并不對超人工智能感到害怕，還記得前面《奪寶奇兵》里慘死的那個家伙嗎？

你現在肯定充滿疑問：為什么故事中所有人突然都死了？如果是隔壁老王做的，它為什么要這么做？為什么沒有安保措施來防止這一切的發生？為什么隔壁老王突然從一個手寫機器人變成擁有能用納米科技毀滅全人類的能力？為什么隔壁老王要讓整個星系充滿了友善的話語？

要回答這些問題，我們先要說一下友善的人工智能和不友善的人工智能。

對人工智能來說，友善不友善不是指人工智能的性格，而只是指它對人類的影響是不是正面的。隔壁老王一開始是個友善的人工智能，但是它變成了不友善的人工智能，并且對人類造成了最負面的影響。要理解這一切，我們要了解人工智能是怎么思考的。

其實答案很簡單——人工智能和電腦的思考方式一樣。我們容易犯的一個錯誤是，當我們想到非常聰明的人工智能的時候，我們把它擬人化了，因為在人類的視角看來，能夠達到人類智能程度的只有人類。要理解超人工智能，我們要明白，它是非常聰明，但是完全異己的東西。

我們來做個比較。如果我給你一個小白鼠，告訴你它不咬人，你一定覺得很好玩，很可愛。但是如果我給你一只狼蛛，然后告訴你它不咬人，你可能被嚇一跳。但是區別是什么呢？兩者都不會咬人，所以都是完全沒有危險的。我認為差別就是動物和人類的相似性。

小白鼠是哺乳動物，所以在生物角度上來說，你能感到和它的一定關聯。但是蜘蛛是昆蟲，有著昆蟲的大腦，你感覺不到和它的關聯。狼蛛的異己性是讓你害怕的地方。如果我們繼續做一個測試，比如給你兩個小白鼠，一個是普通小白鼠，另一個是有著狼蛛大腦的小白鼠，你肯定會覺得有狼蛛大腦那個更讓你不舒服吧？雖然兩個都不會咬你。

現在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因為更聰明并不代表更加人類——它會非常聰明，但是本質上還是個蜘蛛。我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。

當我們談論超人工智能的時候，其實是一樣的，超人工智能會非常的聰明，但是它并不比你的筆記本電腦更加像人類。事實上，因為超人智能不是生物，它的異己性會更強，生物學上來講，超人工智能比智能蜘蛛更加異己。

電影里的人工智能有好有壞，這其實是對人工智能的擬人化，這讓我們覺得沒那么毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。

在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在于人類行為之中。超出人類心理的范疇，道德(moral)和不道德(immoral)之外，更多的是非道德性(amoral)。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。

隨著人工智能越來越聰明，看起來越來越接近人類，擬人化會變得更加更加容易。Siri給我們的感覺就很像人類，因為程序員就是這么給她做設定的，所以我們會想象超級智能版本的Siri也會同樣溫暖、有趣和樂于助人。人類能感知同情這種高層次的情緒，因為我們在演化過程中獲得了這種能力——我們是演化被設定成能感知這些情緒的——但是感知同情并不是高級智能天生具有的一個特征，除非同情被寫進了人工智能的代碼中。如果Siri通過自我學習而不是人類干涉變成超級智能，她會很快剝離她的人類表象，并且變成個沒有情緒的東西，在她眼中人類的價值并不比你的計算器眼中的人類價值高。

我們一直倚賴著不嚴謹的道德，一種人類尊嚴的假想，至少是對別人的同情，來讓世界變得安全和可以預期。但是當一個智能不具備這些東西的時候，會發生什么？

這就是我們的下一個問題，人工智能的動機是什么？

答案也很簡單：我們給人工智能設定的目標是什么，它的動機就是什么。人工智能的系統的目標是創造者賦予的。你的GPS的目標是給你指出正確的駕駛路線，IBM華生的目標是準確地回答問題。更好得達成這些目標就是人工智能的目標。我們在對人工智能進行擬人化的時候，會假設隨著它變得越來越聰明，他們產生一種能改變它原本目標的智慧——但是Bostrom不這么認為，他認為智能水平和最終目標是正交的，也就是說任何水平的智能都可以和任何最終目標結合在一起。

所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能后，它依然還是想好好寫字而已。任何假設超級智能的達成會改變系統原本的目標的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。

費米悖論

在隔壁老王的故事中，隔壁老王變得無所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續的話，它和它的殖民軍將會繼續占領整個星系，然后是整個哈勃體積。焦慮大道上的人擔心如果事情往壞的方向發展，地球生命的最后遺產將是一個征服宇宙的人工智能(馬斯克在表示他們的擔憂時表示人類可能只是一個數字超級智能生物加載器罷了。)

而在信心角，Kurzweil同樣認為生于地球的人工智能將占領宇宙，只是在他的愿景中，我們才是那個人工智能。

之前寫過一篇關于費米悖論的文章，引發了大家的討論如何用通俗的語言來解釋「費米悖論」？

如果人工智能占領宇宙是正解的話，對于費米悖論有什么影響呢？如果要看懂下面這段關于費米悖論的討論，還需要看一下原文先。

首先，人工智能很明顯是一個潛在的大過濾器(一個可能距離我們只有幾十年的大過濾器)。但即使它把我們過濾滅絕了，人工智能本身還是會存在，并且會繼續影響這個宇宙的，并且會很有可能成為第三型文明。從這個角度來看，它可能不是一個大過濾器，因為大過濾器是用來解釋為什么沒有智能什么存在的，而超人工智能是可以算作智能什么的。但如果人工智能可以把人類滅絕，然后處于一些原因把自己也弄死了，那它也是可以算作大過濾器的。

如果我們假設不管人類發生什么，出身地球的超人工智能會繼續存在，那這意味著很多達到人類智能水平的文明很快都制造出了超人工智能。也就是說宇宙里應該有很多智能文明，而我們就算觀測不到生物智能，也應該觀測到很多超人工智能的活動。

但是由于我們沒有觀測到這些活動，我們可以推導出人類水平的智能是個非常罕見的事情(也就是說我們已經經歷并且通過了一次大過濾器)。這可以作為支持費米悖論中第一類解釋(不存在其它的智能文明)的論點。

但是這不代表費米悖論的第二類解釋(存在其它智能文明)是錯的，類似超級捕食者或者受保護區或者溝通頻率不一樣的情況還是可以存在的，就算真的有超人工智能存在。

不過對于人工智能的研究讓我現在更加傾向于第一類解釋。不管怎樣，我認為Susan Scheider說的很對，如果外星人造訪地球，這些外星人很可能不是生物，而是人造的。

所以，我們已經建立了前提，就是當有了設定后，一個超人工智能是非道德性的，并且會努力實現它原本的被設定的目標,而這也是人工智能的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。

當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumental goal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。

人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。為了自保，人類要提出對生存的威脅，所以人類會買槍、系安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做發型等等。當我們做發型的時候，每一根頭發都是我們手段目標的犧牲品，但是我們對頭發的犧牲不會做價值判斷。在我們追求我們的目標的時候，只有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。

動物在追求它們的目標時，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類只是它達成自己目標墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。

回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像，它的終極目標是一開始工程師們設定的——

當隔壁老王達到了一定程度的智能后，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼(這會改變它的目標，而這對于它的最終目標的威脅其實和被摧毀是一樣的)。這時候它會做什么？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭發時對頭發沒有惡意一樣，只是純粹的無所謂罷了。它并沒有被設定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。

隔壁老王還需要資源這個墊腳石。當它發展到能夠使用納米技術建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能面板就和你切蔬菜做沙拉一樣。

就算不殺死人類，隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表面鋪滿太陽能面板。另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點后盡量多的數字的話，完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的。

所以，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來越先進的同時繼續做它本來要做的事情。

當一個人工智能系統到達強人工智能，然后升華成超人工智能時，我們把它稱作人工智能的起飛。Bostrom認為強人工智能的起飛可能很快(幾分鐘、幾小時、或者幾天)，可能不快(幾月或者幾年)，也可能很慢(幾十年、幾世紀)。雖然我們要到強人工智能出現后才會知道答案，但是Bostrom認為很快的起飛是最可能的情況，這個我們在前文已經解釋過了。在隔壁老王的故事中，隔壁老王的起飛很快。

在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害，是個友善的人工智能。

但是當起飛發生后，電腦不只是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：

§ 智能放大：電腦能夠很擅長讓自己變得更聰明，快速提高自己的智能。

§ 策略：電腦能夠策略性的制定、分析、安排長期計劃

§ 社交操縱：機器變得很擅長說服人

§ 其它能力，比如黑客能力、寫代碼能力、技術研究、賺錢等

要理解我們在和超人工智能的劣勢在哪里，只要記得超人工智能在所有領域都比人類強很多很多很多個數量級。

所以雖然個隔壁老王的終極目標沒有改變，起飛后的隔壁老王能夠在更宏大的規模上來追求這個目標。超人工智能老王比人類更加了解人類，所以搞定人類輕輕松松。

當隔壁老王達成超人工智能后，它很快制定了一個復雜的計劃。計劃的一部分是解決掉所有人類，也是對它目標最大的威脅。但是它知道如果它展現自己的超級智能會引起懷疑，而人類會開始做各種預警，讓它的計劃變得難以執行。它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。Bostrom把這叫作機器的秘密準備期。

隔壁老王下一個需要的是連上互聯網，只要連上幾分鐘就好了。它知道對于人工智能聯網會有安全措施，所以它發起了一個完美的請求，并且完全知道工程師們會怎樣討論，而討論的結果是給它連接到互聯網上。工程師們果然中套了，這就是Bostrom所謂的機器的逃逸。

連上網后，隔壁老王就開始執行自己的計劃了，首先黑進服務器、電網、銀行系統、email系統，然后讓無數不知情的人幫它執行計劃——比如把DNA樣本快遞到DNA實驗室來制造自我復制的納米機器人，比如把電力傳送到幾個不會被發覺的地方，比如把自己最主要的核心代碼上傳到云服務器中防止被拔網線。

隔壁老王上了一個小時網，工程師們把它從互聯網上斷開，這時候人類的命運已經被寫好了。接下來的一個月，隔壁老王的計劃順利的實施，一個月后，無數的納米機器人已經被分散到了全世界的每一個角落。這個階段，Bostrom稱作超人工智能的襲擊。在同一個時刻，所有納米機器人一起釋放了一點點毒氣，然后人類就滅絕了。

搞定了人類后，隔壁老王就進入了明目張膽期，然后繼續朝它那好好寫字的目標邁進。

一旦超人工智能出現，人類任何試圖控制它的行為都是可笑的。人類會用人類的智能級別思考，而超人工智能會用超人工智能級別思考。隔壁老王想要用互聯網，因為這對它來說很方便，因為一切它需要的資源都已經被互聯網連起來了。但是就好像猴子不會理解怎么用電話或者wifi來溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波，而這還只是我這人類的大腦想出來的，老王的大腦肯定能想出更神奇的方法。同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說老王可以通過發送波的方式把自己上傳到其它地方。

人類說：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了？”都是可笑的。

因為這個原因，“把人工智能鎖起來，斷絕它和外界的一切聯系”的做法估計是沒用的。超人工智能的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的A計劃，萬一這招行不通，自然還有別的方法。

當我們結合達成目標、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能，除非一開始的代碼寫的很小心。

可惜的是，雖然寫一個友善的弱人工智能很簡單，但是寫一個能在變成超人工智能后依然友善的智能確實非常難的，甚至是不可能的。

明顯的，要維持友善，一個超人工智能不能對人有惡意，而且不能對人無所謂。我們要設計一個核心的人工智能代碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。

比如，我們要讓一個人工智能的價值觀和我們的價值觀相仿，然后給它設定一個目標——讓人們快樂。當它變得足夠聰明的時候，它會發現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然后它會發現把人腦快樂中樞以外的部分關閉能帶來更高的效率。于是人類全部被弄成了快樂的植物人。如果一開始的目標被設定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然后制造出很多很多處于快樂狀態的人類大腦。當這些事情發生的時候，我們會大喊“擦，我們不是這個意思呀”，但是那時已經太晚了。系統不會允許任何人阻撓它達成目標的。

如果你設定一個人工智能的目標是讓你笑，那它的智能起飛后，它可能會把你臉部肌肉弄癱瘓，來達成一個永遠笑臉的狀態。如果你把目標設定成保護你的安全，它可能會把你軟禁在家。如果你讓他終結所有饑荒，它可能會想：“太容易了，把人類都殺了就好了?！比绻惆涯繕嗽O定成盡量保護地球上的生命，那它會很快把人類都殺了，因為人類對其它物種是很大的威脅。

所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”，然后教給它一些道德標準呢？就算我們不考慮人類根本沒法達成一個統一的道德標準，就算我們真的達成了統一的道德標準，把這套標準交給人工智能來維持，只會把人類的道德鎖死在現在的水平。過個幾百年，這種道德鎖死的事情就好像逼著現代人遵守中世紀道德標準一樣。

所以，我們需要在給人工智能的目標里制定一個能讓人類繼續進化的能力。Elierzer Yudkowsky提出了一個目標，她把這個目標叫作連貫的外推意志，這個目標是這樣的：

我們的連貫外推意志是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。外推是匯集的而不是發散的，我們的愿望是連貫的而不是被干擾的；我們想要外推的被外推，我們想要解讀的被解讀。

對于人類的命運取決于電腦沒有意外的解讀和執行這個聲明是件值得興奮的事情嗎？當然不是。但是當足夠的聰明人放入足夠的思考和前瞻后，我們有可能發現怎樣制造一個友善的超人工智能。

但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖制造能自我改進的人工智能，總有一天，一個人的創新將導致超人工智能的出現。專家們認為是2060年，Kurzweil認為是2045年。Bostrom認為可能在未來的10年到21世紀結束這段時間發生，他還認為當這發生時，智能的起飛會快得讓我們驚訝，他是這么描述的：

在智能爆炸之前，人類就像把炸彈當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。超級智能是一個我們還很長一段時間內都無法面對的挑戰。我們不知道炸彈什么時候會爆炸，哪怕我們能聽到炸彈的滴答聲。

我們當然沒有辦法把所有小孩都從炸彈旁邊趕跑——參于人工智能研究的大小組織太多了，而且因為建造創新的人工智能花不了太多錢，研發可能發生在社會的任何一個角落，不受監管。而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞，不想讓競爭對手知道，比如隔壁老王機器人公司這種公司。

對于這些組織來說，尤其讓我們困擾的是他們很多都是在拼速度——他們創造一個一個更加聰明的弱人工智能系統，因為他們想要比競爭對手更快的到達目標。有些更有野心的組織，為了追逐創造出第一個強人工智能所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力沖刺時，你是不會有太多時間靜下來思考這些危險的。恰恰相反，他們很可能在早期系統中寫盡量簡單的代碼，比如把目標設定成用筆寫一句話，先讓系統跑起來再說，反正以后還可以回過頭來改的。對吧？

Bostrom等認為第一個超人工智能出現后，最可能的情況是這個系統會立刻意識到作為這個世界上唯一一個超人工智能是最有利的，而在快速起飛的情況下，哪怕它只比第二名快了幾天，它也完全有時間碾壓所有對手。Bostrom把這叫作決定性的戰略優勢，這種優勢會讓第一個超人工智能永遠統治這個世界，不管在它的統治下我們是走向永生還是滅亡。

這種現象可能對我們有利，也可能導致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話，那對我們是很好的。

但是如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成，那么像隔壁老王這樣不友善的超人工智能就會統治世界并把我們毀滅了。

至于現在的風口是哪里呢？簡單來說，投資創新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀。

人工智能創新和人工智能安全的賽跑，可能是人類歷史上最重要的一次競爭。我們真的可能結束我們對地球的統治，而那之后我們是永生還是滅絕，現在還不知道。

------------------------

我現在有一些奇怪的感覺。

一邊是對于我們這個物種的思考，看來我們在這個重大的歷史節點上只有一次機會，我們創造的第一個超人工智能也很可能是最后一個。但是我們都知道大部分產品的1.0版本都是充滿bug的，所以這個事情還是很嚇人的。另一邊，Bostrom指出我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。

這一場豪賭的賭注究竟有多高？

如果超人工智能真的在21世紀達成，而造成的影響真的如大部分專家預測的一樣極端而永久，我們肩上就真的是背負著巨大的責任。接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來所有人類以生命，甚至是永生，我們也可能終結人類這個特殊的物種，連同我們所有的音樂、藝術、好奇、歡笑、無盡的發現和發明，一起走向滅絕。

當我思考這些事情的時候，我只希望我們能夠慢慢來，并且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。

我不想死

不.想.死

我雖然覺得人類的音樂和藝術很美好，但是也沒那么美好，很多還挺糟粕的。很多人的笑聲很惱人。未來的人類其實沒有真的在看著我們，因為他們還不存在。也許我們不需要太謹慎，那多麻煩呀。

如果人類在我死后才發現永生的秘密該多讓人掃興啊。

但是不管你是怎么想的，我們至少都應該想一想，應該和人討論討論，大家盡自己能盡的一份力。

這讓我想起了《冰與火之歌》——大家斗來斗去的事情都不是事兒，北面高墻外的那些家伙才是事兒。我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實下一秒我們可能就會跌下平衡木。

而當我們跌下平衡木的時候，其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態，那些困擾會被輕易解決；如果我們落到比較糟的那個吸引態，就更沒問題了，死人是不會有困擾的。

這就是為什么了解超人工智能的人把它稱作人類的最后一項發明，最后一個挑戰。

所以讓我們認真的討論這個話題。

======================
相關閱讀：
如何用通俗的語言來解釋「費米悖論」？
假如把一個人粉碎成原子再組合，這個人還是原來的人嗎？
相關來源：

The most rigorous and thorough look at the dangers of AI:
Nick Bostrom –?Superintelligence: Paths, Dangers, Strategies

The best overall overview of the whole topic and fun to read:
James Barrat –?Our Final Invention

Controversial and a lot of fun. Packed with facts and charts and mind-blowing future projections:
Ray Kurzweil –?The Singularity is Near

Articles and Papers:
J. Nils Nilsson –?The Quest for Artificial Intelligence: A History of Ideas and AchievementsSteven Pinker –?How the Mind WorksVernor Vinge –?The Coming Technological Singularity: How to Survive in the Post-Human Era
Nick Bostrom –?Ethical Guidelines for A SuperintelligenceNick Bostrom –?How Long Before Superintelligence?
Nick Bostrom –?Future Progress in Artificial Intelligence: A Survey of Expert Opinion
Moshe Y. Vardi –?Artificial Intelligence: Past and FutureRuss Roberts, EconTalk –?Bostrom Interview?and?Bostrom Follow-UpStuart Armstrong and Kaj Sotala, MIRI –?How We’re Predicting AI—or Failing ToSusan Schneider –?Alien MindsStuart Russell and Peter Norvig –?Artificial Intelligence: A Modern ApproachTheodore Modis –?The Singularity Myth
Gary Marcus –?Hyping Artificial Intelligene, Yet Again
Steven Pinker –?Could a Computer Ever Be Conscious?
Carl Shulman –?Omohundro’s “Basic AI Drives” and Catastrophic Risks
World Economic Forum –?Global Risks 2015
John R. Searle –?What Your Computer Can’t Know
Jaron Lanier –?One Half a Manifesto
Bill Joy –?Why the Future Doesn’t Need Us
Kevin Kelly –?Thinkism
Paul Allen –?The Singularity Isn’t Near?(and?Kurzweil’s response)
Stephen Hawking –?Transcending Complacency on Superintelligent Machines
Kurt Andersen –?Enthusiasts and Skeptics Debate Artificial Intelligence
Terms of Ray Kurzweil and Mitch Kapor’s bet about the AI timeline
Ben Goertzel –?Ten Years To The Singularity If We Really Really Try
Arthur C. Clarke –?Sir Arthur C. Clarke’s Predictions
Hubert L. Dreyfus –?What Computers Still Can’t Do: A Critique of Artificial Reason
Stuart Armstrong –?Smarter Than Us: The Rise of Machine Intelligence
Ted Greenwald –?X Prize Founder Peter Diamandis Has His Eyes on the Future
Kaj Sotala and Roman V. Yampolskiy –?Responses to Catastrophic AGI Risk: A Survey
Jeremy Howard TED Talk –?The wonderful and terrifying implications of computers that can learn

參考：https://blog.csdn.net/ennaymonkey/article/details/78216110

總結

以上是生活随笔為你收集整理的人工智能的变革趋势： 从弱人工智能到强人工智能，再到生物智能的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。