作者簡(jiǎn)介

王慶法，數(shù)據(jù)領(lǐng)域?qū)＜?#xff0c;首席數(shù)據(jù)官聯(lián)盟專(zhuān)家組成員，曾就職于IBM、微軟等知名企業(yè)的研發(fā)部門(mén)17年，在傳統(tǒng)企業(yè)數(shù)據(jù)、大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)以及云計(jì)算等領(lǐng)域積累了豐富的軟件開(kāi)發(fā)、架構(gòu)設(shè)計(jì)、技術(shù)管理、產(chǎn)品創(chuàng)新以及孵化落地的經(jīng)驗(yàn)。

一個(gè)人之所以有信仰，是因?yàn)樗幌茨X了（One believes things because one has been conditioned to believe them）

--? 阿道司·赫胥黎

?

?基因編輯?

赫胥黎眼中的未來(lái)，人類(lèi)實(shí)現(xiàn)了差異被認(rèn)同，工作無(wú)疲憊，幸福觸手可及的《美麗新世界》。在那里，基因培育消除了人的差異，僅為不同階層與工種設(shè)計(jì)了少許的多樣性。一切都是一勞永逸，你不再需要“對(duì)家眷戀、對(duì)愛(ài)忠誠(chéng)、對(duì)死恐懼、對(duì)生命敬畏，對(duì)不如己意的一切抱有懷疑，對(duì)難測(cè)不定的命運(yùn)痛苦感傷”。

?

?

這或許是人類(lèi)社會(huì)的終極的烏托邦形態(tài)。人類(lèi)已經(jīng)無(wú)限接近掌握基因編輯與培育的技術(shù)，上個(gè)月名為露露和娜娜的基因編輯女?huà)氲慕】党錾?#xff0c;嘩然全球。親代與子代間由DNA雙螺旋所纏結(jié)起來(lái)的傳承，與自然賦予的形形色色的變異可以被掌控了嗎？數(shù)十億年“物競(jìng)天擇”的終極在哪里，人類(lèi)掌控下的遺傳變異是否能夠選擇出超級(jí)賽亞人？ 什么才是未來(lái)可以“生存”的“適者”？赫胥黎在焦慮，社會(huì)在焦慮，孩子的家長(zhǎng)也在焦慮。

?

托馬斯.赫胥黎把進(jìn)化與遺傳的整合稱(chēng)為綜合進(jìn)化，種群中不同個(gè)體得到不同的遺傳材料，同時(shí)在繁育能力上表現(xiàn)出差異。變異發(fā)生在代際，驅(qū)動(dòng)因素來(lái)自遺傳物質(zhì)重組、突變、流動(dòng)、漂變，為自然選擇提供可能。變異表現(xiàn)出明顯的隨機(jī)性，無(wú)既定方向，由環(huán)境適應(yīng)度（Fitness）決定。選擇的是個(gè)體，進(jìn)化的是種群。這一點(diǎn)或許可以解釋為啥學(xué)霸父母可能生出學(xué)渣娃，而下一代情商智商整體看來(lái)都優(yōu)于雙親一代。人工基因編輯帶來(lái)的社會(huì)焦慮，源于這些新基因有沒(méi)有機(jī)會(huì)發(fā)生漂變，從而影響人類(lèi)的整體基因庫(kù)。

?

?

?神經(jīng)進(jìn)化?

一石激起千層浪，圍繞生物學(xué)意義上的基因編輯、遺傳掌控的爭(zhēng)議仍在繼續(xù)，而模擬生物進(jìn)化自然選擇與遺傳機(jī)制的計(jì)算模型--神經(jīng)進(jìn)化（ Neuro Evolution ），卻開(kāi)始展現(xiàn)出強(qiáng)大的潛能，強(qiáng)大到可能主宰當(dāng)下流行的深度學(xué)習(xí)與人工智能的未來(lái)發(fā)展方向。未來(lái)已來(lái)，將至已至，只是分布不均。

?

“神經(jīng)進(jìn)化是人工智能和機(jī)器學(xué)習(xí)的一個(gè)分支，通過(guò)在計(jì)算機(jī)中激發(fā)一個(gè)類(lèi)似人類(lèi)大腦進(jìn)化的過(guò)程，找到進(jìn)化人工神經(jīng)網(wǎng)絡(luò)（ANN）的途徑。”Kenneth Stanley 教授2017年在《神經(jīng)進(jìn)化：一種不同的深度學(xué)習(xí) (Neuroevolution: Adifferent kind of deep learning)》演講中如是說(shuō)。神經(jīng)進(jìn)化就是用進(jìn)化算法生成神經(jīng)網(wǎng)絡(luò)，探索優(yōu)化網(wǎng)絡(luò)的架構(gòu)、參數(shù)、拓?fù)湟约耙?guī)則，為困擾ANN的局部最優(yōu)、梯度依賴(lài)、規(guī)模并行、架構(gòu)自動(dòng)化等問(wèn)題，找到有效的解決方法。

?

在喜歡畫(huà)個(gè)圈把自己圈住，然后定義自己在圈外的數(shù)學(xué)家看來(lái)，問(wèn)題是這樣的：給定黑盒場(chǎng)景，在連續(xù)空間里最大化適應(yīng)度函數(shù) F（Fitness function）。這與大部分的現(xiàn)代神經(jīng)網(wǎng)絡(luò)利用香農(nóng)的信息熵構(gòu)建的深度學(xué)習(xí)損失函數(shù)，看起來(lái)大不同。F 可以是非線(xiàn)性、非凸、多模、非平滑，甚至不連續(xù)、病態(tài)、有噪音的，因而 F 很可能存在多個(gè)局部最優(yōu)，不可求導(dǎo)，這些都是依賴(lài)梯度下降后向傳播的神經(jīng)網(wǎng)絡(luò)模型參數(shù)優(yōu)化的禁區(qū)。

?

?

對(duì)的，他可能長(zhǎng)成這樣：

?

?

?進(jìn)化策略?

ANN 神經(jīng)進(jìn)化的思想很簡(jiǎn)單：讓ANN 繁衍后代，這是生物遺傳進(jìn)化的核心。首先產(chǎn)生一個(gè)隨機(jī)的ANN種群，為每個(gè)ANN個(gè)體初始化一個(gè)參數(shù) θ，θ隨機(jī)分布，θ就是ANN的基因；接著根據(jù)實(shí)際場(chǎng)景，定義一個(gè)適應(yīng)度(Fitness)，這一步至關(guān)重要，例如你在訓(xùn)練ANN來(lái)控制游戲中的角色，你需要知道這些ANN在操控游戲角色時(shí)的表現(xiàn)如何，并且可以打個(gè)適應(yīng)度的分；然后讓這些ANN個(gè)體一個(gè)個(gè)來(lái)操控游戲角色，并且打適應(yīng)度分，不必?fù)?dān)心他們的拙劣表現(xiàn)，只管給他們的適應(yīng)度評(píng)分排排隊(duì)，選出其中表現(xiàn)稍好一點(diǎn)點(diǎn)的作為新一代的ANN父母；通過(guò)相應(yīng)的進(jìn)化策略（Evolution Strategy）修改這些新一代的ANN的基因θ，類(lèi)似自然界中的“重組、突變、流動(dòng)、漂變”，產(chǎn)生他們的后代；然后讓這批新的后代操控游戲角色，并做適應(yīng)度打分，周而復(fù)始，直到你滿(mǎn)意。

?

?

生物學(xué)家說(shuō)，這不是什么遺傳進(jìn)化，這太抽象、太簡(jiǎn)化，遠(yuǎn)遠(yuǎn)不能模擬自然界的生物種群繁衍，腦科學(xué)家當(dāng)初也是這么評(píng)價(jià)人工神經(jīng)網(wǎng)絡(luò)的。數(shù)學(xué)家說(shuō)，這不過(guò)是一個(gè)用途更廣泛的優(yōu)化過(guò)程，不吹不黑。進(jìn)化策略與遺傳算法都是典型的神經(jīng)進(jìn)化算法，不同于遺傳算法的二進(jìn)制基因表達(dá)，進(jìn)化策略用實(shí)數(shù)值描述基因，按既定要求生成一定數(shù)量的候選個(gè)體，通常從一個(gè)概率分布中抽樣而來(lái)，分布函數(shù)的參數(shù)在下一代的繁衍時(shí)被更新，過(guò)程可以描述為：

?

初始化隨機(jī)參數(shù)分布θ，設(shè)定種群大小為λ，如果沒(méi)有結(jié)束，就重復(fù)下面的步驟：

1.? ? ? ?分布采樣

2.?????? 適應(yīng)度評(píng)分

3.?????? 更新參數(shù)

?

簡(jiǎn)單的進(jìn)化策略，可以直接從一個(gè)均值為 m、標(biāo)準(zhǔn)差為σ 的正態(tài)分布中抽樣, 以C為協(xié)方差矩陣，可以表示為 :

又見(jiàn)正態(tài)分布，為什么數(shù)學(xué)家們?nèi)绱绥娗橛谒?#xff1f;赫胥黎說(shuō)，如果你與眾不同，你就一定會(huì)孤獨(dú)。數(shù)學(xué)家們是每一代遺傳進(jìn)化智商方向的優(yōu)勢(shì)種群，因而其對(duì)正態(tài)分布在自然界中無(wú)時(shí)不有又無(wú)處不在的事實(shí)，以及正態(tài)分布遵循自然規(guī)律最大熵分布的物理意義，都有深刻理解。請(qǐng)參考本人《薛定諤的佛與深度學(xué)習(xí)中的因果》一文。

?

?CMA-ES?

簡(jiǎn)單的進(jìn)化策略，標(biāo)準(zhǔn)差參數(shù)固定，僅適用于一些簡(jiǎn)單的場(chǎng)景，很容易陷入局部最優(yōu)的陷阱。一念天堂，Nikolaus Hansen教授靈光一閃，協(xié)方差矩陣自適應(yīng)進(jìn)化策略（Covariance-Matrix Adaptation Evolution Strategy，CMA-ES）應(yīng)運(yùn)而生，這是數(shù)學(xué)界“基因突變”的實(shí)例之一。

?

Hansen教授引入了修正簡(jiǎn)單進(jìn)化策略中的協(xié)方差矩陣C的方法，計(jì)算整個(gè)參數(shù)空間中的協(xié)方差矩陣，自適應(yīng)的調(diào)整參數(shù)m與 σ；復(fù)用每一代的優(yōu)選結(jié)果，自適應(yīng)的調(diào)整下一代的可搜索空間。自適應(yīng)遵循了逼近預(yù)期的適應(yīng)度函數(shù)的自然梯度，并且提升了優(yōu)選代的似然（Likelihood）。這讓 CMA-ES 算法成為最流行的無(wú)梯度依賴(lài)的優(yōu)化算法之一。

??

算法中的yw部分很有趣，協(xié)方差矩陣C的特征向量事實(shí)上是參數(shù)基因突變橢球體的主軸，具備旋轉(zhuǎn)不變性，這等同于對(duì)yw做了主成分分析（Principal Component Analysis, PCA)。我在《迷人的數(shù)據(jù)與香農(nóng)的視角》中解釋的矩陣的奇異值分解 UEV' ，讀者還有印象嗎？

?

?

?美麗新世界?

2017年被認(rèn)為是神經(jīng)進(jìn)化復(fù)興的元年，OpenAI 與 Uber都發(fā)布了進(jìn)化策略的研究進(jìn)展，這些研究表明進(jìn)化策略不僅在監(jiān)督學(xué)習(xí)中取得了良好效果，在強(qiáng)化學(xué)習(xí)中也表現(xiàn)卓越，某些領(lǐng)域中可媲美最先進(jìn)水平，甚至有所超越。早在2013年進(jìn)化算法就在Pong、Breakout和Space invader等街機(jī)游戲中完勝人類(lèi)，彰顯無(wú)限潛力。谷歌大腦也發(fā)布了進(jìn)化深度網(wǎng)絡(luò)架構(gòu)的大規(guī)模試驗(yàn)，MIT、約翰霍普金斯，卡耐基梅隆等高校均已開(kāi)始聚焦。ANN的美麗新世界要到來(lái)了嗎？

?

可是赫胥黎還在焦慮，他焦慮“物競(jìng)天擇”的進(jìn)化策略的終極目的地是何方；社會(huì)還在焦慮，他們焦慮有違社會(huì)倫理的瘋狂科學(xué)家，給早已習(xí)以為常的“適者生存”的人類(lèi)進(jìn)化帶來(lái)的新型的潛在的社會(huì)不公；家長(zhǎng)們還在焦慮，她們焦慮人類(lèi)社會(huì)進(jìn)化的適應(yīng)度（Fitness）函數(shù)唯一地變成了奧數(shù)成績(jī)，“但我不要舒適。我要神，我要詩(shī)，我要真實(shí)的危險(xiǎn)，我要自由，我要善良，我要罪孽”，這些其實(shí)都可以不要，我只要奧數(shù)成績(jī)。許多培訓(xùn)機(jī)構(gòu)還在不斷助長(zhǎng)這種焦慮。

?

“在病態(tài)社會(huì)中，精神病人才是真正健康的人”，“人們感到痛苦的不是他們用笑聲取代了思考，而是他們不知道自己為什么笑以及為什么不再思考”，“我們常常抱怨這個(gè)社會(huì)的不公平，而家長(zhǎng)們常常就會(huì)說(shuō)這個(gè)社會(huì)就是這樣，你必須要去適應(yīng)。很多東西我們選擇逃避，很多東西我們卻選擇冒險(xiǎn)”。“緩慢地，非常緩慢地，像慢條斯理的圓規(guī)的腳，那兩條腿向右邊轉(zhuǎn)了過(guò)來(lái)，向北，東北，東南，南，西南轉(zhuǎn)了過(guò)去，停住，懸了一會(huì)兒，又同樣緩慢地向左邊轉(zhuǎn)了回去，西南，南，東南，東……”。

?

參考資料：

·https://blog.openai.com/evolution-strategies/?

·https://eng.uber.com/deep-neuroevolution/

·https://www.oreilly.com/ideas/neuroevolution-a-different-kind-of-deep-learning

·http://www.lorentzcenter.nl/lc/web/2008/305/presentations/Hansen.pdf

·https://arxiv.org/abs/1703.03864

·http://blog.otoro.net/2017/10/29/visual-evolution-strategies/

·http://jmlr.org/papers/volume15/wierstra14a/wierstra14a.pdf

·http://www.wenzhangba.com/duhougan/201804/269708.html

·https://www.juzimi.com/article/22470

END

∑編輯?|?Gemini

整理 ：?算數(shù)君

更多精彩：

? ?哈爾莫斯：怎樣做數(shù)學(xué)研究

? ?扎克伯格2017年哈佛大學(xué)畢業(yè)演講

? ?線(xiàn)性代數(shù)在組合數(shù)學(xué)中的應(yīng)用

? ?你見(jiàn)過(guò)真的菲利普曲線(xiàn)嗎？

? ?支持向量機(jī)(SVM)的故事是這樣子的

? ?深度神經(jīng)網(wǎng)絡(luò)中的數(shù)學(xué)，對(duì)你來(lái)說(shuō)會(huì)不會(huì)太難？

? ?編程需要知道多少數(shù)學(xué)知識(shí)？

? ?陳省身——什么是幾何學(xué)

? ?模式識(shí)別研究的回顧與展望

? ?曲面論

? ?自然底數(shù)e的意義是什么？

? ?如何向5歲小孩解釋什么是支持向量機(jī)（SVM）？

? ?華裔天才數(shù)學(xué)家陶哲軒自述

? ?代數(shù)，分析，幾何與拓?fù)?#xff0c;現(xiàn)代數(shù)學(xué)的三大方法論

算法數(shù)學(xué)之美微信公眾號(hào)歡迎賜稿

稿件涉及數(shù)學(xué)、物理、算法、計(jì)算機(jī)、編程等相關(guān)領(lǐng)域，經(jīng)采用我們將奉上稿酬。

投稿郵箱：math_alg@163.com

總結(jié)

以上是生活随笔為你收集整理的赫胥黎的焦虑与美丽新世界的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。