轉(zhuǎn)載自：神經(jīng)現(xiàn)實(shí)

人生無時(shí)無刻不在做選擇，尤其是當(dāng)面臨兩難抉擇時(shí)，該怎么快速做出決定呢？腦又是如何幫助完成兩難抉擇的呢？計(jì)算機(jī)能否在兩難困境下做出清晰的判斷呢？

中國科學(xué)院自動(dòng)化研究所類腦智能研究中心曾毅團(tuán)隊(duì)充分借鑒果蠅腦自主決策的神經(jīng)機(jī)制，提出了類果蠅決策的脈沖神經(jīng)網(wǎng)絡(luò)模型，模型能夠?qū)崿F(xiàn)趨利避害的行為，并在兩難抉擇下快速做出清晰的選擇。在無人機(jī)強(qiáng)化學(xué)習(xí)、反轉(zhuǎn)學(xué)習(xí)和多難決策的任務(wù)上均得到了有效地驗(yàn)證。

相關(guān)研究工作高度融合神經(jīng)科學(xué)發(fā)現(xiàn)與計(jì)算建模，為發(fā)展新一代類腦自主決策的人工智能模型提供創(chuàng)新源泉。

這項(xiàng)工作是課題組與神經(jīng)科學(xué)研究所郭愛克院士團(tuán)隊(duì)合作完成的研究成果，相關(guān)工作發(fā)表在Nature旗下期刊Scientific Reports上。

果蠅進(jìn)行抉擇存在線性抉擇和非線性抉擇兩大通路。在面臨抉擇任務(wù)時(shí)，果蠅會(huì)自適應(yīng)地選擇合適的通路進(jìn)行不同復(fù)雜度的抉擇。

中國科學(xué)院神經(jīng)科學(xué)研究所郭愛克院士長年關(guān)注并探索果蠅抉擇的神經(jīng)機(jī)制。在以往研究(Tang, Guo, Science, 2001)中，郭愛克院士研究團(tuán)隊(duì)在視覺飛行模擬器上研究果蠅在面臨兩難困境時(shí)的抉擇行為及神經(jīng)機(jī)制。

首先讓果蠅學(xué)會(huì)喜歡綠色正T的圖案，而藍(lán)色倒T的圖案伴隨熱刺激懲罰。在抉擇階段，轉(zhuǎn)換了懲罰與視覺線索的搭配，讓果蠅在綠色倒T和藍(lán)色正T之間進(jìn)行選擇，以此測(cè)試果蠅在沖突視覺線索下的兩難抉擇行為。

實(shí)驗(yàn)發(fā)現(xiàn)，在不同的顏色強(qiáng)度下，通過統(tǒng)計(jì)果蠅在飛行過程中停靠在每個(gè)圖案面前的時(shí)間分布，來了解果蠅連續(xù)的抉擇行為，最終會(huì)得到一條呈“S”型的抉擇曲線。

通過單細(xì)胞測(cè)序發(fā)現(xiàn)支持兩難抉擇下非線性曲線的神經(jīng)機(jī)制是由多巴胺能神經(jīng)元- GABA能神經(jīng)元-蘑菇體（Dopaminergic neuron - GABAergic neuron -Mushroom Body, DA-GABA-MB）環(huán)路負(fù)責(zé)的“增益-門控”抉擇機(jī)制，這是一條基于價(jià)值的非線性抉擇通路。而蘑菇體受損的果蠅只能執(zhí)行簡單的感知抉擇，得到線性的抉擇曲線。

本次文章的第一作者趙菲菲助理研究員介紹：

基于果蠅簡單感知抉擇（線性通路）和價(jià)值抉擇（非線性通路）的神經(jīng)機(jī)制，我們使用脈沖神經(jīng)網(wǎng)絡(luò)來構(gòu)建多腦區(qū)協(xié)同的抉擇模型，訓(xùn)練階段采用多巴胺長時(shí)程調(diào)控和局部突觸可塑性機(jī)制融合的網(wǎng)絡(luò)學(xué)習(xí)過程，測(cè)試階段根據(jù)任務(wù)需求來決定通路的選擇并輸出偏好的行為。

線性通路建模了中央復(fù)合體的記憶功能來做出快速的抉擇。非線性通路模擬了DA-GABA-MB環(huán)路實(shí)現(xiàn)增益-門控機(jī)制。具體來說，非線性通路的網(wǎng)絡(luò)結(jié)構(gòu)如下：視覺信息由復(fù)眼傳遞到蘑菇體中的凱尼恩細(xì)胞（Kenyon Cells，KC），KC與伽馬氨基丁酸能神經(jīng)元（Anterior Paired Lateral Neurons, APL）之間存在交互的鏈接，即KC給予APL興奮性的輸入，APL反過來抑制KC。蘑菇體輸出神經(jīng)元（Mushroom Body Output Neuron，MBON）也會(huì)接受來自KC的興奮性輸入，進(jìn)而輸出行為的選擇。當(dāng)面臨兩難抉擇時(shí)，沖突視覺線索導(dǎo)致蘑菇體中的多巴胺水平階段性的上升，并維持70-100ms。多巴胺與APL之間存在雙向抑制的作用，多巴胺還會(huì)提供給MBON興奮性的輸入。

所提模型在果蠅視覺強(qiáng)化學(xué)習(xí)和兩難抉擇任務(wù)上均得到與真實(shí)神經(jīng)科學(xué)實(shí)驗(yàn)相近的結(jié)論，驗(yàn)證了受果蠅抉擇環(huán)路啟發(fā)的模型所具備的類果蠅抉擇的認(rèn)知能力。特別是在兩難抉擇任務(wù)中，所提模型能夠很好地重現(xiàn)非線性通路的“S”形曲線，即在兩個(gè)沖突線索存在微小的差異時(shí)，仍能顯著地放大差異，做出清晰選擇。而僅依靠線性通路的實(shí)驗(yàn)結(jié)果得到一條近似線性的曲線，與神經(jīng)科學(xué)實(shí)驗(yàn)的發(fā)現(xiàn)一致。

曾毅研究員提到，課題組進(jìn)一步討論了DA-GABA-MB機(jī)制在非線性抉擇中的作用，當(dāng)去掉多巴胺神經(jīng)元后，只保留APL與KC之間的交互連接，經(jīng)過KC的所有視覺線索均被抑制，無法得到非線性的結(jié)果，而當(dāng)去掉APL后，非線性通路與線性通路的實(shí)驗(yàn)結(jié)果一致。因此證明DA與APL協(xié)同實(shí)現(xiàn)了非線性通路的增益-門控機(jī)制，每個(gè)腦區(qū)都起著不可替代的作用。在果蠅蘑菇體中檢測(cè)到多巴胺的活躍時(shí)間為70-100ms，這段時(shí)間多巴胺將APL抑制掉，因此對(duì)KC形成了去抑制的作用，幫助促進(jìn)了顯著線索的通過，在經(jīng)過一段時(shí)間后，多巴胺神經(jīng)元不再興奮，只保留APL對(duì)KC的抑制，進(jìn)而將較不顯著的線索抑制掉。這里多巴胺的持續(xù)時(shí)間對(duì)實(shí)驗(yàn)結(jié)果的影響很大，課題組對(duì)不同多巴胺持續(xù)時(shí)間進(jìn)行實(shí)驗(yàn)發(fā)現(xiàn)，持續(xù)時(shí)間過長或過短的效果均不好，而在70和100ms時(shí)的結(jié)果很相近并呈現(xiàn)“S”型曲線。

趙菲菲助理研究員介紹，將類果蠅抉擇的脈沖神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到無人機(jī)抉擇任務(wù)上，使用小拳頭打擊無人機(jī)來模擬懲罰信號(hào)，無人機(jī)可以學(xué)會(huì)飛向安全的視覺圖形，并對(duì)視覺圖形所包含的線索具有趨利避害的行為。此外，無人機(jī)能夠靈活地適應(yīng)任務(wù)的反轉(zhuǎn)，僅經(jīng)過4次錯(cuò)誤選擇就可以學(xué)會(huì)反轉(zhuǎn)后的規(guī)則。

無人機(jī)真實(shí)場(chǎng)景復(fù)雜抉擇任務(wù)中經(jīng)常會(huì)遇到多難抉擇的情況，例如在無人機(jī)自主飛過窗任務(wù)中，無人機(jī)需要在線地根據(jù)環(huán)境反饋在多個(gè)候選行為中進(jìn)行選擇，直到移動(dòng)至窗戶中心完成任務(wù)。課題組利用這項(xiàng)工作中提出的模型，引入非線性通路的DA-GABA-MB機(jī)制，可以幫助無人機(jī)清晰地選擇合適的策略，抑制掉獲得獎(jiǎng)勵(lì)較少的行為，以使得無人機(jī)能夠更加快速地穿越窗戶。

曾毅研究員說：果蠅腦在不斷演化過程中得到線性和非線性兩條抉擇神經(jīng)環(huán)路，看似冗余實(shí)際上充滿了精妙的設(shè)計(jì)，是大腦經(jīng)濟(jì)學(xué)的充分體現(xiàn)。不同通路具有不同的工作機(jī)理，在不同的任務(wù)需求下被自適應(yīng)地選擇和啟用，相互之間協(xié)同完成果蠅的簡單感知抉擇和兩難抉擇。雙抉擇系統(tǒng)協(xié)同在果蠅腦甚至靈長類動(dòng)物腦中均普遍存在，這在提升對(duì)復(fù)雜環(huán)境的適應(yīng)性和魯棒性方面發(fā)揮著重要的作用，也是腦幾億年演化過程中通過不斷演化和自然選擇保留下來的高效節(jié)能的神經(jīng)結(jié)構(gòu)和工作機(jī)理。演化和自然選擇是智能產(chǎn)生的根源，腦演化得到適應(yīng)于環(huán)境的結(jié)構(gòu)和功能是類腦智能計(jì)算模型非常值得借鑒的。類果蠅的抉擇脈沖神經(jīng)網(wǎng)絡(luò)是研發(fā)高等人工智能系統(tǒng)的基石。

文章鏈接：

https://www.nature.com/articles/s41598-020-75628-y.pdf

---

點(diǎn)擊左下角“閱讀原文”，進(jìn)入社區(qū)討論！

總結(jié)

以上是生活随笔為你收集整理的人工智能如何实现两难抉择？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。