击败谷歌AI拿下“最强”称号?Facebook AI开源聊天机器人Blender
?
如今,我們對(duì)虛擬語(yǔ)音助手已經(jīng)十分熟悉。無(wú)論是蘋果 Siri、亞馬遜 Alexa,還是百度小度,阿里巴巴天貓精靈,在提供幫助之余,還經(jīng)常扮演著被無(wú)聊人類調(diào)戲的對(duì)象。
就在你來(lái)我往的博弈之間,語(yǔ)音助手們練就了一身反調(diào)戲的本領(lǐng),甚至還會(huì)出其不意,給你驚喜。
但如果把蘋果推出 Siri 視為消費(fèi)級(jí)虛擬語(yǔ)音助手誕生元年,算下來(lái)迄今已經(jīng)過(guò)了近九年,要說(shuō)它們沒(méi)什么長(zhǎng)進(jìn),恐怕是冤枉了。只不過(guò),跟它們對(duì)話似乎總是差點(diǎn)意思。
當(dāng)然,如果只是指示語(yǔ)音助手設(shè)置鬧鐘,查詢天氣,它們?cè)诮^大多數(shù)情況下都能完美實(shí)現(xiàn)。然而一旦脫離具體任務(wù),以聊天或咨詢?yōu)橹饕康?#xff0c;因?yàn)樯婕暗綄?duì)話和交互能力,它們的表現(xiàn)就會(huì)一落千丈,經(jīng)常會(huì)出現(xiàn)前言不搭后語(yǔ)的情況,令人沮喪。
為了改善這一問(wèn)題,Facebook AI 近日就公布了一項(xiàng)最新研究成果:擁有 94 億參數(shù)的開源 AI 聊天機(jī)器人 Blender。
Facebook 研究人員聲稱,Blender 是迄今為止“最先進(jìn)的”聊天機(jī)器人,可以以有趣和連續(xù)互動(dòng)的方式討論幾乎所有內(nèi)容。在人-人和 Blender-人的對(duì)話比較測(cè)試中,有 49% 的測(cè)試者把 Blender 的對(duì)話記錄誤認(rèn)為是人和人的對(duì)話,67% 的測(cè)試者認(rèn)為 Blender 和人的對(duì)話更像是人和人的對(duì)話。
“對(duì)話有點(diǎn)像 AI 完備問(wèn)題(AI-Complete),你必須要解決所有 AI 問(wèn)題才能解決對(duì)話。反過(guò)來(lái),如果解決了對(duì)話問(wèn)題,所有 AI 問(wèn)題也就解決了,”Facebook工程師 Stephen Roller 表示。他認(rèn)為,研究開放式聊天系統(tǒng)將有助于提升虛擬語(yǔ)音助手的交互能力。
有意思的是,今年 1 月底,谷歌 AI 剛給自家的聊天機(jī)器人 Meena 冠上了相似稱號(hào)。當(dāng)時(shí),為了衡量 Meena 的水平,谷歌研究人員發(fā)明了名為感知性和特異性平均值(Sensibleness and Specificity Average,SSA)的評(píng)估標(biāo)準(zhǔn)。
該基準(zhǔn)給人類真實(shí)對(duì)話的評(píng)分是 86 分,而 Meena 獲得了 79 分,位居第二名,并且遠(yuǎn)勝于 Mitsuku 和微軟小冰等同類聊天機(jī)器人。“最先進(jìn)聊天機(jī)器人”由此得名。
?
圖 | 谷歌 AI 對(duì)自家 Meena 的評(píng)價(jià)也是“最先進(jìn)的聊天機(jī)器人”(來(lái)源:谷歌 AI)
Facebook AI 在論文中也提到了 Meena,稱“由于谷歌沒(méi)有完全公開 Meena 模型和詳細(xì)的 SSA 評(píng)估標(biāo)準(zhǔn),因此很難進(jìn)行 100% 橫向比較。”不過(guò),他們還是盡可能地找到了一些解決辦法,利用公開資料比較兩種模型。
為了讓對(duì)比更公平,Facebook 使用的是擁有 27 億參數(shù)的 Blender 版本,因?yàn)楣雀?Meena 只有 26 億參數(shù)。論文稱其對(duì)比了人類測(cè)試者對(duì)兩個(gè)模型生成的對(duì)話的看法,最終有近四分之三的人認(rèn)為 Blender 的對(duì)話更有吸引力和互動(dòng)性,可以視為是“擊敗了 Meena”。
對(duì)此,谷歌尚未公開回應(yīng)媒體的置評(píng)請(qǐng)求。
?
圖 | Facebook AI 給出的與谷歌 Meena 的對(duì)比結(jié)果(來(lái)源:Facebook AI)
94億參數(shù)很強(qiáng)大
Blender 的能力來(lái)源于其龐大的訓(xùn)練數(shù)據(jù)。
它首先使用了 15 億份 Reddit 論壇對(duì)話進(jìn)行訓(xùn)練,為學(xué)習(xí)如何在對(duì)話中回復(fù)對(duì)方打下基礎(chǔ)。隨后它又接受了三種專項(xiàng)技能培訓(xùn),由額外挑選出來(lái)的數(shù)據(jù)組作為微調(diào)(fine-tuning)。
第一項(xiàng)是學(xué)習(xí)包含某種情感的對(duì)話,以表達(dá)同理心。例如,如果用戶表示自己剛剛升職加薪,那么 Blender 就會(huì)回應(yīng)“恭喜你!”一類的鼓勵(lì)字眼。
第二項(xiàng)是從電子書或維基百科上學(xué)習(xí)基礎(chǔ)知識(shí),以獲取有關(guān) 1250 種話題的基本常識(shí)。這些知識(shí)都經(jīng)過(guò)篩選,確保了真實(shí)性。
最后一項(xiàng)培訓(xùn)專注于塑造友善性格和良性談話氛圍,使對(duì)話更具互動(dòng)性,幫助Blender學(xué)習(xí)如何更積極地了解用戶喜好,而且在之后的聊天中一定程度上兼顧這些背景信息。
為了綜合這三項(xiàng)技能,研究團(tuán)隊(duì)還使用了一套額外數(shù)據(jù)組,專門幫助 Blender 整合和練習(xí)所有技能,希望達(dá)到在對(duì)話中運(yùn)用自如的目的。
?
圖 | Blender 對(duì)話例子(來(lái)源:Facebook AI)
最終完成的對(duì)話模型有三個(gè)版本,分別擁有 9 千萬(wàn)、27 億和 94 億參數(shù),參數(shù)越多,性能越強(qiáng)。相比之下,谷歌 Meena 最多擁有 26 億參數(shù)。
不過(guò),94 億參數(shù)的 Blender 需要至少兩塊英偉達(dá) 32GB V100 GPU 才能運(yùn)行,27 億參數(shù)版本也至少需要一塊 16GB P100 GPU。Facebook 目前沒(méi)有開放網(wǎng)頁(yè)版互動(dòng)界面,因此想在家用電腦上體驗(yàn) Blender 暫時(shí)是不可能了。
從評(píng)估結(jié)果來(lái)看,在人類測(cè)試員中,有 75% 的人認(rèn)為 Blender 比谷歌 Meena 的互動(dòng)性更強(qiáng),更具吸引力,還有 67% 的人認(rèn)為前者更像是人類。另外有 49% 的測(cè)試者誤以為 Blender 是人類,意味著這些人僅憑聊天記錄無(wú)法區(qū)分 Blender 和人,其真實(shí)度和對(duì)話質(zhì)量可見(jiàn)一斑。
難以攻克核心挑戰(zhàn)
盡管如此,Blender 仍然存在一些 AI 聊天機(jī)器人的通病。舉個(gè)例子,如果問(wèn)它 “ 魯迅說(shuō)過(guò)的名人名言 ”,它可能會(huì)給出符合語(yǔ)法卻是自己偽造的假名言,或者是張冠李戴,制造出 “ 魯迅真的沒(méi)說(shuō)過(guò) ” 的尷尬現(xiàn)象。
原因在于,除了進(jìn)行過(guò)事實(shí)驗(yàn)證的話題之外,AI 終究只是局限于利用單詞的統(tǒng)計(jì)相關(guān)性生成句子,而非知識(shí)數(shù)據(jù)庫(kù)。這一問(wèn)題同樣存在于 OpenAI 之前公布的文章自動(dòng)生成模型 GPT-2 中,故意濫用可能會(huì)造成誤導(dǎo)用戶的后果。
此外,在測(cè)試中,Blender 參與的對(duì)話最多只進(jìn)行到 14 輪,比通常人和人之間的對(duì)話要簡(jiǎn)短很多。項(xiàng)目負(fù)責(zé)人 Emily Dinan 指出,模型無(wú)法進(jìn)行過(guò)于深入的對(duì)話,不然就會(huì)出現(xiàn)無(wú)意義回應(yīng),因?yàn)樗鼛谆睾现缶涂赡芡洑v史信息。
?
圖 | Facebook AI 在開放式聊天模型上的進(jìn)步(來(lái)源:Facebook AI)
困擾著 Blender 以及任何開放式聊天系統(tǒng)的另一個(gè)主要問(wèn)題是如何阻止其說(shuō)出帶有攻擊性的句子。由于訓(xùn)練數(shù)據(jù)基于真實(shí)的互聯(lián)網(wǎng)用戶對(duì)話,出現(xiàn)人身攻擊或歧視色彩的詞匯幾乎無(wú)法避免,而使用“有毒的”訓(xùn)練數(shù)據(jù)顯然會(huì)帶壞聊天機(jī)器人。
2016 年 3 月,微軟曾在推特推出聊天機(jī)器人 Tay,模仿 19 歲美國(guó)女性的說(shuō)話方式,以開放型對(duì)話方式與普通用戶交流并學(xué)習(xí)如何互動(dòng)。然而僅僅一天之后,Tay 就開始發(fā)表種族歧視等偏激言論。微軟隨后不得不關(guān)閉 Tay 的賬號(hào),將原因歸結(jié)為部分網(wǎng)民刻意引導(dǎo)其發(fā)表惡意言論。
Facebook AI 研究人員承認(rèn),這些問(wèn)題是開放式聊天機(jī)器人普遍面臨的巨大挑戰(zhàn)。他們正在嘗試創(chuàng)造更好的安全機(jī)制來(lái)改善和規(guī)避。比如對(duì)三個(gè)較小的額外數(shù)據(jù)集進(jìn)行敏感詞過(guò)濾,剔除惡意詞匯,但來(lái)自于 Reddit 的主要訓(xùn)練集體積過(guò)于龐大,難以全面篩查。他們還希望嘗試引入知識(shí)數(shù)據(jù)庫(kù)來(lái)糾正機(jī)器人的錯(cuò)誤,甚至是在機(jī)器人生成句子之后再進(jìn)行二次檢查。
不過(guò)這些方法并不全面。很多時(shí)候,一句話的性質(zhì)要結(jié)合語(yǔ)境才能準(zhǔn)確判斷,像是“你說(shuō)得很好”這樣的句子看似褒義,但在用于回應(yīng)激進(jìn)言論時(shí)卻會(huì)產(chǎn)生截然相反的效果。
因此目前看來(lái), Blender 雖然在簡(jiǎn)單對(duì)話時(shí)表現(xiàn)很好,互動(dòng)自然且流暢,但跟其他開放式聊天機(jī)器人一樣,離最理想的聊天機(jī)器人還有很長(zhǎng)的路要走。
Facebook AI 團(tuán)隊(duì)還透露了未來(lái)的研究方向,另一個(gè)項(xiàng)目組正在開發(fā)一個(gè)“有性格的”圖片聊天系統(tǒng) Image Chat,旨在對(duì)用戶發(fā)送的圖片進(jìn)行有意義的對(duì)話。
總結(jié)
以上是生活随笔為你收集整理的击败谷歌AI拿下“最强”称号?Facebook AI开源聊天机器人Blender的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 安装配置RocketMQ,并配置Cons
- 下一篇: Linux服务器Zookeeper+Du