5月17日消息，谷歌上周在2023年I/O開發(fā)者大會上推出最新大型語言模型PaLM 2。公司內(nèi)部文件顯示，自2022年起訓(xùn)練新模型所使用的文本數(shù)據(jù)量幾乎是前一代的5倍。

據(jù)悉，谷歌最新發(fā)布的PaLM 2能夠執(zhí)行更高級的編程、運算和創(chuàng)意寫作任務(wù)。內(nèi)部文件透露，用于訓(xùn)練PaLM 2的token數(shù)量有3.6萬億個。

所謂的token就是字符串，人們會將訓(xùn)練模型所用文本中的句子、段落進(jìn)行切分，其中的每個字符串通常被稱為token。這是訓(xùn)練大型語言模型的重要組成部分，能教會模型預(yù)測序列中接下來會出現(xiàn)哪個單詞。

谷歌于2022年發(fā)布的上一代大型語言模型PaLM在訓(xùn)練中使用了7800億個token。

盡管谷歌一直熱衷于展示其在人工智能技術(shù)領(lǐng)域的實力，說明如何將人工智能嵌入到搜索引擎、電子郵件、文字處理和電子表格中，但一直不愿公布訓(xùn)練數(shù)據(jù)的規(guī)模或其他細(xì)節(jié)。微軟支持的OpenAI也對最新發(fā)布的GPT-4大型語言模型細(xì)節(jié)保密。

兩家公司都表示，不披露這些信息的原因是人工智能行業(yè)存在激烈競爭。谷歌和OpenAI都想要吸引那些希望使用聊天機(jī)器人而不是傳統(tǒng)搜索引擎搜索信息的用戶。

但隨著人工智能領(lǐng)域競爭的白熱化，研究界要求提高透明度。

自推出PaLM 2以來，谷歌一直表示，新模型比之前的大型語言模型更小，這意味著該公司技術(shù)在完成更復(fù)雜任務(wù)時能變得更高效。參數(shù)（parameters）通常用于說明語言模型的復(fù)雜性。根據(jù)內(nèi)部文件，PaLM 2接受了3400億個參數(shù)的訓(xùn)練，初代的PaLM接受了5400億個參數(shù)的訓(xùn)練。

谷歌沒有立即發(fā)表評論。

谷歌在一篇關(guān)于PaLM 2的博客文章中表示，新模型使用了一種名為“計算最優(yōu)縮放”（compute-optimal scaling）的“新技術(shù)”，能使得PaLM 2“更高效，整體性能更好，比如推理更快、服務(wù)參數(shù)更少，服務(wù)成本也更低。”

在發(fā)布PaLM 2時，谷歌透露新模型接受了100種語言的訓(xùn)練，并能勝任各種各樣的任務(wù)。包括谷歌試驗性聊天機(jī)器人Bard在內(nèi)的25項功能和產(chǎn)品用的都是PaLM 2。PaLM 2按參數(shù)規(guī)模有四個不同的版本，從小到大依次是Gecko（壁虎）、Otter（水獺）、Bison（野牛）和Unicorn（獨角獸）。

根據(jù)谷歌公開披露的信息，PaLM 2比任何現(xiàn)有模型都更強大。Facebook在今年2月份宣布推出名為LLaMA的大型語言模型，其在訓(xùn)練中用了1.4萬億個token。OpenAI發(fā)布GPT-3時披露了相關(guān)訓(xùn)練規(guī)模，當(dāng)時公司表示，這一模型接受了3000億個token的訓(xùn)練。今年3月份，OpenAI發(fā)布新模型GPT-4，并表示在許多專業(yè)測試中表現(xiàn)出“人類水平”。

根據(jù)最新文件，谷歌兩年前推出的語言模型接受了1.5萬億個token的訓(xùn)練。

隨著新的生成式人工智能應(yīng)用迅速成為科技行業(yè)主流，圍繞底層技術(shù)的爭議也越來越激烈。

今年2月份，谷歌研究部門高級科學(xué)家埃爾·馬赫迪·埃爾·馬哈迪(El Mahdi El Mhamdi)因公司缺乏透明度而辭職。周二，OpenAI首席執(zhí)行官薩姆·奧爾特曼（Sam Altman）在美國參議院司法小組委員會關(guān)于隱私和技術(shù)的聽證會上出庭作證，也同意用新系統(tǒng)來應(yīng)對人工智能。

“對于一項非常新的技術(shù)，我們需要一個新的框架，”奧爾特曼說，“當(dāng)然，像我們這種公司對自己推出的工具負(fù)有很大責(zé)任。”（辰辰）

總結(jié)

以上是生活随笔為你收集整理的谷歌 PaLM 2训练所用文本数据量是初代的近5倍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。