4月19日阿里巴巴達摩院發(fā)布超大規(guī)模語言模型PLUG，該模型參數(shù)規(guī)模達270億，是目前全球規(guī)模最大的中文純文本預(yù)訓練語言模型。PLUG集語言理解與創(chuàng)造性文本生成能力，在小說仿寫、詩歌生成、智能問答等長文本生成領(lǐng)域表現(xiàn)突出，其目標是通過超大模型的能力，大幅提升中文自然語言技術(shù)在各類任務(wù)中的表現(xiàn)，取得超越人類表現(xiàn)的性能。

據(jù)介紹，去年5月，海外公司OpenAI發(fā)布能寫小說、聊天、編曲譜、寫代碼的GPT-3模型，此后，中文領(lǐng)域同類模型的訓練進程受到關(guān)注。與GPT-3類似，阿里達摩院本次發(fā)布的PLUG模型有望廣泛應(yīng)用于文本生成領(lǐng)域，此類超大模型擁有極強的通用性，或?qū)⒊蔀槿斯ぶ悄軙r代新型基礎(chǔ)設(shè)施之一。

較GPT-3相比，PLUG集成了達摩院自研的語言理解及語言生成雙模型，并通過構(gòu)建輸入文本雙向理解能力，提升了輸出文本的相關(guān)性。在語言理解任務(wù)上，PLUG以80.614分刷新了業(yè)內(nèi)權(quán)威的中文語言理解評測基準CLUE分類榜單歷史紀錄；在語言生成任務(wù)上，PLUG多項應(yīng)用數(shù)據(jù)較業(yè)內(nèi)最優(yōu)水平提升了8%以上。

PLUG采用了1TB以上高質(zhì)量中文文本訓練數(shù)據(jù)，涵蓋新聞、小說、詩歌、問答等廣泛類型及領(lǐng)域。接下來，PLUG將擴大參數(shù)規(guī)模至2000億級，并進一步提升文本生成質(zhì)量。在超大規(guī)模預(yù)訓練模型領(lǐng)域，除發(fā)布以中文為核心的PLUG外，達摩院、阿里云計算平臺團隊還聯(lián)合智源研究院、清華大學發(fā)布了面向認知的超大規(guī)模新型預(yù)訓練模型“文匯”，以及聯(lián)合清華大學發(fā)布了超大規(guī)模多模態(tài)預(yù)訓練模型“M6”。

阿里巴巴達摩院語言技術(shù)實驗室負責人司羅表示，“達摩院團隊將進一步攻克自然語言處理領(lǐng)域科研難題，完善中文及跨語言人工智能基礎(chǔ)設(shè)施，讓AI沒有難懂的語言，并探索通用人工智能之路。”

總結(jié)

以上是生活随笔為你收集整理的阿里达摩院发布语言模型PLUG 可仿写任意小说的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。