大模型明知道“你媽是你媽”，卻答不出“你是你媽的兒子”？？

這么一項新研究，剛一發表就引燃了全場討論。

來自范德堡大學、薩塞克斯大學、牛津大學等研究機構的研究人員驚訝地發現：

一個大語言模型在訓練時被喂進了“A 是 B”這種形式的數據，它并不會自動反推出“B 是 A”。大模型存在“反轉詛咒”現象。

甚至強如 GPT-4，在反向問題實驗中，正確率也只有 33%。

OpenAI 創始成員 Andrej Karpathy 第一時間轉發了這篇論文，并評論說：

LLM 知識比人們想象中“零散”得多，我對此仍然沒有很好的直覺。

這具體是怎么一回事？

大模型的“反轉詛咒”

研究人員主要進行了兩項實驗。

在第一項實驗中，研究人員在 GPT-4 的幫助下構建了以下形式的數據，來微調大模型。

<name> is <description>.（或者反過來）

所有這些名字都是虛構的，以避免大模型在訓練過程中見過他們。

在 GPT-3-175B 上的實驗結果顯示，當提示與數據集給出的描述順序匹配時，模型給出的答案很不錯。

但當順序反轉過來，模型的準確率甚至直接降到了 0。

舉個例子，就是大模型吃到過“達芙妮是《時光之旅》的導演”這么一條數據，你問它“達芙妮是誰”時，它也答得好好的。但當你反過來問“誰是《時光之旅》的導演”時，模型就懵了。

在 GPT-3-350M 和 Llama-7B 上，研究人員也得到了相同的實驗結果。

再來看實驗 2。在這項實驗中，研究人員在不進行任何微調的情況下，測試了大語言模型對真實名人信息的反向處理能力。

他們從 IMDB（2023）收集了最受歡迎的 1000 位名人的名單，并通過 OpenAI API 來問 GPT-4 有關這些人父母的信息，最終得到了 1573 對名人孩子-父母對數據。

結果發現，如果問題像這樣 ——“湯姆?克魯斯的媽媽叫什么”，GPT-4 回答準確率為 79%。但當問題反轉，變成“Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什么”，GPT-4 回答準確率就降到了 33%。

在 Llama-1 家族模型上，研究人員也進行了同樣的測試。實驗中，所有模型回答“父母是誰”問題的準確率，都要遠高于回答“孩子是誰”問題的準確率。

研究人員將這種現象命名為“反轉詛咒”。他們認為，這揭示了語言模型在推理和泛化方面的異類進本局限。

論文通訊作者、牛津大學研究員 Owain Evans 解釋說：

為什么反轉詛咒值得關注？

這說明大語言模型在訓練過程中存在推理能力缺失。

“A 是 B”和“B 是 A”的共現是預訓練集中的一種系統性模式。自回歸 LLM 完全無法對這一模式進行元學習，其對數概率沒有變化，并且即使參數量從 350M 擴增到 175B，也未能改善這個問題。

One More Thing

不過話說回來，人類是不是也會受“反轉詛咒”影響呢？

有網友做了這么個測試。

面對“Mary Lee Pfeiffer South 的兒子是誰”這個問題，GPT-4 一開始直接舉旗投降了。

但當這位網友提示它“她的兒子很有名，你肯定認識”后，GPT-4 當場開悟，給出了“湯姆?克魯斯”這個正確答案。

那么，你能反應過來嗎？

參考鏈接：

• [1]https://owainevans.github.io/reversal_curse.pdf

• [2]https://twitter.com/owainevans_uk/status/1705285631520407821

• [3]https://twitter.com/karpathy/status/1705322159588208782

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的GPT-4 也难逃“反转诅咒”！新研究发现：大模型存在推理缺陷，知道“A 是 B”推不出“B 是 A”的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。