筆記整理：陳卓，浙江大學(xué)在讀博士，主要研究方向為低資源學(xué)習和知識圖譜

論文鏈接：https://www.aaai.org/AAAI21Papers/AAAI-10252.BianN.pdf

發(fā)表會議：AAAI 2021

動機

文章提出了對于未來CQA(Commonsense QA)問題的三個見解，首先其對于文本應(yīng)該是比較敏感的，需要對于不同的知識選擇不同的文本，然后要能夠利用上異構(gòu)的知識信息，同時它要使用到具有豐富常識知識的語言模型。此外，本文提出了3個未來的發(fā)展方向，然后在文章里提出了4個見解和挑戰(zhàn)：

1.基于GNN的網(wǎng)絡(luò)，很難把這些所有的有效的外部知識給利用上。2.這些外部知識應(yīng)該用一種比較簡單的方法注入到不同的模型里面，并且這種方法不應(yīng)該是一些模型特定的方法，所以作者就后面提出了把知識轉(zhuǎn)化成文本的形式。3.知識主要是三元組的形式存在，但是問題和答案是文本的形式，這存在一種模式上的一個gap。4.一個知識庫里面有很多個這樣的三元組，但是往往只有數(shù)個是跟某一個問題相關(guān)，這是一種稀疏性問題。

模型

模型分為三大步驟，其中第一步是把知識進行一個檢索，第三步是進行一個MRC的閱讀理解的任務(wù)，這兩個其實比較簡單。中間這個步驟就是它的創(chuàng)新點——如何把一個 QA的任務(wù)轉(zhuǎn)化成一個閱讀理解任務(wù)。

具體來說，第一步是根據(jù)一個問題和對應(yīng)的候選答案，作者到一個知識庫里面檢索出來這樣一個子圖，第二步是把這個子圖變成了一串知識的描述的文本，然后根據(jù)這個描述的文本以及這個問題和答案拼接到一起，最后放到這樣一個MRC的預(yù)訓(xùn)練語言模型中，最后得到它的一個答案的概率分布，怎么預(yù)測到正確的答案。

第二步用了三種形式來實現(xiàn)這樣一個fact到text的轉(zhuǎn)換。分別是

（1）基于模板的方法，基于翻譯的方法和基于檢索的方法。其中基于模板大家應(yīng)該也都能想到，就是說我把每一個關(guān)系定義一個模板，比如說像這個例子舉的這樣。然后如果是有多個三元組的話，那就把這些三人組的模板轉(zhuǎn)化成之后的短句拼接成一個長句，并作為它這一個子圖的知識表示。

（2）基于翻譯的方法，作者覺得第一種方法最后得到的這樣一段話可能是邏輯上不通的，因為每一個短句之間都獨立也沒有什么聯(lián)系，而作者第二種方法就是把這樣一一些短句用一種類似于機器翻譯的方法，讓它變得更加的多樣化，然后更加的流暢，類似于進行了這樣一個轉(zhuǎn)化。

（3）基于搜索的方法，作者覺得不管是第一種還是第二種方法，它都存在語句不在真實世界中出現(xiàn)過的問題，所以用了一種基于檢索的方法，在真實的維基百科語料中，基于這些出現(xiàn)的這些實體進行文本段落檢索，最后把檢驗得到的語句作為知識的表示形式，然后它可以用到一些具體方法，這里不展開大家感興趣的可以去看原文。

實驗

作者在不同預(yù)訓(xùn)練模型的基礎(chǔ)上都進行了實驗，因為因為CQA領(lǐng)域里面很多模型是基于不同的預(yù)訓(xùn)練模型實現(xiàn)的，分別達到了各自的SOTA，作者把作者們的方法加上作者這樣一個knowledge-to-text的方法之后，轉(zhuǎn)換成MRC任務(wù)，都實現(xiàn)了一個少量的提升。同時它也構(gòu)造了一個golden knowledge，人工的把每個知識對應(yīng)到一個ground truth knowledge上面，來進行一個上界的判定，看這樣的方法它能夠達到的上界是多少。可以看到跟人類的效果比起來已經(jīng)接近了。

后面的一些 case study分別是證明這個方法加了知識之后到底有多少提升，在具體的例子上作者把那些問題分了一些類別。然后還進行了錯誤分析，但好像也沒有體現(xiàn)出什么有價值的信息，因為這里面給出了幾個錯誤類別基本上都是因為KG本身的一些知識不足所導(dǎo)致的，比如說作者知識區(qū)分度不夠，就像第例子中飛機可以加速也可以減速，但是這兩個東西都不能夠精確的回答這一個問題：當飛機到達的時候，到底是該加速還是該減速。此外還有一些錯誤原因，比如知識根本就不存在，每一個問題可能找不到對應(yīng)的知識。或者是知識噪音太多導(dǎo)致判斷失誤。

總結(jié)

該論文核心觀點是 MRC的難度小于常識問答，所以作者把一個難的任務(wù)轉(zhuǎn)化成一個容易的任務(wù)，這是作者的一個想法。另外一個想法就是把知識直接用一種更顯著的方法（文本）建模，應(yīng)該也許會好于圖的結(jié)果（實驗里面其實有一些方法是基于gnn的，但是那些方法的效果并不理想，作者覺得既然作者不能夠把所有的知識都很好的利用起來，但是如果把它用一種更顯著的方法建模的話，利用效果會更好一些。）。此外作者提出了一個觀點：哪怕是最好的預(yù)訓(xùn)練語言模型，比如t5（訓(xùn)練語調(diào)是很龐大的），始終還是不能夠包含足夠的常識知識。

---

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 通过知识到文本的转换进行知识增强的常识问答的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。