筆記整理 |?譚亦鳴，東南大學(xué)博士生。

---

來(lái)源：EACL‘21

鏈接：https://www.aclweb.org/anthology/2021.eacl-main.300.pdf

概述

知識(shí)圖譜問(wèn)答過(guò)程一般包括實(shí)體鏈接，多跳推理等步驟，傳統(tǒng)方法將各個(gè)步驟作為模塊單獨(dú)處理，并流程化實(shí)現(xiàn)問(wèn)答過(guò)程，這種方式顯然會(huì)在流程中形成錯(cuò)誤積累。這些步驟（或者說(shuō)挑戰(zhàn)）之間往往存在關(guān)聯(lián)，因此通過(guò)一個(gè)end2end學(xué)習(xí)過(guò)程力，它們的解決方案也可以相互增強(qiáng)。這篇文章提出了一個(gè)基于BERT的神經(jīng)機(jī)器翻譯模型CQA-NMT來(lái)解決這些挑戰(zhàn)，在LOCA和MateQA兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證表明了方法的有效性。

貢獻(xiàn)

作者表示本文的貢獻(xiàn)如下：

1、提出一個(gè)多任務(wù)模型，將解析自然語(yǔ)言問(wèn)題的所有任務(wù)共同處理。并且可以解決一些新的類(lèi)型的KGQA挑戰(zhàn)。

2、提出使用基于神經(jīng)機(jī)器翻譯的方法用于挖掘問(wèn)題相關(guān)的數(shù)量不定的relation。

3、研究表明每個(gè)自然語(yǔ)言問(wèn)題解析的子任務(wù)之間存在互補(bǔ)性，這種特性將最終反映在提升問(wèn)答效果上。

4、CQA-NMT能夠預(yù)測(cè)包含在知識(shí)子圖中的關(guān)系，并且?guī)椭A(yù)測(cè)子圖的拓?fù)浣Y(jié)構(gòu)，實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)在知識(shí)圖譜上的組合推理。

5、在MateQA的結(jié)果取得了SOTA

KGQA中的任務(wù)

作者首先對(duì)KGQA任務(wù)中包含的各種任務(wù)進(jìn)行說(shuō)明：

實(shí)體鏈接標(biāo)注 自然語(yǔ)言問(wèn)題中的一些n-gram（n元文法，實(shí)際可以視為短語(yǔ)或者字段）與知識(shí)圖譜中的實(shí)體id所對(duì)應(yīng)。實(shí)體鏈接標(biāo)注的目標(biāo)是識(shí)別這些n-gram并建立與實(shí)體id的對(duì)應(yīng)關(guān)聯(lián)。

答案類(lèi)型標(biāo)注 每個(gè)問(wèn)題對(duì)應(yīng)的答案實(shí)體都有一個(gè)實(shí)體類(lèi)型的標(biāo)簽（來(lái)自知識(shí)圖譜），目標(biāo)就是識(shí)別某問(wèn)題對(duì)應(yīng)答案的類(lèi)型。

關(guān)系序列和拓?fù)錁?biāo)注（或者路徑標(biāo)注，多跳推理） 由問(wèn)題中的關(guān)系和實(shí)體連接起來(lái)形成的查詢圖反映了整個(gè)問(wèn)題描述信息構(gòu)成的查詢路徑，這些路徑在知識(shí)圖譜中構(gòu)成從鏈接實(shí)體到答案實(shí)體的可達(dá)路徑（不一定是最短路徑）。

問(wèn)題類(lèi)型標(biāo)注 在知識(shí)圖譜問(wèn)答中包含許多類(lèi)型的問(wèn)題，例如可以用單個(gè)三元組回答的簡(jiǎn)單問(wèn)題，或者一些事實(shí)查詢圖結(jié)構(gòu)更復(fù)雜的問(wèn)題，亦或是一些需要聚合操作的問(wèn)題（計(jì)數(shù)，交并集等），或者一些是非問(wèn)（布爾類(lèi)型）。

接著，針對(duì)上述這些任務(wù)，作者列出其中包含的關(guān)鍵挑戰(zhàn)（對(duì)應(yīng)的例子可以在圖1找到）：

不完整的實(shí)體mention

問(wèn)題中包含的實(shí)體描述往往無(wú)法與圖譜中完整的命名實(shí)體完全匹配（question 8）

協(xié)同詞義消歧

實(shí)體mention的鏈接目標(biāo)有時(shí)候需要借助其他實(shí)體幫助消除歧義（question 7）

避免預(yù)期之外的匹配

實(shí)體mention鏈接的對(duì)象需要是與問(wèn)題內(nèi)容相關(guān)的預(yù)期對(duì)象，但是單純的字符匹配可能引起圖譜中的匹配對(duì)象跟問(wèn)題無(wú)關(guān)（question 9）

重復(fù)實(shí)體

知識(shí)圖譜中可能存在多個(gè)具有相同命名的實(shí)體

關(guān)系名誤匹配

問(wèn)題中的關(guān)系描述與圖譜中標(biāo)準(zhǔn)的關(guān)系描述往往差別甚大（question 2，4，6）

隱含關(guān)系

問(wèn)題中可能存在一些沒(méi)有被明確提及，但推理中需要使用到的關(guān)系信息（question 4）

圖3給出了CQA-NMT模型的結(jié)構(gòu)和流程，本質(zhì)上它還是一個(gè)encoder-decoder結(jié)構(gòu)，但是涵蓋了包括：1. 抽取實(shí)體mention然后鏈接到KG；2.通過(guò)游走（推理）生成需要的謂詞（關(guān)系）序列；3. 預(yù)測(cè)問(wèn)題類(lèi)型；4. 確定答案類(lèi)型并輸出答案；等全部問(wèn)答任務(wù)。

??????

?????? 下面分別就多任務(wù)模型的各個(gè)模塊進(jìn)行說(shuō)明：

?????? 實(shí)體mention識(shí)別模塊

?????? 如圖4所示，通過(guò)使用BERT編碼器的隱狀態(tài)，作者建立了一個(gè)序列標(biāo)注任務(wù)模塊做實(shí)體識(shí)別，該模塊輸入詞序列，輸出標(biāo)簽序列。本文通過(guò)聯(lián)合了實(shí)體類(lèi)型以及跨度來(lái)增強(qiáng)CQA-NMT，softmax層的輸出為：

其中，i表示第i個(gè)詞（位置），h是隱狀態(tài)。

??????

?????? 實(shí)體鏈接模塊

?????? 實(shí)體識(shí)別輸出了這些：實(shí)體詞序列（多個(gè)）+實(shí)體類(lèi)型標(biāo)簽（對(duì)應(yīng)多個(gè)）；接下來(lái)是將它們鏈接到圖譜上，這里作者使用的是序列匹配+PageRank。通過(guò)使用三種序列匹配算法并且投票的方式挑選出候選實(shí)體，然后使用pageRank從流行度的角度選出圖譜中的實(shí)體與問(wèn)題中的實(shí)體mention做鏈接。

路徑預(yù)測(cè)模塊

這一部分的工作是生成問(wèn)題對(duì)應(yīng)的謂詞序列，這里使用到的是一個(gè)基于transformer的解碼器，也就是把謂詞序列視作翻譯的解碼目標(biāo)。在這里，作者不限制生成謂詞的數(shù)量，因?yàn)楫?dāng)整個(gè)問(wèn)題的內(nèi)容解碼完成后，生成也就終止了。

問(wèn)題類(lèi)型和答案類(lèi)型預(yù)測(cè)模塊

這兩個(gè)部分很顯然都可以看作分類(lèi)任務(wù)，因此作者同樣是使用到實(shí)體識(shí)別部分的隱狀態(tài)作為特征，然后預(yù)測(cè)問(wèn)題類(lèi)型和答案類(lèi)型：

訓(xùn)練的目標(biāo)則是最大化以下條件概率：

即聯(lián)合了實(shí)體類(lèi)型，路徑以及問(wèn)題類(lèi)型還有答案類(lèi)型一起的最大化概率。

實(shí)驗(yàn)部分

首先是數(shù)據(jù)方面，本文作者使用到了兩個(gè)問(wèn)題集：MateQA和LOCA。前者相對(duì)更流行一些，屬于典型的多關(guān)系問(wèn)答數(shù)據(jù)集（最多三跳），不過(guò)該數(shù)據(jù)集不包含問(wèn)題和答案類(lèi)型標(biāo)簽，所以作者在這里是定義了一個(gè)默認(rèn)的label。后者的問(wèn)題類(lèi)型可以見(jiàn)圖1。兩者的統(tǒng)計(jì)信息都收錄在表1。顯然LOCA具有更少的訓(xùn)練樣本，更多的問(wèn)題類(lèi)型，也就有更高的難度。

評(píng)價(jià)指標(biāo)方面，對(duì)于不同的子任務(wù)，作者使用了不同的方法，實(shí)體識(shí)別和實(shí)體類(lèi)型（F值），問(wèn)題類(lèi)型，路徑預(yù)測(cè)以及答案類(lèi)型（Accuracy）。

實(shí)驗(yàn)結(jié)果

問(wèn)答的總體結(jié)果如表2

一方面，從這個(gè)結(jié)果來(lái)看，多任務(wù)方法取得了作者預(yù)期的收益，整體結(jié)果優(yōu)于對(duì)比方。其中，NTM數(shù)據(jù)CQA-NMT在2-hop上效果稀碎，作者認(rèn)為是zero-shot導(dǎo)致的（3-hop上卻又有80+，這里沒(méi)有進(jìn)一步做出解釋）

LOCA的整體結(jié)果低于MateQA，相對(duì)更具有挑戰(zhàn)性。

各個(gè)子任務(wù)的效果見(jiàn)表3：

這張表說(shuō)明了多任務(wù)聯(lián)合確實(shí)體現(xiàn)出了預(yù)期的互補(bǔ)性，各個(gè)子任務(wù)得到了共同提升。

?

---

?

OpenKG

開(kāi)放知識(shí)圖譜（簡(jiǎn)稱(chēng) OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開(kāi)放與互聯(lián)，促進(jìn)知識(shí)圖譜和語(yǔ)義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 利用机器翻译和多任务学习进行复杂的知识图谱问答的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。