論文標(biāo)題：

Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs

論文作者：

Leonardo F. R. Ribeiro, Yue Zhang, Claire Gardent, Iryna Gurevych

論文鏈接：

https://arxiv.org/abs/2001.11003

---

從知識(shí)圖譜中生成文本是一個(gè)相當(dāng)有前景的研究方向，它可以通過結(jié)合知識(shí)生成更加通順、有意義的文本。

然而，過去的方法大都只用局部知識(shí)或全局知識(shí)，沒能充分利用二者的優(yōu)勢。本文提出將局部知識(shí)和全局知識(shí)相結(jié)合，從而顯著提高文本生成的效果。

從知識(shí)圖譜到文本生成

文本生成有多種途徑，比如從一段文本到另一段文本（翻譯、摘要），從一個(gè)表格到一段文本，從一個(gè)圖片到一段文本。

但隨著知識(shí)圖譜在近年來的興起，從知識(shí)圖譜生成文本已然成為一個(gè)相當(dāng)有發(fā)展前景的方向。

比如下圖，給定一個(gè)局部知識(shí)圖譜(a)，如果我們能據(jù)此直接生成文本(b)，那么現(xiàn)實(shí)中的很多應(yīng)用就可以得到解決。

過去的知識(shí)圖譜文本生成方法大都使用了圖卷積網(wǎng)絡(luò)GCN，它們要么是用全局的結(jié)點(diǎn)(c)——假定每個(gè)結(jié)點(diǎn)都和其他結(jié)點(diǎn)相連，要么是用局部的結(jié)點(diǎn)(d)——只有一部分結(jié)點(diǎn)相連。前者忽略了圖的結(jié)構(gòu)，而后者缺乏全局信息。

為此，本文提出將全局結(jié)點(diǎn)和局部結(jié)點(diǎn)結(jié)合起來，既可以捕捉局部圖結(jié)構(gòu)信息，又可以建模圖整體的知識(shí)。

使用這種方法，本文在數(shù)據(jù)集AGENDA和WebNLG上的結(jié)果顯著超越之前的最好結(jié)果，表明了該方法的有效性。

總的來說，本文的貢獻(xiàn)如下：

• 提出四種模型將局部圖知識(shí)和全局圖知識(shí)結(jié)合起來；

• 在兩個(gè)典型圖到文本的數(shù)據(jù)集上實(shí)現(xiàn)當(dāng)前最佳結(jié)果；

• 對(duì)照實(shí)驗(yàn)表明該方法可以處理更大的知識(shí)圖譜和更長的文本。

圖譜到文本模型

圖卷積網(wǎng)絡(luò)（GCN）

建模圖結(jié)構(gòu)的主流方法是使用圖卷積網(wǎng)絡(luò)（GCN）。設(shè)是一個(gè)圖網(wǎng)絡(luò)，每條邊中，是結(jié)點(diǎn)，表示結(jié)點(diǎn)之間的關(guān)系。每個(gè)結(jié)點(diǎn)有一個(gè)特征向量，它的聚集向量由下式更新：

這里，是第層的聚集函數(shù)，是結(jié)點(diǎn)之間的關(guān)系，是的鄰接結(jié)點(diǎn)。在得到聚集向量之后，就可以更新它的特征向量了：

這里是結(jié)合函數(shù)，可以定義為兩個(gè)向量的拼接。

全局圖編碼

在全局圖編碼器中，每個(gè)結(jié)點(diǎn)都和其他所有結(jié)點(diǎn)相連。我們可以定義聚集函數(shù)為所有其他結(jié)點(diǎn)特征的加權(quán)平均：

然后再使用多頭注意力機(jī)制，將多個(gè)聚集向量拼接起來，就得到了聚集向量：

最后，同Transformer，我們可以定義結(jié)合函數(shù)為下述操作：

注意到，在全局圖編碼中，我們沒有用到關(guān)系集合，所以說，我們忽略了知識(shí)之間的相關(guān)性，我們需要用局部圖編碼去彌補(bǔ)這個(gè)問題。

局部圖編碼

同樣，我們可以定義局部圖編碼器中的聚集函數(shù)為所有其他鄰接結(jié)點(diǎn)的加權(quán)平均：

我們也用多頭機(jī)制得到聚集向量。最后，我們定義結(jié)合函數(shù)為一個(gè)RNN：

圖表示

知識(shí)圖譜中的結(jié)點(diǎn)是實(shí)體，因此，一個(gè)結(jié)點(diǎn)（實(shí)體）可能包含多個(gè)字符。為此，我們把三元組中的實(shí)體分解為字符，每個(gè)字符都是一個(gè)新結(jié)點(diǎn)，任意一對(duì)字符都滿足關(guān)系。如此一來，模型就可以在字符級(jí)別而不是在實(shí)體級(jí)別學(xué)習(xí)，從而降低學(xué)習(xí)難度。

結(jié)合局部知識(shí)和全局知識(shí)

本文提出兩種方法、共四種模型去結(jié)合局部知識(shí)和全局知識(shí)。

這兩種方法是并行編碼和級(jí)聯(lián)編碼。并行編碼是分別編碼局部和全局知識(shí)，然后再把二者拼接起來；級(jí)聯(lián)編碼是先進(jìn)行全局編碼，然后將得到的全局編碼特征向量作為局部編碼的輸入，再得到最后的結(jié)果。

同時(shí)，這兩種方法都有層級(jí)和非層級(jí)之分。非層級(jí)即各自獨(dú)立進(jìn)行，層級(jí)即以層為單位進(jìn)行。這四種模型示意圖如下所示：

按照上圖順序，這四個(gè)模型分別稱為PGE，CGE，PGE-LW和CGE-LW。

實(shí)驗(yàn)

本文在兩個(gè)圖譜到文本的數(shù)據(jù)集上實(shí)驗(yàn)：AGENDA和WebNLG。數(shù)據(jù)集介紹和實(shí)驗(yàn)設(shè)置詳見原文。下表是AGENDA上的實(shí)驗(yàn)結(jié)果：

可以看到，模型CGE取得了平均最好的結(jié)果。并且所提出的四個(gè)模型都顯著好于極限模型。

下表是在數(shù)據(jù)集WebNLG上的實(shí)驗(yàn)結(jié)果。CGE比之前的最好模型在BLEU值上高5-6個(gè)點(diǎn)，在METEOR上高2-3個(gè)點(diǎn)，表明其生成文本的擬合度是顯著更好的。

下表是對(duì)照實(shí)驗(yàn)的結(jié)果。無論是去掉全局編碼器還是局部編碼器，模型的結(jié)果都會(huì)受到影響，這說明二者的確建模了圖譜的不同角度的知識(shí)，二者的結(jié)合會(huì)有更好的效果產(chǎn)生。

下圖是輸入結(jié)點(diǎn)數(shù)量、生成句子長度和效果之間的關(guān)系。總的來說，當(dāng)生成長度一定時(shí)，輸入結(jié)點(diǎn)越多，效果越好，當(dāng)結(jié)點(diǎn)數(shù)量較少的時(shí)候，基線模型和本文模型都表現(xiàn)得不算好。

值得注意的是，當(dāng)生成的長度更長，而結(jié)點(diǎn)數(shù)量很少的時(shí)候，本文模型能顯著優(yōu)于基線模型，這表明本文模型能夠在圖較小的時(shí)候充分利用結(jié)點(diǎn)和結(jié)點(diǎn)之間的知識(shí)，從而生成長文本。

小結(jié)

本文提出了一種結(jié)合圖網(wǎng)絡(luò)中全局知識(shí)和局部知識(shí)的網(wǎng)絡(luò)結(jié)構(gòu)，充分利用二者的優(yōu)勢更好地捕捉圖譜信息。兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯著優(yōu)于之前的最佳結(jié)果，實(shí)現(xiàn)了當(dāng)前的最好表現(xiàn)。

并且，通過對(duì)照實(shí)驗(yàn)發(fā)現(xiàn)，局部編碼和全局編碼對(duì)模型的效果都有不可忽略的影響，有助于生成更好的長文本序列。

如何進(jìn)一步通過知識(shí)圖譜更好地生成文本，不但是學(xué)術(shù)界未來關(guān)注的問題，也對(duì)工業(yè)界的發(fā)展有著重要推動(dòng)作用。

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的从知识图谱到文本：结合局部和全局图信息生成更高质量的文本的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。