筆記整理 | 韓振峰，天津大學碩士

---

鏈接：https://arxiv.org/pdf/1911.02707.pdf

動機

人類對話自然地圍繞相關概念發展，并分散到多跳概念。本文提出了一種新的會話生成模型——概念流(ConceptFlow)，它利用常識知識圖對會話流進行顯式建模。通過將對話建立在概念空間的基礎上，ConceptFlow表示潛在的對話流，它沿著常識關系在概念空間中遍歷。遍歷由概念圖中的圖注意力引導，向概念空間中更有意義的方向移動，以生成具有更多語義和信息量的響應。在Reddit會話數據集上的實驗表明，ConceptFlow的有效性優于以前的知識感知會話模型和基于GPT-2的模型，同時使用的參數減少了70%，證實了顯式建模會話結構的優勢。

亮點

論文的亮點主要包括：

（1）ConceptFlow利用常識知識圖對會話流進行了顯式建模，并對所有概念提出了一種新的注意機制來引導潛在概念空間中的會話流。

（2）ConceptFlow的在生成回復的結果優于其他模型的時，其模型參數更少。

（3）設置了豐富的實驗對ConceptFlow相關的內容進行探討，對ConceptFlow的優勢給出了令人信服的證據。

概念及模型

為了模擬人類對話中的概念轉換，本文提出了概念流(ConceptFlow)，它利用常識知識圖來模擬顯式概念空間中的對話流。ConceptFlow明確地將對話建模為常識知識圖中的遍歷:它從基礎概念(如“聊天”和“未來”)開始，并通過沿著常識關系跳轉到相關概念(如“交談”和“夢想”)來生成更有意義的對話。概念圖中的遍歷由圖注意機制引導，該機制源自圖神經網絡以關注更合適的概念。概念流學會沿著常識知識圖中更有意義的關系來模擬對話的發展。結果，該模型能夠通過從對話話語沿著常識關系跳躍到遙遠但有意義的概念來“增長”基礎概念；這將引導模型生成更多信息和主題響應。

ConceptFlow具體由三部分構成：概念圖構建、編碼潛在概念流、使用概念流生成文本。

模型整體框架如下：

概念圖構建

假ConceptFlow構建一個概念圖G作為每次對話的知識。它從基礎概念（零跳概念）開始，這些概念出現在對話話語中，并由實體鏈接系統進行注釋。然后ConceptFlow用一跳概念和兩跳概念擴展零跳概念。零跳概念和一跳概念以及它們之間所有的關系構成了與當前對話主題密切相關的中心概念圖，一跳概念和兩跳概念以及它們之間的關聯構成了外部圖。

編碼潛在概念流

構造的概念圖提供了概念如何與常識知識相關的顯示語義，概念流利用它來模擬對話并指導回復的生成。它從用戶話語開始，通過中心圖到達外部圖。這是從用戶話語編碼中心和外部概念流來建模的。

中心流編碼：使用圖神經網絡對中心概念圖進行編碼，圖神經網絡將用戶話語H的信息傳遞到中心概念圖，即將概念編碼成表達：

其中指概念的嵌入表示。

????? 外部流編碼：一跳概念到其連接的兩跳概念的外部流通過注意力機制被編碼為：

注意力聚合三元組得到：

使用概念流生成文本

為了同時考慮用戶話語和相關信息，來自用戶話語的文本和潛在概念流由解碼器使用兩個組件來合并：1）組合它們編碼的上下文表示；2）從上下文表示中有條件地產生單詞和概念。

????? 上下文表示：為了生成第t步的回復字符，首先根據話語和潛在概念流的編碼計算第t步的解碼得到輸出上下文表達：

指第t-1步生成的字符的表示，是基于文本的表示和基于概念的表示的拼接：

基于文本的表示用標準的注意力機制讀取用戶話語編碼：

注意力為：

基于概念的表示是中心流和外部流編碼的結合：

注意力加權于中心概念表示：

注意力加權于外部流表示：

????? 字符生成：第t步輸出表示包含來自話語文本、不同跳概念以及它們之間的注意力。解碼器利用產生第t步的字符從而生成更有信息量的回復。它首先使用一個門通過選擇單詞、中心概念、外部概念集合來控制生成：

單詞w，中心概念和外部概念的生成概率通過單詞表，中心概念集合和外部概念集合計算：

實驗

本文使用基于從Reddit的單輪對話數據集的多跳擴展對話數據集，使用預處理的ConceptNet 作為知識圖譜。本文使用6個基線對比算法，它們來自3個類別：標準Seq2Seq、知識增強系統（MemNet、CopyNet、CCM）、微調GPT-2系統(GPT-2 lang、GPT-2 conv)。本文做個5個實驗來評估從概念流生成的回復和學習到的圖注意力的有效性。

回復質量

生成回復的質量用不同的度量標準從3個方面進行評估：相關性、多樣性、新穎性。

表1評估回復的相關性，可以看出ConceptFlow的表現遠遠超過所有基線模型，ConceptFlow生成的回復更符合主題，與基本事實回復更匹配。

????? 表2評估回復的多樣性和新穎性。ConceptFlow在生成回復的多樣性和新穎性之間有很好的平衡。GPT-2的回復更加多樣，也許是因為它在解碼過程中的采樣機制，但是與ConceptFlow相比，它的回復不那么新穎和切題。

表1和表2都是自動評估，表3是人類評估的結果，人類評估關注恰當和信息量兩個方面?？梢钥闯鯟onceptFlow在所有的指標下都優于其他模型，并且與GPT-2相比，它只使用了30%的參數。

多跳概念的有效性

本實驗是多跳概念的消融實驗，通過不同的外部概念挑選方法的對比，驗證了外部概念的有效性。雖然在a中本文提出的方法（Full）不如Distract方法的表現好，但是綜合b和c可以看出本文提出的方法效果最好 。

概念圖的跳數

本實驗研究了概念圖中跳數的影響。表5顯示了覆蓋的黃金概念的數量隨著跳數的增加而增加，然而與此同時概念的數量也隨著跳數的增加而急劇增加，為了在覆蓋和效率之間的平衡，本文選擇兩跳，并使用ConceptFlow（選擇）過濾大約200個概念來構建修剪的圖。

實例研究

本實驗展示了幾個實例，從表6可以看出本文的ConceptFlow生成的回復比CCM和GPT-2更流暢、信息更豐富。圖4展示了注意力的可視化結果。

在概念上學到的注意力

本實驗研究ConceptFlow對不同組的概念學習到的注意力。a展示了中心概念的注意力權重，可以看出ConceptFlow更多的黃金和零跳概念，其中包含更多有用的信息。b展示了對兩跳概念的注意力，可以看出與其它兩跳概念相比，ConceptFlow更關注黃金概念。

總結

本文提出的ConceptFlow將會話結構顯示地建模為潛在概念空間的轉換，以便生成具有更多語義和信息量的回復。本文在Reddit會話數據集上的實驗說明了ConceptFlow相對于以前的會話系統的優勢。研究證實ConceptFlow的優勢來自于高覆蓋率的潛在概念流，以及它的圖注意力機制，該機制有效地將概念流引導到高度相關的概念。我們的人類評估表明，ConceptFlow在使用更少參數的同時，產生了更合適和信息更豐富的響應。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 - ACL2020 | 利用常识知识图对会话流进行显式建模的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。