鏈接： https://arxiv.org/pdf/1911.05889.pdf

動機

雖然最近幾年通過利用社交網絡上大量人人交互數據訓練開放域對話模型取得了很大的成功，但是這些數據驅動的對話系統仍然無法很自然的與人類對話，其中的一個主要問題就是對話系統缺乏一致的角色特征。圖1中的例子展示了角色一致性是如何影響對話的質量。提高對話系統角色一致性的一個實用方法是明確定義一組描述對話系統角色信息（persona）的描述性文本，并以此為基礎學習生成體現出預先定義角色信息的回復。盡管編碼器-解碼器框架在基于角色信息的對話生成模型中得到了成功的應用，但存在的問題是這些生成模型普遍缺乏對于一致性信息的建模。一方面，近幾年自然語言推理技術（Natural Language Inference）相關技術有了長足的進步。有研究工作表明，回復和角色文本的一致性檢測問題可以被建模為<角色信息，回復>之間的自然語言推理技術問題。如何在基于角色信息的對話生成模型中利用這種檢測方法建模并提高角色的一致性是一個值得探索的問題。

亮點

論文亮點主要包括：

（1）提出了一個用于角色一致對話生成的RL框架，解決了在基于角色的對話模型中區分訓練目標的挑戰。

（2）這是第一項用NLI技術來增強角色一致性對話生成的工作。

（3）實驗結果表明，提出的模型優于強基準，尤其是在角色一致性方面。

概念及模型

目標是學習一個生成模型G以生成角色信息一致的對話。形式化定義如下：給定輸入X，角色信息的集合P={P1,P2...,Pn},目標是生成一個回復Y,即Y=G(X,P)。此外，附加一個自然語言推理模型NLI，生成的回復需要滿足NLI(P,Y)∈{E,N},其中E表示一致，N表示中立。

圖1 一致性對于回復質量的影響

圖2? 模型總體結構圖

如圖2所示，該文所提出的一致性對話生成框架由兩部分組成：一個序列生成器G（Generator）和一個評估器（Evaluator）E。其中，評估器E由兩個子模塊組成，分別是一致性檢測模塊（一致，中立，矛盾）和自然度檢測模塊（自然，不自然）。在本文的任務中，一個理想的回復應該是看起來很自然并且與給定的角色信息保持一致的，即：

自然度模塊 E_N是一個二分類器，用于判斷給定的回復來自模型生成還是訓練數據。論文把輸入的回復通過雙向GRU編碼為向量表示，然后通過多層感知器網絡及SoftMax函數輸出二分類概率。E_N的訓練目標是最小化預測結果和真實標簽之間的交叉熵損失。來自E_N的獎勵定義R₁為E_N將給定回復預測為來自訓練數據的概率。

一致性模塊 E_C是一個NLI的分類器。E_C被訓練來預測<角色信息，回復>之間的一致性關系，共有一致，中立和矛盾三種情況。由于首次嘗試使用該方法來建模一致性，為了更好的探索自然語言推理技術模型對于提高回復一致性的幫助作用，論文使用了2個效果有明顯差別的自然語言推理技術模型，Base模型和BERT模型，以觀察對最終效果的影響。其中，Base模型為GRU+Interaction+MLP的典型NLI模型；BERT模型實在BERT_base的基礎上進一步微調得到的。最終，來自一致性模塊E_C的獎勵定義為：

E 是回復與角色信息一致的置信度，C 是回復與角色信息矛盾的置信度。通過該獎勵函數，希望鼓勵模型盡可能生成一致的回復并減少不一致回復的生成。

生成器 G 是一個用GRU作為基本單元，使用Seq2Seq的結構的生成模型。角色信息文本作為了輸入的一部分。此外，在生成過程中的每一步都使用了展開（rollout）的方式來獲取對于當前位置更為精確的獎勵估計。最后用于優化 G 的獎勵函數為：

R = 0.4R₁ + 0.6R₂

實驗

論文在公開的PersonaChat數據集上進行了實驗。實驗評價主要考慮兩個方面：

1.回復的一致性。考慮到有限樣本的情況下人工標注難以得到足夠的一致類別的樣本，論文主要使用自然語言推理技術模型DIIN對生成的回復進行分類。結果如表1所示。其中，論文的方法縮寫為RCDG，即Reinforcement Learning based Consistent Dialogue Generation。Entail.表示回復與角色信息一致的比例，值越高越好；Contr.表示回復與角色信息相矛盾的比例，值越低越好。同時，論文也給出了測試數據的相關比例。可以發現，PersonaChat中并非所有對話都與角色信息相關。此外，論文也的確在數據集中發現了極個別存在的矛盾回復。

2.?回復的質量。對回復質量的評價按照慣例進行，包括了客觀指標（表2）和主觀評價（表3）兩部分。客觀指標包括衡量流暢性的困惑度（ppl），衡量語義相似度的embedding metrics（Ave., Grd., Ext.）以及衡量多樣性的Distinct-2（Dst.）。主觀評價使用了0-2的總體質量打分方式。

表1 角色一致性評價結果

表2 對話質量自動指標結果

總結

在該項工作中，論文探索了利用自然語言推理技術來建模開放域對話生成中人物角色一致性的問題。為此，論文將該任務轉化為一個強化學習問題，并在生成模型中利用自然語言推理技術信號提高回復的一致性。通過在PersonaChat數據集上的實驗，論文證明了論文的方法相比于基線模型獲得了有效提升。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 - AAAI2020 | 利用自然语言推断生成人称一致的对话的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。