論文筆記整理：婁東方，浙江大學博士后，研究方向為事件抽取。

---

Vedula N, Lipka N, Maneriker P, et al. Open Intent Extraction from Natural Language Interactions[C]//Proceedings of The Web Conference 2020. 2020: 2009-2020.

來源：WWW2020

鏈接：

https://dl.acm.org/doi/abs/10.1145/3366423.3380268

近年來，NLU和語音識別方面的技術進步促進了聊天代理（Siri, Cortana, Alexa等）的繁榮。在人機交互過程中，代理機器人需要對用戶語句進行解析和理解，尤其是確定用戶所表達的意圖。例如，從”Please make a 10:30 sharp appointment for a haircut”識別出意圖” makinga haircut appointment”。考慮到交互過程中可能有新意圖類型不斷涌現，該場景下它實際是一個開放意圖識別問題。

現有方法中，一般將交互文本中的意圖識別視為多分類問題。它在封閉意圖下表現較好，但不能識別新意圖或訓練過程中未見的意圖；且現有數據中單個語句一般只包含一個意圖，很難覆蓋現實多意圖情形。零樣本學習通過學習新類別知識以構建相應分類器，但新類別必須明確定義并構建相應知識。其他一些方法只能判斷是否包含新意圖，但無法給出具體描述。

Motivation

1.開放意圖識別關鍵在于構建一個統一的schema，它既能建模當前已知意圖，也能刻畫新的、未知的意圖。本文提出的意圖schema包括兩部分：（1）Action, 明確意圖、任務或動作的詞語；（2）Object, 是指Action實施對象實體詞。

例如，語句”Please make a 10:30 sharp appointment for a haircut”中，Action為“make”,Object為“appointment”。

2.直覺地，基于Action + Object的意圖schema，可將開放意圖識別形式化為序列標注問題。其中，標簽集合包括Action, Object, None；且抽取的意圖對必須同時包含Action和Object對象。

Model

Figure 1 開放意圖抽取框架OPINE

如圖1所示，本文提出的OPINE框架主要包括：對抗訓練，Bi-LSTM語義編碼，Multi-head attention機制，帶約束的CRF，生成意圖等。OPINE框架相對簡潔，且在各階段都進行了精細處理。具體如下，

(1)對抗訓練

為提升整體模型的魯棒性，該框架對輸入embedding添加擾動，但不改變輸出標簽，進而使得模型對embedding的微小變動穩健。具體而言，

在訓練過程中，給embedding添加最差情況下的干擾信號。并用一階導數進行逼近，

最終損失函數為原始數據和對抗樣本分別損失的加權平均。生成的對抗樣本中，只保留與原始樣本embedding高于某個閾值的數據。

(2)?Bi-LSTM

利用Bi-LSTM捕捉上下文語義信息。

(3)?Multi-head attention

應用transformer結構中的multi-head attention機制，學習長距離依賴關系。

(4)?帶約束的CRF

CRF在序列標注任務中被廣泛應用，因其具備標簽序列依賴建模能力。意圖schema對標簽序列存在約束——必須同時包含Action和Object標簽。本文提出兩種方法將該約束融進來：a) 適應的beam search, 如果約束條件不滿足，則取下一個最有可能的序列；b) 適應的Viterbi算法，將解碼問題轉化為整數線性優化問題，并將約束條件加進來。

(5)?生成意圖

考慮到單個語句中可能存在多個意圖，這需要我們對CRF層輸出的標簽進一步加工，從而得到Action-Object對。本文考慮兩種方法：a) 基于距離的啟發式拼裝，將相距較近的Action-Object配對成一個完整意圖；b) 基于MLP分類器，以候選Action-Object對的詞向量和距離作為MLP的輸入，分類判斷是否構成意圖對。

Experiment

本文作者構造一個意圖抽取數據集（Stack Exchange data）：總共75000個問題，其中25000個問題包含抽取的意圖標注結果，另50000個問題基于Stanford CoreNLP依存分析工具解析得到verb-object關系。評估步驟：（1）、基于50000個問題的解析結果對BERT模型進行調整；（2）、基于25000個問題的標注數據進行精調、測試。評價指標包括：Action結果的P, R, F1; Object結果的P, R, F1；意圖對Action-Object的P, R, F1；抽取意圖向量表示（所有token的GloVe向量的平均）與標注意圖向量表示的余弦相似度。

Figure 2 OPINE框架在Stack Exchange data上的表現

從圖2可以看到，本文提出的OPINE相較于現有SRL、依存分析等更優，抽取意圖的相似度提升超過0.1。

Figure 3 OPINE在domain adaption中的表現。“+td”表示測試domain在訓練過程可見，“-td”表示測試domain在測試過程中不可見

圖3顯示OPNIE具備較強的可遷移性，新domain情形較現有domain的表現下降幅度都在5%以下。

Figure 4 OPINE在SNIPS和ATIS上的表現

本文提出的抽取式開放意圖識別框架OPINE在圖4中得到充分證明，基于這種思路可學到語言的底層信息，模型具備很強的遷移性。具體而言，OPINE + classifier指基于Stack Exchange data訓練的模型獲取編碼，給定SNIPS和ATIS的意圖類別數，OPINE + classifier基于層次聚類獲得最終預測標簽（完全的domain遷移），在兩個數據集下取得了與封閉意圖識別SOTA相當的結果。具體聚類效果圖如圖5所示。

Figure 5 OPINE + classifier在SNIPS數據上的聚類結果

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 - WWW2020 | 从自然语言交互中提取开放意图的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。