最新进展概述：澄清式提问辅助理解信息检索中的用户意图
?PaperWeekly 原創 ·?作者｜金金
單位｜阿里巴巴研究實習生
研究方向｜推薦系統
用戶使用搜索引擎的過程中，通常很難用單一的查詢表達復雜的信息需求。在真實應用的過程中，用戶需要根據當前搜索引擎的展示結果反復修改查詢詞。這一過程極大地增加了用戶搜索的負擔，影響了用戶的搜索體驗。
近期，澄清式提問（Asking Clarifying Questions）的提出為該問題的解決提供了新的思路。該方法根據用戶給出的查詢提出相關問題，從而更好地理解用戶意圖，展示更符合用戶需求的排序結果，提高用戶對搜索過程的滿意度。本文將概述該方向的一些最新研究進展。
從任務提出到簡單實現
論文標題：Asking Clarifying Questions in Open-Domain Information-Seeking Conversations
論文來源：SIGIR 2019
論文鏈接：https://arxiv.org/abs/1907.06554
本文發表于 SIGIR 2019，該論文首先提出了“通過澄清式提問理解信息檢索中的用戶意圖”的任務；然后針對已有的查詢，根據搜索引擎的查詢詞建議或已知的不同用戶意圖，人工構造澄清式問題和答案；在此基礎上提出了根據查詢和歷史問答記錄檢索并選擇當前問題的深度學習模型 BERT-LeaQuR 和 NeuQS。
1.1 任務流程
作者首先定義了搜索引擎中澄清式提問的流程（如圖1所示）。根據用戶初始的查詢，系統建立用戶需求表示，使用該需求表示分別檢索相關文檔和生成并選擇可能提出的澄清式問題。用戶根據系統展示的澄清式問題給出回答，系統則聯合建模問答記錄和查詢，生成新的用戶需求表示，以更好的檢索相關文檔。
▲ 圖1. 搜索引擎中澄清式提問的流程
1.2 數據收集
作者此后建立了第一個用于搜索引擎澄清式提問的數據集 Qulac。具體構造流程如下：
形成查詢-意圖集合：作者使用 TREC Web track 09-12 中的 198 條主題作為初始查詢，并將各主題分解為它包含的不同方面作為用戶意圖。統計信息顯示，每個查詢平均有 3.85 項意圖，完整數據集共包含 762 項查詢-意圖對。
提出澄清式問題：作者邀請了多名標注人員，使其模仿對話代理的行為。標注人員根據已有的各主題包含的意圖或搜索引擎自動生成的查詢推薦為依據，為各查詢提出澄清式問題。
編輯問題答案：作者邀請另一組標注人員，針對每一個澄清式問題，在給定查詢和意圖描述的情況下，手動編輯問題答案。
經過對無效問題的過濾，統計信息顯示，完整數據集共包含 2639 條澄清式問題與 10277 項問題-答案對。
1.3 問題檢索-選擇模型
給定查詢 和歷史問答記錄 （包括歷史問題和用戶答案）的條件，該模型的目的是預測系統應提出的下一問題 。具體來說，該模型包含兩個部分：問題檢索模型 BERT-LeaQuR 和問題選擇模型 NeuQS。
問題檢索模型根據給定的查詢 選擇 top-k 的澄清式問題 ，具體來說，該模型首先使用 BERT 生成查詢和問題的表示，并將二者拼接輸入全連接神經網絡得到該問題被選擇的概率 ：
問題選擇模型在檢索結果的基礎上進一步建模，選擇向用戶提出的問題。該模型同時考慮查詢表示 ，問答上下文表示 ，候選問題表示 ，檢索結果表示 和查詢表現表示 ，從而得到選擇分數。
其中檢索結果表示使用 top-k 檢索文檔的檢索分數表示，查詢表現表示使用 QPP 模型計算 top-k 檢索文檔在不同排序位置的最大表現分數：
生成澄清式問題和候選答案
論文標題：Generating Clarifying Questions for Information Retrieval
論文來源：WWW 2020
論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3366423.3380126
本文發表于 WWW 2020，主要貢獻在于提出了生成澄清式問題和候選答案的方法。具體來說，本文首先提出了澄清問題的分類，然后使用模版補全算法生成澄清式問題，在此基礎上，將這些問題作為模型訓練的弱監督信號，訓練生成澄清式問題的監督學習算法和強化學習算法，最后討論了候選問題的選擇方法。
2.1 監督學習算法QLM
作者首先為每個獨立查詢建立 aspects（即可能出現的查詢修改）。作者通過研究查詢重構日志，針對每個獨立查詢，將出現過的查詢增加方式作為該查詢的一種 aspect，在此基礎上，作者使用 NCF 算法得到每一 aspect 的概率分布 。
此后作者根據 query string, entity type of the query, the entity type for the majority aspects of the query 三類信息，補全以下模版，生成訓練模型的弱監督信號：
▲ 圖2. 問題補全模版
最后，作者使用簡單的 encoder-decoder 模型，首先建模查詢和它的各個 aspects，然后解碼生成新的問題，具體算法流程如下圖所示：
▲?圖3. QLM算法框架
2.2 強化學習算法QCM
考慮到監督學習算法很難突破原有模版補全生成問題的局限性，作者在此基礎上提出強化學習算法 QCM，該算法希望最大化澄清實用性，具體來說，作者使用 REINFORCE 算法最小化損失函數 如下：
其中 是澄清性估計函數， 是 QCM 生成的問題， 是 QLM 生成的問題，作者希望提出的問題 澄清查詢 意圖的概率 最大，該概率在給定候選答案集合 和意圖集合 的情況下計算方法如下：
所提及的三部分概率計算方法如下：
：該部分僅取決于查詢和意圖，與提出的問題和候選答案相獨立，故可使用 NCF 算法得到每一 aspect 的概率分布 替代。
：該部分取決于答案和意圖的匹配程度，具體計算方法由兩者詞向量余弦相似度平均值得到。
：該部分使用 query text, query entity type 和 answer entity type 三部分計算，構造輸入以上三者輸出所有候選答案的類 word2vec 模型。具體實現候選答案和 answer entity type 可用新增查詢詞項 及其 entity type 替代。
作者使用人工標注數據集驗證生成問題的質量，發現強化學習算法 QCM 優于監督學習算法 QLM 和模版補全算法。
用戶交互行為分析
論文標題：Analyzing and Learning from User Interactions for Search Clarification
論文來源：SIGIR 2020
論文鏈接：https://arxiv.org/abs/2006.00166
本文發表于 SIGIR 2020，分析了澄清式問題在真實搜索引擎應用過程中對用戶的影響。具體來說，作者首先分析了用戶更傾向于使用澄清式問題的情景（包括澄清式問題自身的特征和查詢特征），然后分析了用戶在候選答案中的點擊偏差，最后使用用戶交互數據優化澄清式問題選擇模型。
3.1 交互行為分析
作者使用上文提及的第二篇論文中提到的問題生成方法，在真實的搜索環境中生成澄清式問題，總結了以下因素對用戶參與澄清式問題的影響：
問題生成模版：更具體的問題會有更多的用戶參與；
候選答案數量：候選答案超過2個后用戶參與程度變化不大；
答案選擇的分布：問題答案點擊分布的熵最大或中等水平時，用戶參與程度最高；
查詢長度：查詢較長時，用戶參與程度較高；
查詢類型：自然語言問題類的查詢，用戶常參與澄清式問題；
歷史點擊數據：被點擊的 URL 數量和點擊分布的熵越大時，用戶參與程度越高。
同時作者邀請標注人員針對使用澄清式問題前后的頁面進行滿意度層面打分（Good, Fair, Bad 三個等級）。結果發現使用澄清式問題后，用戶的滿意度顯著提高。
3.2 問題選擇模型
作者在此基礎上，提出了查詢-問題表示生成模型，從而根據當前查詢選擇澄清式問題。
該模型分為 Intents Coverage Encoder 和 Answers Consistency Encoder 兩部分。前者將查詢 、候選答案集合 和意圖 拼接輸入 BERT 模型，并使用意圖權重 作為注意力分數生成意圖覆蓋表示 。
后者將查詢 、候選答案 和它的實體類型 拼接輸入 BERT 模型，生成答案一致性表示 。最后將二者拼接輸入全連接網絡以預測當前問題是否應該被選擇。
▲ 圖4. 問題選擇表示模型架構圖
作者在用戶點擊數據上訓練重排序任務，并在用戶滿意度數據上訓練問題選擇任務，取得了較好的效果。
基于Transformer的多任務多資源框架
論文標題：Guided Transformer: Leveraging Multiple External Sources for Representation Learning in Conversational Search
論文來源：SIGIR 2020
論文鏈接：https://arxiv.org/abs/2006.07548
本文發表于 SIGIR 2020，提出了一種基于 Transformer 的多任務多資源框架，用于解決下一問題預測和文檔排序任務。
具體來說，作者利用兩種類型的外部 source（即偽相關反饋獲得的文本和澄清式問答記錄），結合查詢與目標文本/問題，輸入 BERT 和 Guided Transformer 模型，生成相關性表示信號，預測目標問題的被選擇概率或目標文本的相關性標簽。
另外，作者結合意圖描述定義任務實現多任務學習，提升模型效果。該框架在兩項任務上均取得 SOTA 效果。
4.1 Guided Transformer
Guided Transformer 通過 Input Self Attention, Multi Source Self Attention 和 Multi Source Cross Attention 為輸入與外部資源生成新的表示，具體流程如下圖：
▲ 圖5. Guided Transformer圖解
Multi Source Cross Attention 使用外部 source 表示生成新的 input i-th token 表示 ，其中 由 中各 token 表示和 input i-th token 表示計算內積并通過 softmax 函數得到，而 由各 source 第一個 token 表示和 input i-th token 表示計算內積并通過 softmax 函數得到：
4.2 多資源多任務學習框架
該框架在給定查詢 ，對應的意圖集合 和歷史問答記錄 的情況下，計算目標問題的被選擇概率或目標文本的相關性標簽。
具體來說，該框架將查詢、澄清式問答和目標文本拼接輸入 BERT 模型（輸入形式：[CLS] query tokens [SEP] clarifying question tokens [SEP] user response tokens [SEP] document tokens [SEP]），并通過多層 Guided Transformer layer，將 [CLS] token 作為相關性表示信號，預測最終標簽。
此外，該框架在目標任務（即下一問題預測或文檔排序任務）的基礎上，通過意圖定義這一輔助任務的聯合學習提升模型效果。
▲ 圖6. 多資源多任務框架流程圖
總結
本文概述了信息檢索中澄清式提問的一些最新進展，研究者們完成了“任務提出-問題生成算法-用戶行為分析-問題選擇/文本排序框架”等工作，不難發現澄清式提問對用戶意圖的理解幫助較大。
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的最新进展概述：澄清式提问辅助理解信息检索中的用户意图的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 中国医生票房破九亿 感动了无数观众
- 下一篇： 消息称 OpenAI 要求新一轮投资者不