?PaperWeekly 原創(chuàng) ·?作者｜金金

單位｜阿里巴巴研究實習生

研究方向｜推薦系統

論文標題：

Learning to Truncate Ranked Lists for Information Retrieval

論文來源：

AAAI 2021

論文鏈接：

http://www.bigdatalab.ac.cn/~gjf/papers/2021/AAAIa.pdf

簡介

本文由中科院發(fā)表于 AAAI 2021。排序列表截斷在諸如專利搜索或法律搜索之類的各種專業(yè)信息檢索應用中至關重要。目的是根據用戶定義的目標動態(tài)確定返回的文檔數，以便在結果的總體效用和用戶需要付出的精力之間取得平衡。

在這項工作中，作者提出了一個名為 AttnCut 的基于全局決策的截斷模型，該模型直接優(yōu)化了用戶定義的目標，用于排序列表截斷。具體來說，作者采用 Transformer 架構來捕獲排序列表中的全局依存關系以進行截斷決策，并采用獎勵最大化最大似然（RAML）進行直接優(yōu)化。

模型

本文的模型采用已經比較的成熟的 Transformer 架構，具體來說，作者首先使用抽取了文檔一些列的特征，并使用雙向 LSTM 得到每個文本的表示；然后使用注意力機制，進一步捕獲全局信息；最后通過多層感知機和 softmax 層輸入每篇文檔作為截斷位置的概率。

在訓練階段，作者使用 RAML 進行訓練，具體來說，作者首先定義了輸出的分布如下：

在原來的訓練方法之中，一般都采用對所有截斷錯誤的樣本進行優(yōu)化，直接采用 MLE 的損失函數如下：

但是這沒有考慮輸出的全局分布信息，本文作者將輸出分布嵌入損失函數中，轉而對全局的輸出分布進行優(yōu)化，損失函數如下：

這種損失使本文的模型分布達到了標準化的獎勵分布。作者可以直接優(yōu)化此新的目標分布函數，以學習 AttnCut。可以看到，這種學習標準很容易實現。這也是幾乎所有現有排名列表截斷模型都采用的通用學習準則。

實驗

本文在 Robust04 和 MQ2007 兩個數據集上進行實驗，首先使用 BM25 和 DRMM 返回結果列表，并和當前 baseline 進行對比，主要考慮返回固定的長度、已有自動截斷模型和 ground truth，整體結果來看，本文提出的模型都達到了最好的效果。

在此基礎上，作者觀察了 RAML 的效果，分別和直接使用 MLE，使用 BiCut 的訓練方法和強化學習三種形式進行對比，實驗結果發(fā)現，本文提出的優(yōu)化方法可以在現有的模型中取得最好的效果，從而驗證了其有效性。

結論

在本文中，作者提出了直接優(yōu)化用戶定義的目標以用于排序列表截斷的方法，目的是從全局角度做出最終的截止決策。作者利用 Transformer 架構來捕獲排名列表中的長期依賴關系，并采用 RAML 進行模型學習。

實驗結果表明，本文的模型可以大大優(yōu)于最新方法。在將來的工作中，作者計劃考慮一些與多樣性相關的文檔表示函數，以獲得更好的文檔表示形式，并將模型擴展到實際的檢索應用程序，例如移動端搜索。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質內容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的AAAI 2021 | 学习截断信息检索排序列表的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。