?作者｜高崇銘、雷文強等

來源｜社媒派SMP

背景介紹

推薦系統為工業界帶來了巨大的收益。大多數推薦系統都是以靜態的方式工作，即從用戶歷史的交互中來推測用戶的興趣愛好從而做出推薦。然而，這樣的方式有缺陷，具體來說，兩個較重要的問題無法被解答：1）用戶目前具體喜歡什么？2）用戶為什么喜歡一個商品？

對話推薦系統（Conversational Recommender Systems，CRSs）的出現，從根本上解決這個問題。其打破了傳統靜態的工作方式，動態地和用戶進行交互，獲得用戶的實時反饋，進而向用戶做出心儀的推薦。此外，借助自然語言的這一工具，CRSs 還可以靈活地實現一系列任務，滿足用戶的各種需求。

本文將總結 CRSs 中的五個任務梳理其難點。最后本文對 CRSs 未來的科研方向進行了探討和展望。

論文標題：

Advances and Challenges in Conversational Recommender Systems: A Survey

論文鏈接：

https://arxiv.org/abs/2101.09459

論文作者：

高崇銘（中國科學技術大學），雷文強（新加坡國立大學），何向南（中國科學技術大學），Maarten de Rijke（荷蘭阿姆斯特丹大學），Tat-Seng Chua（新加坡國立大學）

注：本文根據 tutorial [1] 深度擴展。

CRSs的定義與架構

▲ 圖1.?CRSs的架構

目前，CRSs 還沒有主流、統一的定義。本文將 CRS 定義為：能通過實時的多輪對話，探出用戶的動態喜好，并采取相應措施的推薦系統（“A recommendation system that can elicit the dynamic preferences of users and take actions based on their current needs through real-time multiturn interactions using natural language.”）。?

其架構可以用三個模塊來組成，其中一個用戶接口模塊（User Interface）負責直接與用戶進行交互；一個推薦引擎（Recommender Engine）負責推薦工作；還有一個最為核心的對話策略模塊（Conversation Strategy Module）負責統籌整個系統的任務、決定交互的邏輯。本文總結了五個具有挑戰的任務和研究方向，分別對應到這三個模塊中。

CRSs的定位與作用

3.1 CRSs與傳統推薦系統的區別

傳統推薦系統是靜態的：其從用戶的歷史交互信息中來估計用戶偏好。而 CRSs 是動態地與用戶進行交互，在模型有不確定的地方，可以主動咨詢用戶。故 CRSs 能解決傳統推薦系統做不到的一些事兒。?

一方面，傳統推薦系統不能準確的估計用戶目前具體喜歡什么東西（What exactly does a user like?）這是由于用戶的歷史記錄通常很稀疏，而且充滿噪聲。舉例來說，用戶可能做出錯誤決策，從而購買過一個不喜歡的東西。且用戶的喜好是會隨著時間改變的。?

另一方面，傳統推薦系統不能得知為什么用戶喜歡一個東西（Why does a user like an item?）舉例來說，用戶可能由于好奇購買一個東西，可能由于受朋友影響購買一個東西。不同理由下的購買，其喜好動機和程度都是不一樣的。?

受益于 CRSs 的交互能力，CRSs 能解決傳統推薦系統做不到的以上兩點內容。系統在不確定用戶具體偏好，以及為什么產生該偏好時，直接向用戶詢問即可。

3.2 CRSs與交互式推薦系統的區別

交互式推薦系統可以視為 CRSs 的一種早期雛形，目前仍然有交互式推薦系統的研究。大多數交互式推薦系統，都遵循兩個步驟：1）推薦一個列表；2）收集用戶對于該推薦的反饋。然后往復循環這兩個步驟。

然而這并不是一種好的交互模式。首先，這種交互太單調了，每輪都在循環推薦和收集反饋，很容易讓用戶失去耐心；其次，一個好的推薦系統應該只在其置信度比較高、信心比較充足的情況下進行推薦；最后，由于商品的數量巨大，用推薦商品的方式來了解用戶的興趣喜好，是低效的。

而 CRSs 引入了更多的交互模式。例如，其可以主動問用戶問題，例如問關于商品屬性的問題：“你喜歡什么樣顏色的手機？”“你喜歡關于搖滾類樂曲嗎？”豐富的交互模式克服了交互式推薦系統的三個問題，用更高效的方式來進行交互，從而快速獲得用戶的興趣愛好，在信心比較充足的情況下，才作出推薦。

3.3 CRSs與任務型對話系統的區別

兩者沒有本質上的區別，然而兩者在目前的實現方式和側重點上有差異。目前，大多數任務型的對話系統，主要關注點還是自然語言處理的任務，而非檢索、推薦任務。任務型對話系統也有一個對話策略（Dialog Policy）模塊作為核心模塊來進行任務的統籌和規劃，但由于其側重對話本身，其訓練和工作方式還是以從人類的文本（訓練集）中擬合特定模式為主，同時加入知識圖譜等信息作為輔助，來進行監督學習式訓練，最終使得系統能生成流暢合理的自然語言以回復用戶以完成某一特定任務。?

有學者在實驗探究中發現，用基于任務型對話系統實現的對話推薦，存在一些問題 [2]。首先系統“生成”的對話，并不是真正意義上的生成，所有詞匯、句子都在之前的訓練文本中出現過。而且，這種方式產生的推薦，質量并不令人滿意。?

相比較任務型對話系統，CRSs 關注的重點并不在于語言，而是推薦的質量。CRSs 的核心任務，還是利用其交互的能力去想方設法獲得用戶喜好，做出高質量體檢。與此同時，CRSs 的輸入輸出可以用基于規則的文本模版來實現。當然，這并不代表語言不重要。隨著技術的的發展迭代以及學者們研究方向的重合，不同領域的差距將越來越小。

重要的研究方向

4.1 基于問題的用戶偏好刺探

CRSs 的一項重要功能，是實時地向用戶進行提問，以獲得用戶的動態偏好。這其中，各式方法可以分為兩個類。一是詢問商品，即收集用戶對推薦商品本身的喜好；二是詢問用戶對商品屬性的偏好，例如“你喜歡搖滾類的音樂嗎？”一個基于路徑推理的 CRS 示意圖如下。原文表 1 總結了各種 CRSs 的工作原理。更多細節請看原文。

▲?圖2. 一個基于路徑推理的CRS工作示意圖（來源[3]）

4.2 多輪對話推薦策略

CRSs 的一個核心任務是關注如何問問題，即什么時候問問題，什么時候做推薦。本文總結了集中模式，包括“問一輪推一輪”、“問 X 輪推一輪”，“問 X 輪推 Y 輪”幾種方式。其中 X 和 Y 可固定或由模型決定。圖 3 給出了一個“問 X 輪推 Y 輪”的 CRS 模型示意圖。

除了提問以外，CRSs 也可考慮其他多輪對話策略，如加入閑聊以增加趣味，或者加入說服，協商等多樣化的功能以進一步引導對話。原文表 2 總結了 CRSs 的多輪對話策略。

▲?圖3. CRS中的多輪對話策略示意圖 （來源[4]）

4.3 自然語言理解及生成

處理用戶多樣化的輸入以及靈活的輸出，也是 CRSs 中的一大挑戰。目前的 CRSs 多數還是以基于提前標注的輸入以及基于模版的輸出為主，少數 CRSs 以對話系統的模式出發來考慮直接處理自然語言和生成自然語言。這是因為 CRSs 的主要目標還是保證推薦的質量，而非語言處理能力。原文表三總結了兩個分類下的部分工作。

4.4 探索與深究之間的權衡

探索與深究是推薦系統中一個重要的研究方向，也是處理冷啟動用戶的一個有效手段。探索意味著去讓用戶嘗試以往沒有選擇過的商品，而深究則是利用用戶之前的喜好繼續推薦。前者冒著用戶可能不喜歡的風險，但能探索到用戶一些額外的喜好；后者則安全保險，但一直陷入在已知的局部偏好中，不去改變。

這就如同經典的多臂老虎機問題（Multi-armed Bandit, MAB），如圖 4，一個賭徒可以選擇多個老虎機的搖桿進行下拉。每個搖桿? 下拉后的收益期望 μ 是可以根據多次實驗估計出來的，但由于實驗次數有限，對收益的估計存在不確定性? 。若要追求全局最優點，便需要從嘗試新搖桿（Exploration）與選擇目前已知的高收益搖桿（Exploitation）這兩者中不斷交替權衡，從而達到長期的高收益。?

由于 CRSs 和交互式推薦系統一樣，都可以實時地獲得用戶的反饋，于是 MAB 問題以及一系列解決方法都可以應用在 CRSs 與交互式推薦中。此外，除了經典的 MAB 算法，Meta learning 的方法也可以應用在 CRSs 中來解決冷啟動或者 EE 問題。原文表 4 中列舉了一些工作。

▲?圖4. 多臂老虎機問題

4.5 模型評測和用戶模擬

算法評測是個很重要的問題，在 CRSs 中，由于有些算法要求文本數據，有些算法要求實時交互數據，故有工作從眾包平臺采集實時交互的對話數據。而有些工作則另辟蹊徑，從已有的推薦數據集中造出用戶模擬器（User simulators）來與 CRS 模型進行實時的交互。原文表 5 列舉了目前 CRSs 中常用的數據集。?

關于 CRSs 的評測指標。本文將其分為兩個層級，第一個層級是每一輪級別的評測，其中值得評測的量包括推薦的質量，指標用推薦中常用的Rating-based指標，如 RMSE 或者 Ranking-based 指標，如 MAP，NDCG。另一個值得評測的量是文本生成的質量，指標包括 BLEU 與 ROUGE 等。第二個層級是對話級別的評測，主要關心的量是對話的平均輪次（Average Turns, AT），在 CRS 任務中，越早推中用戶喜歡的商品越好，故對話的輪次越短越好。另外一個指標是對話在特定輪次的成功率（Success Rate@t, SR@t），該指標越高越好。?

由于用戶參與的交互通常很慢且難以獲取，CRSs 的評測依賴用戶模擬器。常用的用戶模擬策略包括：

1. 從歷史交互中直接模擬出用戶在線的偏好，然而這種方式存在問題：歷史交互通常非常稀疏，模擬出的用戶無法回答那些空缺值處的喜好；

2. 先補齊用戶歷史交互中的空缺值，用補齊后的交互來模擬用戶在線偏好。這種方式潛在的風險是補齊算法難免引入額外偏差；

3. 利用用戶對商品的在線評論進行模擬。由于用戶對商品的評論中包含很多可以反映用戶偏好的屬性信息，這種模擬方式將帶來更全量的信息；

4. 從歷史的人類對話文本庫中模擬出用戶，其適用于讓 CRS 系統來模擬訓練數據中的模式及語言的模型。

展望未來的可做方向

5.1 對CRSs的三個模塊進行協同優化

CRSs 包含三個模塊，用戶界面、對話策略模塊以及推薦引擎。很多 CRSs 的工作將它們分開進行優化。然而這三個模塊在任務上是有交叉的地方，需要考慮對它們考慮協同優化。

5.2 關注CRSs中的偏差并進行去偏差

推薦偏差近年來受到研究者們很大關注，原因是觀測到的數據中通常存在各式各樣的偏差，例如選擇性偏差，即用戶傾向于選擇自己更喜歡的東西進行交互，這就使得沒有觀測到的東西與觀測到的東西有著不一樣的喜好分布。因此不能簡單地用觀測到的東西的分布來估計空缺值。除此之外，觀測數據中其他偏差，可參考另外一篇綜述 [5]。雖然 CRSs 的實時交互可以部分緩解這些偏差問題，然而偏差依然會影響推薦結果。故去除 CRSs 中的偏差是一個有意義的研究方向。

5.3?設計更智能的對話策略

CRSs 最核心的部件是對話策略模塊。目前已有工作考慮的策略還比較基礎簡單。我們可以考慮更加智能的策略，例如將強化學習的最新研究成果應用到 CRSs 的對話策略中。例如，逆強化學習可以自動的學習回報項，元強化學習可以考慮交互非常稀疏場景。

5.4 融入額外信息

讓 CRSs 更加智能的一種直接的方法，便是融入更多信息。這些信息可以是商品知識圖譜，也可以是多模態的信息，例如聲音信息，視覺信息等。處理這些信息的相應算法已經被研究了多年，例如圖卷積網絡等方法，也可利用起來造福 CRSs。

5.5. 開發更好的評測方式以及模擬用戶的方法

僅開發算法還不夠，好的評測方法如同好的指導老師，能指引 CRSs 正確的前進方向。故研究 CRSs 的評測也意義重大。此外，由于 CRSs 的訓練和評測都很依賴模擬用戶，研究更加全面更加靠譜的模擬用戶也是亟待解決的問題。

參考文獻

[1]?Wenqiang Lei, Xiangnan He, Maarten de Rijke, Tat-Seng Chua. 2020. Conversational Recommendation: Formulation, Methods, and Evaluation. SIGIR‘20 Tutorial.?

[2] Dietmar Jannach and Ahtsham Manzoor. 2020. End-to-End Learning for Conversational Recommendation: A Long Way to Go? Proceedings of the 7th Joint Workshop on Interfaces and Human Decision Making for Recommender Systems co-located with 14th ACM Conference on Recommender Systems (RecSys 2020) (2020).?

[3] Wenqiang Lei, Gangyi Zhang, Xiangnan He, Yisong Miao, Xiang Wang, Liang Chen, and Tat-Seng Chua. 2020. Interactive Path Reasoning on Graph for Conversational Recommendation. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD ’20). 2073–2083.?

[4] Wenqiang Lei, Xiangnan He, Yisong Miao, Qingyun Wu, Richang Hong, Min-Yen Kan, and Tat-Seng Chua. 2020. Estimation-Action-Re?ection: Towards Deep Interaction Between Conversational and Recommender Systems. In Proceedings of the 13th International Conference on Web Search and Data Mining (WSDM’20). ACM, 304–312.?

[5] Jiawei Chen, Hande Dong, Xiang Wang, Fuli Feng, Meng Wang, and Xiangnan He. 2020. Bias and Debias in Recommender System: A Survey and Future Directions. arXiv preprint arXiv:2010.03240 (2020).

關于作者

高崇銘，中國科學技術大學博士研究生。本科與碩士畢業于電子科技大學計算機專業，致力于信息檢索、數據挖掘以及推薦系統的前沿研究。曾獲得 DASFAA’19（CCF B）最佳論文獎。

雷文強，新加坡國立大學博士后。博士畢業于新加坡國立大學，本科畢業于華東師大，是華東師大極少數三年半拿到學士學位的畢業生。研究興趣在于自然語言處理以及信息檢索，特別是篇章語義，對話系統以及 human-in-the-loop 技術。在各大頂級會議和期刊發表 20 余篇，包括國際頂級會議 KDD，ACL，MM，EMNLP，AAAI，IJCAI 和頂級期刊 TOIS 等。其中擔任通訊作者的論文獲得 CCF A 類會議 ACM MM 2020 最佳論文獎。他擔任 2020 屆新加坡全國自然語言處理會議 SSNLP 2020 的程序委員會共同主席，并長期擔任各大 CCF A 類會議會議的（高級）程序會員會委員以及 CCF A 類期刊的審稿人。最近，他與信息檢索領域幾位活躍的學者一起在 SIGIR 2020，CCL 2020，CCIR 2020 作了關于題為 Conversational Recommendation: Formulation 的 tutorial。

何向南，中國科學技術大學教授，大數據學院副院長。博士畢業于新加坡國立大學計算機科學專業，致力于信息檢索、數據挖掘和機器學習等人工智能領域前沿研究，取得了豐碩的研究成果。在 CCF A 類會議和期刊發表論文 90 余篇，谷歌學術引用近 9000 次，包括國際頂級會議 SIGIR、WWW、KDD 和頂級期刊 TKDE、TOIS、TNNLS 等。長期擔任這些會議和期刊的審稿人，以及 CCIS 2019（云計算與智能系統IEEE國際會議）的程序委員會主席，AI Open 期刊編委。研究成果曾獲 SIGIR 2016 最佳論文提名獎、WWW 2018 最佳論文提名獎、WWW 2018 最佳海報論文獎等，并在多個商業公司的線上系統獲得應用，取得積極效果。

Maarten de Rijke，荷蘭皇家藝術與科學院院士，荷蘭國家人工智能創新中心主任、荷蘭阿姆斯特丹大學教授。發表論文 900 余篇，h 因子 77，谷歌學術引用近 28000 次。主要研究領域包括自然語言處理、信息檢索、知識挖掘等。多次擔任信息檢索領域重要會議的程序委員會主席，包括 SIGIR, WSDM, WWW, CIKM, ECIR, ICTIR 等，同時擔任人工智能領域頂級期刊的主編。并于 2017 年獲得代表國際信息檢索領域終身成就的 Tony Kent Strix 等獎項。

Tat-Seng Chua，新加坡國立大學計算機學院創始院長，清華大學訪問教授，新加坡國立大學與清華大學聯合研究中心（NExT）主任。h 因子 90，谷歌學術引用超過 33000 次。研究方向包括非結構化數據分析，多媒體信息檢索，推薦系統與對話系統等。其擔任多個國際頂級會議會議的聯合主席，包括 MM 2005, CIVR 2005, SIGIR 2008 以及 WebSci 2015 等，同時是多個期刊的編委會成員。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的何向南教授团队最新综述：对话推荐系统中的进展与未来挑战的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。