作者：一元 公眾號：煉丹筆記

上卷內容: 2020年推薦系統工程師煉丹手冊第二冊上卷

Learning to Collaborate in Multi-Module Recommendation via Multi-Agent Reinforcement Learning without Communication

隨著在線電子商務平臺的興起，越來越多的顧客喜歡在網上購物。為了銷售更多的產品，在線平臺引入各種模塊，推薦具有不同屬性的商品，比如大幅折扣。網頁通常由不同的獨立模塊組成。這些模塊的排序策略由不同的團隊決定，不需要合作就可以單獨優化，這可能會導致模塊之間的競爭。因此，整個頁面的全局策略可能是次優的。在本文中，我們提出了一種新的多智能體協同強化學習方法。我們的貢獻是三倍的。首先，受博弈論中的相關均衡解概念的啟發，我們設計了一個信號網絡，通過為不同模塊生成信號（向量）來促進各模塊之間的協作。其次，提出了一種熵正則化的信號網絡模型，以協調智能體對最優全局策略的探索。此外，基于真實電子商務數據的實驗表明，我們的算法在性能上優于基線。

2. Making Neural Networks Interpretable with Attribution: Application to Implicit Signals Prediction

解釋建議可以讓用戶了解推薦的項目是否與他們的需求相關，并且已經證明可以增加他們對系統的信任。更一般地說，如果設計可解釋的機器學習模型是檢查決策過程的健全性和魯棒性并提高其效率的關鍵，那么對于復雜的體系結構，尤其是通常被認為是“黑匣子”的深層神經網絡來說，這仍然是一個挑戰。在這篇文章中，我們提出了一個新的可解釋的深層神經網絡的公式。與流行的post-hoc方法不同，我們的方法可以通過設計進行解釋。使用掩蔽權值，隱藏的特征可以被深入地歸因，分成幾個輸入受限的子網絡，并作為一個增強的專家混合訓練。在合成數據和實際推薦任務上的實驗結果表明，我們的方法能夠在提供信息性的歸因解釋的同時，建立與不可解釋的對應物接近的預測性能的模型。

3. MultiRec: A Multi-Relational Approach for Unique Item Recommendation in Auction Systems

在以拍賣為基礎的系統中，如二手車交易中心和在線拍賣網站，用戶通常對物品進行競價，然后這些物品被賣給最高出價者。在這些設置中，每個項目都是唯一的，并且只能銷售一次，這意味著用戶的購買歷史記錄將是唯一的，并且不會存在共同的項目。另一方面，物品將不會有任何歷史銷售。這種極端的設置對當前依賴于歷史用戶項交互的推薦系統模型提出了重大挑戰。雖然這些模型中的一些并不完全適用，例如矩陣分解模型、鄰域模型，甚至是最流行的樸素模型，但其余的模型只需要依賴于項目的屬性。在本文中，我們提出了一個簡單的多關系推薦模型MultiRec，它可以無縫地利用用戶和物品屬性以及用戶的出價歷史等輔助關系信息來解決基于拍賣的物品推薦的挑戰。在大眾汽車金融服務二手車中心（Volkswagen Financial Services used cars center）的一個專有數據集和一個真實的公開易趣數據集上的實驗表明，在基于拍賣的獨特物品推薦任務中，所提出的模型明顯優于多個最先進的模型。

4. Offline Contextual Multi-armed Bandits for Mobile Health Interventions: A Case Study on Emotion Regulation

通過手機等普及電子設備提供治療建議，有可能成為長期健康行為管理的可行和可擴展的治療媒介。但是積極的治療方案實驗可能耗時、昂貴，而且在某些情況下完全不道德。越來越多的人對方法學方法感興趣，這些方法能讓實驗者在部署前學習和評估新治療策略的有用性。我們首次開發了一個情緒調節治療推薦系統，使用來自n=114名高社交焦慮參與者的真實世界歷史移動數字數據，以測試新情緒調節策略的有效性。我們探討了一些離線情境下的bandits估計器，并提出了學習算法的一般框架。實驗結果表明，所提出的雙魯棒離線學習算法的性能明顯優于基線方法，表明這種推薦算法可以改善情緒調節。考慮到情緒調節在許多精神疾病中受到損害，而且這種推薦算法可以很容易地擴大，這種方法有可能增加許多人獲得治療的機會。我們還分享了一些見解，這些見解使我們能夠將語境bandit模型轉化為這些復雜的現實世界數據，包括哪些上下文特征對于預測情緒調節策略的有效性最為重要。

5. On Target Item Sampling in Offline Recommender System Evaluation

在離線推薦實驗的配置中，目標選擇是一個基本的但往往是隱含的決策。本文研究了目標抽樣對比較推薦系統評價結果的影響。具體地說，考慮到目標尺寸軸上實驗的信息性和一致性，我們進行了詳細的分析。我們發現，在許多情況下，使用簡化目標集的比較評估與使用大目標的相應結果相矛盾，并且我們對這些分歧提供了一個原則性的解釋。我們進一步試圖確定在矛盾的結果中哪一個更可靠。通過與無偏評價的比較，我們發現在兩兩系統比較中，最小目標集會產生很大的失真，而最大目標集可能也不理想，更好的選擇可能在兩個極端之間。我們進一步找到了在不可能進行無偏評價的情況下告知目標規模設定的方法，通過評估評估的辨別力，這與無偏見評估的一致性顯著一致。

6. Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations(Best Paper)

多任務學習（Multi-task learning，MTL）已成功應用于許多推薦應用中。然而，由于現實世界推薦系統中任務相關性的復雜性和競爭性，MTL模型往往會出現負遷移導致性能退化。此外，通過對SOTA-MTL模型的大量實驗，我們觀察到了一個有趣的蹺蹺板現象，即一個任務的性能通常會通過影響其他任務的性能而得到改善。我們提出了一種新穎的分層結構來解決這些問題。PLE將共享組件和任務特定組件明確分離，采用漸進式路由機制逐步提取和分離深層語義知識，提高了通用環境下跨任務聯合表示學習和信息路由的效率。在一個10億個樣本的騰訊視頻推薦數據集上，我們將PLE應用于復雜相關和正常相關的任務，從兩個任務案例到多個任務案例，結果表明，在不同的任務相關性和任務組規模下，PLE的性能顯著優于最新的MTL模型。此外，在騰訊大型內容推薦平臺上對PLE的在線評價顯示，與SOTA MTL模型相比，瀏覽量增加了2.23%，觀看時間增加了1.84%，這是一個顯著的改進，證明了PLE的有效性。最后，在公共基準數據集上進行的大量離線實驗表明，除了建議消除蹺蹺板現象外，PLE還可以應用于各種場景。PLE目前已成功部署到騰訊在線視頻推薦系統中。

7. PURS: Personalized Unexpected Recommender System for Improving User Satisfaction

經典的推薦系統方法通常會遇到過濾泡泡的問題，當用戶只收到他們熟悉的項目的推薦時，他們會感到厭煩和不滿意。為了解決過濾泡沫問題，意想不到(Unexpected)的推薦被提出，以推薦明顯偏離用戶先前預期的商品，從而通過向用戶呈現“新鮮”和以前未探索過的商品來讓他們感到驚訝。在本文中，本文提出了一種新的個性化意外推薦系統（PURS）模型，該模型通過自我注意機制和選擇合適的意外激活函數，在潛在空間中對用戶興趣和個性化意外進行多聚類建模。在三個真實世界數據集上進行的大量離線實驗表明，所提出的PURS模型在準確性和意外性度量方面都顯著優于最先進的基線方法。此外，我們在一家主要的視頻平臺阿里巴巴優酷（Alibaba Youku）進行了在線A/B測試，我們的模型實現了每用戶平均視頻觀看量增長超過3%的目標。目前公司正在進行部署提出的模型。

8. Recommendations as Graph Explorations

我們認為大多數推薦方法都可以抽象為一個圖探索問題。特別地，我們描述了一個包含兩個主要部分的圖論框架：（a）推薦圖，從推薦的角度對一個（應用）領域的所有元素進行建模，包括推薦的主客體以及它們之間的關系；（b）一組路徑操作，推導出新的邊，即：隱式或未知關系，通過遍歷和組合圖上的路徑。最終產生的路徑代數模型提供了一個抽象和共同的基礎，這有利于三個方面的建議：（a）表達力-表達和隨后使用的幾個顯著不同，現有的，但也新穎的推薦方法被減少到參數化一個獨特的模型；（b）可用性-通過捕獲作為底層路徑代數語義中推薦機制的一部分，推薦方法的規范化變得更簡單、更簡單；（c）處理速度——在圖引擎上實現推薦系統為幾種加速執行的優化打開了大門。我們通過在路徑代數模型中表達許多類推薦方法，并在一個基于廣泛使用的圖系統Neo4J上實現的推薦系統中對其中一些方法進行基準測試，從而證明了上述優點。

9. Recommending the Video to Watch Next: An Offline and Online Evaluation at http://YOUTV.de

“推薦下一個要看的視頻？“的任務長期以來一直是推薦系統研究的焦點。然而，充分挖掘用戶會話行為序列中隱藏的線索，以揭示用戶的短期意圖，直到最近才成為研究的焦點。基于一個實際的應用場景，本文提出了一個基于馬爾可夫鏈的轉移概率矩陣來有效地揭示個體的短期偏好。我們實驗性地評估了我們提出的方法，通過比較它與最先進的算法在離線和實時評估設置。在這兩種情況下，我們的方法不僅顯示出了其優于競爭對手的優勢，而且還暴露了平臺上用戶的參與度明顯更強。在在線環境下，我們的方法將點擊率提高了93.61%。因此，本文通過考慮序列感知為提高推薦有效性提供了現實證據，因為對于生命周期較短的項目，如電視節目（新聞、電視節目等），捕獲用戶的短期偏好至關重要。

10. RecSeats: A Hybrid Convolutional Neural Network Choice Model for Seat Recommendations at Reserved Seating Venues

預測位置選擇（即一個人選擇坐在哪里）是一項具有挑戰性的任務，因為偏好具有高度的異質性，不僅取決于環境中座椅的位置，還取決于其他座椅的位置。在本研究中，我們提出了一個預測地點選擇的框架。該框架通過卷積神經網絡（CNN）對單個層次的離散選擇模型進行擴充，該網絡能夠捕捉可用座位特征之間的高階交互作用。該框架是靈活的，可以適應現實世界的位置選擇數據的復雜性，例如購買的票的數量和過去購買的數量和地點的可變性。應用于地點選擇實驗數據和來自北美大型音樂廳的票務數據，我們表明用CNN增強個體水平的離散選擇模型可以持續提供很強的預測精度。

11. Revisiting Adversarially Learned Injection Attacks Against Recommender Systems

推薦系統在現代信息和電子商務應用中起著重要的作用。雖然越來越多的研究致力于提高推薦的相關性和多樣性，但最先進的推薦模型的潛在風險卻未得到充分的探索，即這些模型可能會受到惡意第三方的攻擊，通過注入虛假的用戶交互來實現其目的。本文重新討論了敵方學習的注入攻擊問題，其中被注入的假用戶行為是由攻擊者用自己的模型在本地學習的，這個模型可能與被攻擊的模型不同，但具有相似的屬性，以允許攻擊轉移。我們發現，現有文獻中的大多數研究都存在兩個主要的局限性：（1）沒有精確地解決優化問題，使得攻擊的危害性降低；（2）對攻擊假設了完美的知識，導致對現實攻擊能力缺乏理解。我們證明，作為優化問題生成假用戶的精確解決方案可能會產生更大的影響。我們在真實數據集上的實驗揭示了攻擊的重要特性，包括攻擊的可轉移性及其局限性。這些發現可以啟發有效的防御方法來對付這種可能存在的攻擊。

12. SSE-PT: Sequential Recommendation Via Personalized Transformer

時間信息對于推薦問題至關重要，因為用戶偏好在現實世界中是動態的。深度學習的最新進展，特別是在自然語言處理中廣泛使用的RNN和CNN之外，發現了各種注意機制和更新的體系結構，使得每個用戶都能更好地使用項目的時間順序。特別是SASRec模型，受自然語言處理中流行的Transformer模型的啟發，取得了最先進的結果。然而，SASRec和最初的Transformer模型一樣，本質上是一個非個性化的模型，不包括個性化的用戶嵌入。為了克服這一局限性，我們提出了一種個性化變壓器（SSE-PT）模型，在5個真實世界的數據集上比SASRec高出近5%NDCG@10。此外，在研究了一些隨機用戶的參與歷史之后，我們發現我們的模型不僅更易于解釋，而且能夠關注每個用戶最近的參與模式。此外，我們的SSE-PT模型稍加修改，我們稱之為SSE-PT++，它可以處理非常長的序列，并且在訓練速度相當的情況下優于SASRec，在性能和速度要求之間取得了平衡。我們新穎的應用隨機共享嵌入（SSE）正則化是個性化成功的關鍵。代碼和數據在https://github.com/fulliwei9278/SSE-PT。

13. TAFA: Two-headed Attention Fused Autoencoder for Context-Aware Recommendations

帶隱式反饋的協同過濾是一類普遍存在的推薦問題，只有購買或點擊等積極的交互才會被觀察到。基于自動編碼器的推薦模型在許多隱式反饋基準測試中表現出了很強的性能。然而，這些模型往往受到受歡迎偏差的影響，使得推薦不那么個性化。用戶生成的評論包含豐富的偏好信息源，通常包含對每個用戶都很重要的特定細節，可以幫助減輕流行偏差。由于并非所有的評論都同樣有用，現有的工作一直在探索各種形式的關注，以提煉相關信息。在所提出的大多數方法中，隱式反饋和審查分支的表示在末尾簡單地連接起來以生成預測。這會阻止模型學習兩種模式之間更深層的相關性，并影響預測精度。為了解決這些問題，我們提出了一種新的雙頭注意力融合自動編碼器（TAFA）模型，該模型聯合從用戶評論和內隱反饋中學習表示來提出建議。我們應用了早期和晚期模態融合，使得模型能夠從兩個輸入源充分關聯和提取相關信息。為了進一步克服流行偏差，我們利用噪聲對比估計（NCE）的目標，通過一個雙頭解碼器架構“去普及”融合后的用戶表示。從經驗上講，我們證明了TAFA在多個現實世界基準上的表現優于領先的基線。此外，通過將注意力權重追溯到評論，我們可以為生成的建議提供解釋，并進一步深入了解用戶偏好。此工作的完整代碼可在以下位置獲得：https://github.com/layer6ai-labs/TAFA。

14. Theoretical Modeling of the Iterative Properties of User Discovery in a Collaborative Filtering Recommender System

推薦系統中的閉環反饋回路是一種常見的設置，可能會導致不同類型的偏差。一些研究通過設計減輕其對建議的影響的方法來處理這些偏差。然而，現有的研究大多沒有考慮系統的迭代行為，其中閉環反饋在將不同的偏差合并到推薦步驟的幾個部分中起著關鍵作用。
我們提出了一個理論框架來模擬推薦系統中不同組成部分在反饋環環境下的漸進演化，并推導了用戶發現和盲點的量化測度的理論界和收斂性。我們還使用真實數據集對我們的理論發現進行了實證驗證，并在我們的理論框架內對基本勘探策略的有效性進行了實證檢驗。
我們的研究結果為量化反饋回路的效果以及設計人工智能和機器學習算法奠定了理論基礎，這些算法在機器學習和推薦過程中明確地包含了反饋回路的迭代性質。

15. Towards Safety and Sustainability: Designing Local Recommendations for Post-pandemic World

COVID-19大流行使得保持社會距離以限制病毒傳播的可能性變得至關重要。同時，當地企業（如餐廳、咖啡館、商店、商場）需要經營，以確保其經濟可持續性。考慮到客戶廣泛使用本地推薦平臺googlelocal和Yelp來選擇本地業務，我們建議設計本地推薦系統，以幫助實現安全性和可持續性目標。我們對現有本地推薦系統的調查顯示，它們可能導致一些企業人滿為患，危及客戶安全，而在其他地方，則會導致客流量非常低，從而威脅到它們的經濟可持續性。另一方面，單純的安全性和可持續性的方法會給客戶帶來巨大的推薦效用損失。因此，我們將該問題形式化地表示為一個多目標優化問題，并通過創新地將其映射到具有多項式時間解的二部匹配問題來求解。對多個真實世界數據集的大量實驗揭示了我們方法的有效性，以及對可持續性、安全性和實用性目標的三向控制。

16. Unbiased Ad Click Prediction for Position-aware Advertising Systems

點擊率預測是構建廣告系統的核心問題。在許多實際應用中，由于放置在不同位置的廣告具有不同的點擊概率，在訓練和預測中都需要考慮位置信息。對于這種位置感知系統，現有方法通過以不同方式利用位置信息，從點擊/不點擊歷史顯示事件中學習CTR模型。在這項工作中，我們解釋說這些方法可能給出一個嚴重偏差的模型。我們首先指出在位置感知系統中，兩種不同類型的選擇偏差在顯示事件中共存。其次，我們解釋了一些試圖消除點擊/不點擊的位置效應的方法可能會有額外的偏差。最后，為了獲得位置感知系統的無偏CTR模型，我們提出了一種新的反事實學習框架。實驗證實了我們對選擇偏差的分析和我們提出的反事實學習框架的有效性。

17. Unbiased Learning for the Causal Effect of Recommendation

增加用戶的積極互動，如購買或點擊，是推薦系統的一個重要目標。推薦者通常會選擇用戶將要與之交互的項目。如果購買了推薦的商品，預計銷售額會增加。然而，即使沒有推薦，這些物品也可以購買。因此，我們希望推薦導致購買的商品。這可以表述為因果關系方面的排序問題。盡管這一問題很重要，但在相關研究中卻沒有得到很好的探討。這是一個挑戰，因為因果關系的基本事實是不可觀察的，并且因果效應的估計容易產生目前已部署的推薦者的偏差。本文針對推薦的因果效應提出了一個無偏學習框架。基于反向傾向評分技術，該框架首先構造了無偏的排序指標估計量。然后，對具有傾向封頂的估計量進行經驗風險最小化，在有限的訓練樣本下減少方差。在此框架的基礎上，我們發展了一個無偏學習方法來擴展一個排名指標。我們從理論上分析了該方法的無偏性，并通過實驗證明了該方法在各種情況下都優于其他有偏學習方法。

18. What does BERT know about books, movies and music? Probing BERT for Conversational Recommendation

像BERT這樣過度預訓練的transformer模型最近顯示出在語言建模方面的強大，在許多下游任務上取得了令人印象深刻的結果。研究還表明，在預訓練后，他們在參數中隱含地存儲了事實知識。了解LMs的預訓練過程實際學到了什么是會話推薦系統（CRS）使用和改進它們的關鍵步驟。我們首先研究的是，經過預先訓練的BERT對書籍、電影和音樂等推薦項目了解多少。為了分析存儲在BERT參數中的知識，我們使用不同的探針（即任務來檢查關于某些屬性的訓練模型），它們需要不同類型的知識來解決，即基于內容的和基于協作的。基于內容的知識是需要模型將項目的標題與其內容信息（如文本描述和體裁）相匹配的知識。相比之下，基于協作的知識需要模型根據社區交互（如評分）將項目與類似項目匹配。我們求助于BERT的Masked語言建模（MLM）的頭部，探索其關于項目類型的知識，并使用完形填空風格的提示。此外，我們使用BERT的下一句預測（NSP）頭和表示相似度（SIM）來比較相關和非相關的搜索和推薦查詢文檔輸入，以探討BERT是否能夠在不經過任何微調的情況下，首先對相關項進行排序。最后，我們研究了BERT在會話推薦下游任務中的表現。為此，我們微調BERT以充當基于檢索的CRS。總體而言，我們的實驗表明：（i）BERT的知識存儲在關于書籍、電影和音樂內容的參數中；（ii）它擁有更多基于內容的知識，而不是基于協作的知識；以及（iii）在面對敵方數據時無法進行會話推薦。

19. Who Doesn’t Like Dinosaurs? Finding and Eliciting Richer Preferences for Recommendation

現實世界中的推薦系統通常允許用戶通過各種偏好誘導技術（如“喜歡”或興趣配置文件）來調整呈現的內容。這些啟發技術通過向驅動推薦的學習組件提供豐富的信號來權衡用戶的時間和精力。在本文中，我們探索這種取舍，尋找新的方式來表達他們的偏好，目的是改善用戶和推薦系統之間的溝通渠道。通過需求發現研究，我們觀察了人們在策展任務中表達偏好的模式，提出了組織偏好的分類法，并指出了研究的機會。我們展示了一個案例研究，它說明了如何使用這種分類法來設計入職體驗，從而在不費力的情況下保持用戶滿意度的同時，獲得更準確的機器學習建議。

---

https://weixin.qq.com/g/AwYAAAEFGM3u96Kcs3y_m96kIQ01wM70bFvjhWWxQqVPf1kgwuTDv76LeWhY_PcD<br>http://weixin.qq.com/r/XSjP1zrEzGezrX60931P (二維碼自動識別)

總結

以上是生活随笔為你收集整理的2020年推荐系统工程师炼丹手册RecSys版的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。