?PaperWeekly 原創 ·?作者｜孫裕道

學校｜北京郵電大學博士生

研究方向｜GAN圖像生成、情緒對抗樣本生成

論文標題：CnGAN: Generative Adversarial Networks for Cross-network User Preference Generation for Non-overlapped Users

論文鏈接：https://arxiv.org/abs/2008.10845

引言

對于推薦系統大家早已見怪不怪了，購物平臺上有淘寶，京東，拼多多，音樂平臺上有 QQ 音樂和網易音樂，視頻平臺上有優酷和愛奇藝。它們共同的特點就是根據自己的喜好和瀏覽記錄進行個性化的推薦。

但是還有一種推薦方式就是跨平臺跨網絡的推薦方式，比如說，你喜歡看《泰坦尼克號》這部電影，音樂平臺得知這個消息就會給你推薦《My heart will go on》這首歌曲。

但是跨平臺跨網絡推薦的一個主要缺點是它們只能應用于重疊的用戶（通俗易懂的理解是在不同的平臺和網絡中你有不同的 ID 和昵稱，但這些 ID 和昵稱都是特指你這個人）。因此，構成大多數用戶的非重疊用戶被忽略。

本文作者針對這個問題提出了一種新的基于多任務學習的編碼器 GAN 推薦體系結構——CnGAN，作者在 Twitter 源網絡上生成用戶首選項，在 YouTube 目標網絡上生成推薦。實驗結果表明，生成的偏好可以用來改善非重疊用戶的推薦。CnGAN 在準確性、新穎性和多樣性方面，與最先進的跨平臺跨網絡推薦解決方案相比，所得到的推薦具有更高的性能。

本文涉及到大量的數學符號和公式，并且算法模型圖也不是一目了然，所以我會對本文進行詳細的解讀。

論文的貢獻

本文的貢獻可以歸結如下三點:

• 該論文是第一次嘗試應用基于 GAN 的模型為非重疊用戶生成缺失源網絡偏好進行推薦，具有一定的開創性。

• 作者提出了一種新的基于 GAN 的模型 CnGAN，該模型包括一個新的內容損失函數和基于用戶的成對損失函數，用于生成和推薦任務。

• 大量的實驗表明，CnGAN 對非重疊用戶進行推薦的有效性，并與現有的方法相比提高了推薦的整體質量。

模型介紹

3.1 核心思想

在本文中作者提出了跨網絡跨平臺的推薦體系 CnGAN，該模型通過學習目標網絡偏好流形到源網絡偏好流形的映射，綜合生成非重疊用戶的源網絡用戶偏好。所得到的用戶偏好在一個推薦體系結構中使用。作者還提出了一種新的基于用戶的兩兩損失函數，利用隱式交互來更好地指導多任務學習環境下的推薦生成過程。

3.2 預備知識

貝葉斯個性化排名（BPR）是一種基于隱式反饋的項目排序的通用優化準則，它采用成對的實例進行訓練具體為：

其中 是所有項的集合， 是用戶 已交互的項集，待優化的目標函數為：

其中 ， 是模型的參數， 是激活函數， 是正則化參數。

連續空間特征捕捉：在該論文中作者利用每個用戶在每個時間間隔內的目標網絡交互及其對應的源網絡交互來訓練 CnGAN。由于 CnGAN 是一個基于 GAN 的模型，需要在連續的空間中輸入信息，所以使用主題建模來捕捉連續主題空間上的用戶交互信息。

令 表示時間 ?處的重疊用戶，其中 和 表示的是在 時間間隔內目標和源網絡交互狀態。非重疊用戶 僅使用目標網絡交互來表示。

作者使用?YouTube 作為目標網絡，Twitter 作為源網絡，在 YouTube 上進行視頻推薦。是一組交互的視頻的集合（比如是自己喜歡或添加到播放列表中的視頻），是推文的集合。

假設每個交互（視頻或者推文）都與多個主題相關，并從與每個交互相關的文本數據（視頻標題、描述和推文內容）中提取主題，并且使用 TwitterLDA 進行主題建模，因為它對短而嘈雜的內容最有效。

基于主題建模目標網絡上的每個用戶 被表示為一組主題分發 ，顯時間間隔為 ， 為主題數。每個向量 是時間 的主題分布，其中 是主題 的相對頻率，而 是相應主題的絕對頻率。

類似地，在源網絡上，交互表示為 。由此產生的主題頻率表示用戶對相應的 主題的偏好程度。因此， 在一個連續的主題空間上呈現出時間間隔 內的用戶偏好，并形成了該模型的輸入。

3.3 生成器的任務

生成器任務學習的目的是通過使用編碼器（E）、鑒別器（D）和生成器（G）將目標網絡偏好流形映射到源網絡偏好流形上。

當捕捉更精細的用戶偏好時，作為主題分布向量（ 和 ）捕獲的用戶偏好就會變得更稀疏，并且在一個時間間隔內的交互數量會較低。訓練具有高度稀疏數據的機器學習模型的最有效方法之一是對輸入特征之間的交互作用進行建模。

作者使用兩個神經網絡編碼器 和分別用于目標和源網絡，將輸入的主題分布轉換為密集的潛在編碼，可以得到的編碼表示為 和 ，其中 是潛在空間的維數。

對于非重疊用戶 ，讓 表示時間 間隔的目標網絡編碼。生成器任務的是綜合生成映射源網絡編碼，該編碼與丟失的源網絡編碼 密切相關。接著就是 GAN 的經典原理部分 ，使用目標編碼 嘗試生成映射源編碼來愚弄判別器 。

類似地，判別器 嘗試區分真實源編碼 和生成的編碼 。

與標準 GAN 中的判別器 類似，其中判別器 D 只能學習區分給定輸入對中實際的和生成的源網絡編碼，而不會去學習判別給定對是否是映射對。因此，在訓練過程中，作者輸入不匹配的源和目標網絡編碼，以確保學習到有效的映射。通過修改了 的損失函數，使不匹配對的輸出分數最小，匹配對的輸出分數最大。

對于給定的目標網絡編碼，作者只從真實數據中提取不匹配的源編碼，以避免潛在的偏差。不匹配對是通過在同一時間間隔內對來自不同用戶的實際編碼或通過在不同時間間隔對來自同一用戶的編碼進行配對來創建的具體過程如上圖所示。因此，判別器 D 的損失函數如下所示：

其中 和 是目標網絡和源網絡中匹配和不匹配的主題分布， 是目標網絡主題分布， 是針對給定目標網絡編碼 生成的匹配源網絡編碼。

生成器 接收目標網絡編碼 ，并綜合生成從實際映射數據中提取 的映射源網絡編碼。GAN 模型通常用于從隨機噪聲中生成真實圖像，對于給定的噪聲向量，不同的 GANs 可以學習多個從輸入空間到輸出空間的映射。

CnGAN 的目標是學習從目標到源網絡編碼的特定映射，對于給定的實數對映射數據 ，生成器 目標是將生成的 和真實的 源編碼之間的損失最小化，具體的公式如下所示：

其中， 是實際編碼和生成編碼之間的 范數的內容損失。

3.4 推薦任務

作者將推薦任務描述為一個時間感知的 Top-N 排名任務，用當前和以前的用戶偏好來預測在下一個時間間隔 中用戶最可能交互的 個項目集。其中，BPR（貝葉斯個性化排名）優化使用隨機梯度下降來更新參數，具體參數更新過程為：

其中， 是學習速率， 是給定 三元組的成對損失，而 是用戶 和項目 的預測評級。由于 BPR 是一個通用的優化標準， 可以使用任何標準的協同過濾方法獲得。

作者在訓練過程中使用了固定時間長度的滑動窗口方法，在每個時間間隔內，使用時間間隔內的交互作用對模型進行訓練，并且基于用戶的損失函數如下所示：

其中，

在優化的過程中，參數 被更新為：

對于不同的 值，得到以下偏導數：

作者使用 Siamese 網絡架構作為推薦架構，因為它自然支持成對學習如下圖所示。

給定一個不重疊的用戶 ，當前的首選項 ， 和先前的偏好 ，在時間 ，模型學習了一個傳遞函數 ，該函數將用戶映射到潛在用戶空間 ，其中具體形式如下所示：

傳遞函數 是用神經網絡學習的，因為神經網絡比簡單的線性模型更具表現力和有效性。因此，對于時間 處的非重疊用戶 ，使用潛在用戶和項表示之間的內積來獲得任何給定項目 的預測評級 ，具體形式如下所示：

論文中雖然生成任務和推薦任務是分開的，但它們相互依賴以獲得更高的總體性能。生成任務通過合成有效表示用戶的源網絡編碼來提高推薦者的準確性。推薦任務通過縮小推薦源的空間來有效地引導搜索源。

因此，作者在 MTL 環境中訓練兩個相互關聯的任務，以從彼此的訓練信號中獲益，則多任務培訓目標如下所示：

其中 是 、 和 的值函數， 是 損失函數。?

實驗探究?

4.1 數據集?

由于缺乏可公開使用的跨平臺跨網絡數據集，作者從兩個公開可用的數據集YouTube（target）和 Twitter（source）網絡上提取重疊的用戶，并收集了從 2015 年 3 月 1 日到 2017 年 2 月 29 日的 2 年時間內互動和相關文本內容（視頻標題、描述和推特內容）的時間戳。

篩選出兩個網絡中交互次數少于 10 次的用戶，以便進行有效的評估。最終的數據集包含 2372 個用戶和 12782 個 YouTube 視頻。

如下圖所示為離線訓練損失，其中作者比較了 D，G 和 R 的離線訓練損失。這三個過程大約的迭代次數都是在 50 此附近，與 D 和 R 相比，G 的損失下降的很慢。在同一個訓練過程中，作者進一步對比了本文提出的 G 損失和 Vanilla G損失，可以發現 Vanilla G 損失增長幅度更大。

下圖為在線訓練過程中 R 損失變化情況。在前 10-15 次迭代中損失函數下降很快，在大約 20 次迭代之后，推薦者的準確度達到了頂峰。額外的迭代往往會過度擬合模型并降低性能。因此本文所提出的解決方案在實際應用中是可行的，因為在線訓練的成本可以接受。

如下圖所示是作者將推薦者的準確度與多個 Top-N 值的比較示意圖?；谏窠浘W絡的解決方案顯示出更高的準確性，因為它們捕捉到用戶偏好中的復雜關系。

在基于非神經網絡的解決方案中，TimePop 的準確率最低，因為它基于一個簡單的統計數據——視頻的流行程度。TDCN 的性能優于 TBKNN 和 TimePop，因為它有效地利用了源網絡和目標網絡的交互來模擬用戶的偏好。?

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的CnGAN：面向跨网用户偏好推荐的生成对抗网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。