MindSpore作為一個(gè)開源的全場(chǎng)景AI框架，為開發(fā)者帶來端邊云全場(chǎng)景協(xié)同、極致性能，極簡開發(fā)、安全可信的體驗(yàn)，2020.3.28開源來得到數(shù)六十萬以上的下載量，走入100+Top高校教學(xué)，已通過HMS在4000+App上商用，擁有數(shù)量眾多的開發(fā)者，在AI計(jì)算中心，智能制造、云、無線、數(shù)通、能源、消費(fèi)者1+8+N等端邊云全場(chǎng)景逐步廣泛應(yīng)用，是Gitee指數(shù)最高的開源軟件。歡迎大家參與開源貢獻(xiàn)、模型眾智、行業(yè)創(chuàng)新與應(yīng)用、算法創(chuàng)新、學(xué)術(shù)合作、AI書籍合作等，貢獻(xiàn)您在云側(cè)、端側(cè)、邊側(cè)以及安全領(lǐng)域的應(yīng)用案例。基于MindSpore的AI頂會(huì)論文越來越多，我會(huì)不定期挑選一些優(yōu)秀的論文來推送和解讀，希望更多的產(chǎn)學(xué)研專家跟MindSpore合作，一起推動(dòng)原創(chuàng)AI研究，MindSpore社區(qū)會(huì)持續(xù)支撐好AI創(chuàng)新和AI應(yīng)用，本文是MindSpore AI頂會(huì)論文第六篇，我們選擇了來自中國科學(xué)院大學(xué)計(jì)算技術(shù)研究所智能信息處理重點(diǎn)實(shí)驗(yàn)室許教授在ACM MM2021的一篇論文進(jìn)行解讀，感謝中科院計(jì)算所許教授團(tuán)隊(duì)投稿。

論文整體目錄：

1、MindSpore AI論文解讀1：自此告別互信息：用于跨模態(tài)行人重識(shí)別的變分蒸餾技術(shù)

2、MindSpore AI論文解讀2：EPRNet 應(yīng)用于實(shí)時(shí)街景分割的高效金字塔表征網(wǎng)絡(luò)

3、MindSpore AI論文解讀3：文本語義哈希在大規(guī)模信息檢索系統(tǒng)的應(yīng)用

4、MindSpore AI論文解讀4：AECRNet：基于對(duì)比學(xué)習(xí)的緊湊圖像去霧方法

5、MindSpore AI論文解讀5：CycleCol:基于循環(huán)卷積神經(jīng)網(wǎng)絡(luò)對(duì)真實(shí)單色-彩色攝像系統(tǒng)著色

?01?

研究背景

研究背景：協(xié)同過濾推薦算法基于歷史數(shù)據(jù)學(xué)習(xí)用戶對(duì)物品的偏好。由于收集到的歷史數(shù)據(jù)集不可避免地存在不均衡現(xiàn)象，傳統(tǒng)優(yōu)化方法對(duì)每個(gè)用戶-物品交互的損失進(jìn)行單獨(dú)求和，從而導(dǎo)致交互數(shù)量少的用戶訓(xùn)練不充分，模型傾向于對(duì)處于劣勢(shì)的用戶群體產(chǎn)生不公平的推薦效果。本論文從損失函數(shù)的重形式化入手，借鑒多目標(biāo)優(yōu)化思想，旨在從優(yōu)化角度緩解推薦算法中的樣本不平衡問題。

團(tuán)隊(duì)介紹：第一作者郝前秀，是中科院計(jì)算技術(shù)研究所智能信息處理重點(diǎn)實(shí)驗(yàn)室研三學(xué)生，導(dǎo)師是許倩倩副研究員（獲：國家自然科學(xué)基金委優(yōu)秀青年基金，吳文俊人工智能自然科學(xué)一等獎(jiǎng)，CSIG石青云女科學(xué)家獎(jiǎng)等）。團(tuán)隊(duì)研究領(lǐng)域?yàn)閿?shù)據(jù)挖掘和機(jī)器學(xué)習(xí)，主要關(guān)注眾包計(jì)算、機(jī)器學(xué)習(xí)算法、推薦系統(tǒng)、知識(shí)圖譜等，相關(guān)成果已發(fā)表在TPAMI、IJCV、TIP、TKDE、TMM、ICML、NIPS、CVPR、ECCV、AAAI、ACM Multimedia等相關(guān)領(lǐng)域主流國際期刊與會(huì)議上。

?02?

論文主要內(nèi)容簡介

為緩解推薦算法中的樣本不平衡問題，我們提出將不同組用戶的訓(xùn)練損失單獨(dú)作為一個(gè)優(yōu)化目標(biāo)。由于不同組用戶的推薦性能被同等視作一個(gè)優(yōu)化目標(biāo)，從而可減小不均衡的亞組樣本頻率對(duì)梯度的影響。借鑒多目標(biāo)領(lǐng)域的有關(guān)概念，模型旨在求解多個(gè)目標(biāo)的帕累托最優(yōu)解。帕累托最優(yōu)解的定義為：若不存在這樣的解，在所有目標(biāo)上均優(yōu)于當(dāng)前解，則當(dāng)前解被稱為一個(gè)帕累托最優(yōu)解。從定義可以看出，可能存在多個(gè)解均滿足帕累托最優(yōu)性。更進(jìn)一步，為了使得模型取得一個(gè)更加均衡的帕累托最優(yōu)解，我們提出了一個(gè)公平性約束，以限制多目標(biāo)優(yōu)化的搜索空間。從而將問題形式化為一個(gè)受限多目標(biāo)優(yōu)化問題：

其中

分別組的損失函數(shù)，是所加的公平性限制約束。

為了求解該受限制多目標(biāo)優(yōu)化框架，我們提出了一個(gè)高效的受限制多目標(biāo)優(yōu)化算法。算法在第 步更新之前，首先求解一個(gè)子問題a)，動(dòng)態(tài)地為每個(gè)目標(biāo)計(jì)算出相應(yīng)的權(quán)重。

為了求解該受限多目標(biāo)優(yōu)化框架，我們提出了一個(gè)高效的受限多目標(biāo)優(yōu)化求解算法。算法在

更新之前，首先求解一個(gè)子問題a)，動(dòng)態(tài)地為每個(gè)目標(biāo)計(jì)算出相應(yīng)的權(quán)重

?? ?

子問題a)

其次，考慮所加的公平性約束，通過拉格朗日乘子法，求解如下min-max子問題b)。

子問題b)

其中的min問題根據(jù)所提出的公平性約束對(duì)搜索空間加以限制，使得模型傾向于取得均衡的帕累托穩(wěn)定點(diǎn)。對(duì)于

，通過公平性約束對(duì)梯度進(jìn)行調(diào)整后，模型的更新方向?yàn)?#xff1a;

其中，

對(duì)于max問題，我們采用投影梯度上升法更新

。由于公平性不是本文的主要關(guān)注點(diǎn)，文中僅設(shè)計(jì)了一個(gè)公平性約束：約束不同組的損失差異不要太大，

其中，

，限制不同組損失的差異閾值。

03?

代碼鏈接

論文鏈接：https://github.com/qianxiuhao1017/Pareto_constrained_MOO/blob/main/Pareto_cpnstrained_MOO.pdf

MindSpore代碼鏈接：https://gitee.com/mindspore/contrib/tree/master/papers/PACMOO

會(huì)議名稱：ACM MM 2021

?04?

算法框架技術(shù)要點(diǎn)

05?

實(shí)驗(yàn)結(jié)果

表1：仿真數(shù)據(jù)集上的總體性能比較

圖1: 仿真數(shù)據(jù)集上不同目標(biāo)的性能圖

表 2: Netflix數(shù)據(jù)集上的總體性能比較

圖2: Netflix數(shù)據(jù)集上不同目標(biāo)的性能圖

我們?cè)诜抡鏀?shù)據(jù)集和真實(shí)數(shù)據(jù)集Netflix上均進(jìn)行了實(shí)驗(yàn)。如表1、表2所示，所提方法與對(duì)比方法在總體性能上相當(dāng)。更進(jìn)一步，由圖1、圖2所示，所提方法在弱勢(shì)組（圖1的group 1 和圖2的group 4）上得到了明顯的提升。從而證明所提出的方法能夠在不損害總體性能的基礎(chǔ)上，提升劣勢(shì)用戶群體的推薦性能，實(shí)現(xiàn)了總體性能與公平性之間的良好權(quán)衡。

?06?

MindSpore代碼實(shí)現(xiàn)

如算法框架技術(shù)要點(diǎn)所述。MindSpore實(shí)現(xiàn)鏈接：https://gitee.com/mindspore/contrib/tree/master/papers/PACMOO

?07?

總結(jié)與展望

本文從損失函數(shù)的重形式化以及優(yōu)化角度考慮樣本不平衡問題。傳統(tǒng)的總體目標(biāo)損失由所有用戶-物品對(duì)的損失等權(quán)相加組成，易受樣本頻率影響。本文將不同用戶的損失進(jìn)行分組，并同等地視為一個(gè)優(yōu)化目標(biāo)。借鑒多目標(biāo)優(yōu)化的思想，轉(zhuǎn)而同時(shí)優(yōu)化多個(gè)目標(biāo)以期取得良好的帕累托最優(yōu)解。為了進(jìn)一步限制模型的搜索空間，我們加入了公平性約束以限制多組損失之間的差異。為了對(duì)這一受限多目標(biāo)優(yōu)化問題進(jìn)行求解，我們提出了一個(gè)基于梯度的高效求解算法。當(dāng)前多目標(biāo)優(yōu)化算法的不足之處在于僅能取得一個(gè)帕累托穩(wěn)定點(diǎn)。未來將進(jìn)一步探索多目標(biāo)優(yōu)化算法，從而能夠高效獲得多個(gè)帕累托最優(yōu)解，且各個(gè)解具有可解釋的性質(zhì)，以期指導(dǎo)用戶個(gè)性化地選擇符合某個(gè)條件的帕累托解。?

MindSpore官方資料

官方QQ群?:?486831414

官網(wǎng)：https://www.mindspore.cn/

Gitee?:?https : //gitee.com/mindspore/mindspore

GitHub?:?https://github.com/mindspore-ai/mindspore

論壇：https://bbs.huaweicloud.com/forum/forum-1076-1.html?

總結(jié)

以上是生活随笔為你收集整理的技术干货 | PACMOO：基于帕累托最优的公平性约束协同过滤算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。