IJCAI 2020 | 淡妆浓抹总相宜之人脸上妆
?PaperWeekly 原創 ·?作者｜黃智坤
學校｜杭州電子科技大學碩士生
研究方向｜圖像生成、圖像增強
這篇論文是杭州電子科技大學（HDU），悉尼科技大學（UTS），中國科學技術大學（University of Science and Technology of China），百度研究院（Baidu Research）被 IJCAI 2020 錄用的文章 Real-World Automatic Makeup via Identity Preservation Makeup Net。
社交網絡的不斷發展也讓人們對美顏技術提出了更高的要求，在完成圖像美化的同時保證圖像的真實性是至關重要的。作者從現實世界需求出發，探索了完成人臉自動上妝同時保留圖像的真實性的方法，同時提出了使用 FID 以及 LPIPS 來量化人臉自動上妝的效果。
論文標題：Real-World Automatic Makeup via Identity Preservation Makeup Net
論文來源：IJCAI 2020
論文鏈接：https://github.com/huangzhikun1995/IPM-Net/blob/master/Real_World_Automatic_Makeup_via_Identity_Preservation_Makeup_Net.pdf
代碼鏈接：https://github.com/huangzhikun1995/IPM-Net
之前的工作有什么痛點？
在生成帶妝圖像的時候也會引起背景或者人物身份信息的變化，這些變化會令生成的圖像失去真實性，用戶往往不希望一張美麗的自拍照被人一眼看出“破綻”。
化妝程度不可控。可調節的化妝效果更符合現實世界中用戶的需求，單一的化妝效果會降低用戶使用的興趣。
評價指標的缺失。對于化妝效果的好壞還是依靠志愿者的主觀判斷，缺少客觀的量化指標。
這篇論文提出了什么？解決了什么問題？
提出了一種新的基于現實世界的人臉自動上妝網絡 IPM-Net，在完成人臉自動上妝的同時保留了圖像中人物的身份信息以及圖像背景信息，從而保證了生成圖像的真實性。
基于現實世界的需求出發，引入了化妝程度可控的方案，用戶可以按照自己的意愿控制生成圖像的化妝程度。此外，圖像處理的速度也是現實世界中考量的因素之一，在 2080Ti 上，我們的模型每秒可以處理 16 張 256*256 的人臉圖像。
對部分來自網絡的圖像進行換裝處理，也得到了不錯的效果。但網絡圖像未經過標注，生成效果受到人臉特征分割效果的限制。
引入 FID 和 LPIPS 作為人臉自動上妝模型的量化指標。采用 FID 來測試生成圖像的真實性，LPIPS 來測試生成圖像的多樣性。
具體實現
1.1 特征的定義
在本文中，我們首先定義了兩種特征，一種為化妝風格特征，一種為身份信息特征。化妝風格特征與圖像中人臉化妝區域的視覺特征相關，身份信息特征與圖像的背景、人物的 ID 相關。
1.2 圖像預處理
為了讓網絡能 focus 在人臉的化妝區域，我們對目標圖像進行了預處理，預處理的步驟主要有：
為每張目標圖像生成掩膜，區分出每張圖像中的化妝風格特征和身份信息特征。
提取人臉化妝區域中的紋理。
將目標圖像中的人臉化妝區域置灰，加上提取出的掩膜，得到待輸入到網絡中的圖像。
1.3 圖像生成
1.3.1 不同ID的生成：
給定目標圖像及其預處理好的信息，以及一張參考圖像。我們將參考圖像上的 makeup style code 提取出來與目標圖像中的 identity content code 結合到一起，生成帶有參考圖像妝容但保留了目標圖像身份的新圖像。圖像 與 網絡生成的圖像相加的殘差結構，對背景的保留有著很大的幫助。
不同 ID 生成新圖像對應的損失有：
維持真實性的 GAN loss:
重構出對應 identity content code 以及 makeup style code 的重構損失：
約束背景變化的背景損失：
1.3.2 相同 ID 的重構：
將提供化妝風格的參考圖像替換成目標圖像，即可將生成圖像的過程視為對目標圖像的重建。圖像的重建可以看作是檢驗網絡是否按照我們設定的功能運行。圖像重構對應的損失有：
使用 pixel-level 的 L1 Loss 求目標圖像重建損失：
引導妝容信息編碼器 focus 在圖像中人臉化妝區域的前景損失：
1.4 可控的化妝程度
分別提取目標圖像的化妝風格 和參考圖像的化妝風格 。使用以下公式生成新的化妝風格：
實驗結果
以下實驗結果均在在 Makeup Dataset [1] 以及采集自網絡的圖像進行測試。
2.1 定性指標
我們在部分采集自網絡的圖像（前兩行）以及 Makeup Dataset 上的圖像（其余），與 MUNIT 和 BeautyGAN 的生成效果進行比較。
我們網絡更多的生成效果如下：
可控的化妝效果：
2.2 定量指標
生成圖像的真實度（FID）和多樣性（LPIPS）比較。FID 越小代表與真實數據分布之間的距離越小，即真實度越高；LPIPS 越大代表生成圖像之間的相似度低，即多樣性高。
寫在最后
感謝大家看完，這篇文章是我們對人臉自動化妝領域的一次探索，這個項目開始至今也發現了一些問題和收到了一些大佬們的寶貴意見，有些不足我們尚未克服或者尚未發現。歡迎大家對我們的工作提出寶貴的意見，謝謝。
參考文獻
[1] BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的IJCAI 2020 | 淡妆浓抹总相宜之人脸上妆的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 中简科技是国企吗
- 下一篇： 小米推出米家折叠暖菜板：石墨烯均热 /