點擊上方“機器學習與生成對抗網絡”，關注星標

獲取有趣、好玩的前沿干貨！

---

文章 新智元 編輯 小咸魚

【新智元導讀】韓國科學技術院最近的一項研究提出了一個大規模的動漫人臉數據集AnimeCeleb，以促進動漫人臉領域的研究。AnimeCeleb內含240萬張圖片，全部依賴于3D模型渲染，堪稱動漫人臉數據集的ImageNet。

想看看全球首富馬斯克變成二次元的樣子嗎？

當當當當！

圖片來源：https://huggingface.co/spaces/akhaliq/AnimeGANv2

怎么還有一絲嫵媚呢？

近日，在huggingface社區上，最強動漫風格遷移模型AnimeGAN的迭代版AnimeGANv2上線了一個體驗demo出來。

多年來，動漫角色與人類同行，扮演著摯愛的朋友，在日常生活中給很多人以情感安慰。

隨著他們的流行，動漫角色已經不局限于娛樂行業或營銷領域，計算機視覺和圖形學的最新進展進一步加速了角色的廣泛傳播，為個人創作者輕松設計自己的角色并在公共在線平臺上展示他們的作品鋪平了道路。

其中，動漫角色設計和深度學習相結合的作品也越來越多。

不過，雖然基于深度學習的人臉生成GAN取得了顯著的成功，但這些模型仍然局限于真實人臉的領域。

而由于缺乏動漫風的人臉數據集，動漫人臉生成領域的工作目前還不夠深入。

大規模的動漫人臉數據集

韓國科學技術院最近的一項研究提出了一個大規模的動漫人臉數據集AnimeCeleb，以促進動漫人臉領域的研究。

https://arxiv.org/pdf/2111.07640.pdf

為了簡化動漫人臉數據集的生成過程，他們通過可控的合成動漫模型，基于一個開放的三維軟件和一個注釋系統構建了一個半自動管道，可以構建大規模動漫人臉數據集，包括具有豐富注釋的多姿態和多風格動漫人臉。

AnimeCeleb的隨機抽樣例子

并且實驗表明，該數據集適用于各種與動漫相關的任務，例如頭部重現和著色。

與公開的現有動漫人臉數據集相比，AnimeCeleb內含240萬張圖片，全部依賴于3D模型渲染來構建動漫人臉數據集。

這確保了大規模數據集包含詳細的注釋以及具有相同身份的多姿態圖像。此外，考慮到不同的繪畫方式，動漫還包含多種風格。

這簡直就是動漫人臉數據集的ImageNet呀！

如何制作？

那這樣龐大的動漫人臉數據集是如何制作出來的呢？

第一步，數據收集（A.1）。在過濾掉不合適的外觀動漫模型后，總共獲得了3613個可用的三維動漫模型。

數據集生成管道概述

第二步，3D動漫模型描述（A.2）。收集的3D動漫模型不僅包含動漫角色的完整身體信息，如3D網格、骨骼和紋理組件，還包含可以改變3D模型外觀的變形量。

為每個變形量指定一個標量值，我們可以改變3D模型的相關屬性（例如，張開/閉上嘴，張開/閉上眼睛）。

目標變形的可視化示例（前四列）和三維頭部旋轉（最后一列）

第三步，圖像渲染（B）。為了從3D動漫模型中自動采樣動漫人臉圖像的過程，他們新開發了一個2D人臉圖像生成系統，該系統建立在支持3D模型可視化、操作和渲染的開源3D計算機圖形軟件Blender上。

第四步，語義標注（C）。語義標注步驟的目標是識別面部表情相關的形態，并根據語義準確和統一的命名約定對形態進行標注。重要的是，這使我們能夠在對面部表情相關的變形進行采樣時，對所有3D動漫模型應用一致的姿勢采樣策略。

最后一步，數據采樣（D）。對于采樣，隨機采樣人臉的每個部分（即眼睛、眉毛和嘴）的目標變形被應用于三維動漫模型。通過從均勻分布[0，1]中獨立采樣來確定形變的幅度。

采樣數據示例

實驗結果

在任務選擇過程中，研究人員重點展示了對動漫相關任務的適用性和動漫跨身份頭像重現結果。

頭像重現任務旨在將動漫風格從風格驅動圖像轉移到源圖像，同時保留源身份。由于AnimeCeleb屬性包含多個相同身份的圖像，他們實現了兩個代表性的基線：FOMM和PIRenderer。

頭像重現的定量結果。顯然，在AnimeCeleb上訓練優于在VoxCeleb上訓練。

結果顯而易見，在AnimeCeleb測試集上測試時，在AnimeCeleb上訓練的模型優于在VoxCeleb上訓練的基線模型。

域外（Out-of-Domain）動漫頭像重現結果也非常棒。

給定來自Waifu數據集的源圖像（第1列）和來自AnimeCeleb的驅動圖像（第2列），僅使用AnimeCeleb訓練的FOMM和PIRenderer都成功地將驅動圖像的風格轉移到源圖像。

研究人員還用AnimeCeleb訓練模型去發現樣本中語義一致的部分，比如：整體面部、頭部和頜骨等等。

動漫人臉語義分割結果，訓練好的模型能夠識別不同圖像中的一致語義。

在動漫領域，自動著色是動漫創作者在勞動密集型繪畫過程中減少工作量的重要任務。使用經過訓練的彩色化模型，創作者能夠獲得給定草圖圖像的彩色化圖像。

使用用AnimeCeleb訓練的基線，可以繪制出良好的動漫角色草圖圖像，自動生成彩色化輸出。

通過參考域內和域外圖像，用AnimeCeleb訓練的Pix2Pix成功輸出彩色圖像。

在未來的工作中，AnimeCeleb還會進一步被擴展，以在多視圖環境中提供更多樣的面部表情。

參考資料：

https://arxiv.org/pdf/2111.07640.pdf https://twitter.com/ak92501/status/1460436967905280002

猜您喜歡：

等你著陸！【GAN生成對抗網絡】知識星球！

CVPR 2021專題1：GAN的改進

CVPR 2021 | GAN的說話人驅動、3D人臉論文匯總

CVPR 2021 | 圖像轉換 今如何？幾篇GAN論文

【CVPR 2021】通過GAN提升人臉識別的遺留難題

CVPR 2021生成對抗網絡GAN部分論文匯總

經典GAN不得不讀：StyleGAN

最新最全20篇！基于 StyleGAN 改進或應用相關論文

超100篇！CVPR 2020最全GAN論文梳理匯總！

附下載 | 《Python進階》中文版

附下載 | 經典《Think Python》中文版

附下載 | 《Pytorch模型訓練實用教程》

附下載 | 最新2020李沐《動手學深度學習》

附下載 |?《可解釋的機器學習》中文版

附下載 |《TensorFlow 2.0 深度學習算法實戰》

附下載 | 超100篇！CVPR 2020最全GAN論文梳理匯總！

附下載 |《計算機視覺中的數學方法》分享

? ?

總結

以上是生活随笔為你收集整理的240万！动漫人脸数据集AnimeCeleb的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。