【每周CV论文推荐】 初学深度学习单张图像三维人脸重建需要读的文章
歡迎來到《每周CV論文推薦》。在這個專欄里,還是本著有三AI一貫的原則,專注于讓大家能夠系統性完成學習,所以我們推薦的文章也必定是同一主題的。
基于圖像的人臉三維重建在人臉分析與娛樂領域里有巨大的應用場景,本文來介紹初學深度學習單張圖像人臉三維重建必須要讀的文章。
作者&編輯 | 言有三
1 3DMM與數據集
雖然這里推薦的是深度學習三維人臉重建需要讀的文章,但是因為經常需要用到經典的3DMM模型以及一些數據集,包括最著名的中性表情BFM模型及其2017年新增表情的版本,國內浙大開源的帶表情的FareWareHouse數據集。
文章引用量:4000+
推薦指數:?????
[1]?Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]//Siggraph. 1999, 99(1999): 187-194.
[2]?Cao C, Weng Y, Zhou S, et al. Facewarehouse: A 3d facial expression database for visual computing[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 20(3): 413-425.
2 3DMM CNN系列
3DMM CNN是早期使用CNN直接估計3DMM模型形狀系數的方法,模型簡單有效,使用了非對稱損失提升性能。
在此之后,3DMM CNN的作者又水了姿態和表情系數的論文。
文章引用量:160+
推薦指數:?????
[3]?Tuan Tran A, Hassner T, Masi I, et al. Regressing robust and discriminative 3D morphable models with a very deep neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 5163-5172.
[4]?Chang F J, Tuan Tran A, Hassner T, et al. Faceposenet: Making a case for landmark-free face alignment[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1599-1608.
[5]?Chang F J, Tran A T, Hassner T, et al. ExpNet: Landmark-free, deep, 3D facial expressions[C]//2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018). IEEE, 2018: 122-129.
3 Volumetric CNN?
既然CNN這么強大,為什么不直接預測3D坐標呢?Volumetric CNN就是這樣的思路,簡單直接預測每一個像素,將3D重建當作了一個圖像分割問題。
文章引用量:140+
推薦指數:?????
[6]?Jackson A S, Bulat A, Argyriou V, et al. Large pose 3D face reconstruction from a single image via direct volumetric CNN regression[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1031-1039.
4 PRNet
三維重建需要預測mesh的頂點坐標,但是直接預測是有困難的,PRNet通過一個UV position map來進行表征,方法簡單有效,UVMap對于一些其他的應用也是有啟示的。
文章引用量:80+
推薦指數:?????
[7] Feng Y, Wu F, Shao X, et al. Joint 3d face reconstruction and dense alignment with position map regression network[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 534-551.
5?MoFa
真實的3D數據集獲取成本非常高,因此研究人員常常采用仿真的數據集,但是仿真數據集精度不夠。以MoFa為代表的這一類方法不依賴于現在的數據集,它通過將二維圖像重建到3維,再反投影回2D圖的方案,是非常值得研究的自監督重建方法。
文章引用量:160+
推薦指數:?????
[8]?Tewari A, Zollhofer M, Kim H, et al. Mofa: Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1274-1283.
6 Survey
最后給大家推薦一個2019年關于3DMM模型的綜述文章,作為一周的論文閱讀來說,上面的內容已經足夠多了。
三維人臉重建是一個很大的坑,Shape from Shading以及Structure from Motion等方法這一次沒有介紹,后面再說。關于3DMM模型的基礎公眾號幾年前有過簡單的解讀,之前的一個計算機視覺大綜述也有介紹,大家可以快速參考。
三維人臉重建入門
VR來了,3D人臉重建跟上->《三維人臉重建-3DMM》
【AI白身境】一文覽盡計算機視覺研究方向
文章引用量:很新
推薦指數:?????
[9] Zheng X, Guo Y, Huang H, et al. A Survey to Deep Facial Attribute Analysis[J]. arXiv preprint arXiv:1812.10265, 2018.
7 如何獲取文章與交流
找到有三AI開源項目即可獲取。
https://github.com/longpeng2008/yousan.ai
文章細節眾多,相關的人臉數據集在以及論文閱讀交流在有三AI知識星球中進行,感興趣可以加入。
總結
三維人臉重建的難點在于數據集的缺乏以及遮擋恢復和細節精度的提升,后續還會推薦一系列研究供大家學習。
有三AI秋季劃
有三AI秋季劃已經正式啟動報名,模型優化,人臉算法,圖像質量共24個項目,助力提升深度學習計算機視覺算法和工程項目能力。
轉載文章請后臺聯系
侵權必究
往期精選
【每周論文推薦】 初入深度學習CV領域必讀的幾篇文章
【每周CV論文推薦】 掌握殘差網絡必讀的10多篇文章
【每周CV論文推薦】 初學者必須精讀的5篇深度學習優化相關文章
【每周CV論文推薦】 CV領域中數據增強相關的論文推薦
【每周CV論文推薦】 初學高效率CNN模型設計應該讀的文章
【每周CV論文推薦】 初學目標檢測必須要讀的文章
【每周CV論文推薦】 初學深度學習圖像分割必須要讀的文章
【每周CV論文推薦】 初學GAN必須要讀的文章
【每周CV論文推薦】 深度學習人臉檢測入門必讀文章
【每周CV論文推薦】 初學深度學習人臉關鍵點檢測必讀文章
【每周CV論文推薦】 初學深度學習人臉識別和驗證必讀文章
【每周CV論文推薦】 初學深度學習人臉屬性分析必讀的文章
【每周CV論文推薦】 初學活體檢測與偽造人臉檢測必讀的文章
總結
以上是生活随笔為你收集整理的【每周CV论文推荐】 初学深度学习单张图像三维人脸重建需要读的文章的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【杂谈】有三AI不得不看的技术综述(超过
- 下一篇: 【知识图谱】如何构建知识体系:知识图谱搭