【杂谈】GAN对人脸图像算法产生了哪些影响？
人臉圖像是整個(gè)圖像領(lǐng)域里面研究人員最多，應(yīng)用最廣的一個(gè)方向。GAN作為時(shí)下最新興的深度學(xué)習(xí)模型，在人臉圖像領(lǐng)域里已經(jīng)頗有建樹(shù)，今天咱們就聊聊GAN對(duì)人臉圖像算法的一些主要影響。
文/編輯 | 言有三
人臉檢測(cè)?
人臉檢測(cè)是一個(gè)古老的課題了，從傳統(tǒng)算法發(fā)展到深度學(xué)習(xí)算法，已經(jīng)非常的成熟，不過(guò)這并不是意味著完美。GAN在人臉檢測(cè)領(lǐng)域中的貢獻(xiàn)主要體現(xiàn)在小臉的超分辨上。
以文[1]為代表，生成器使用了一個(gè)超分辨率網(wǎng)絡(luò)(super-resolution network)和一個(gè)改進(jìn)網(wǎng)絡(luò)(refinement network)對(duì)模糊的小臉進(jìn)行上采樣，能夠提高wider face難測(cè)試集(Hard subset)的結(jié)果。
[1] Bai Y, Zhang Y, Ding M, et al. Finding tiny faces in the wild with generative adversarial network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 21-30.
?遮擋人臉恢復(fù)與姿態(tài)仿真?
人臉識(shí)別算法發(fā)展了很久也已經(jīng)在工業(yè)界大規(guī)模應(yīng)用，但是它的難題仍然是很明顯的，遮擋就是其中一個(gè)大問(wèn)題，GAN可以被應(yīng)用于遮擋人臉的恢復(fù)。
另一方面，姿態(tài)對(duì)人臉識(shí)別等算法的影響非常大，也會(huì)造成上述的遮擋問(wèn)題，將GAN用于姿態(tài)仿真，比如正臉化，將非常有助于人臉識(shí)別等模型的性能提升。FF-GAN[2]是其中的代表性模型，它是一個(gè)基于3DMM模型的條件GAN。
[2]?Yin X, Yu X, Sohn K, et al. Towards large-pose face frontalization in the wild[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3990-3999.
?
?年齡與表情仿真?
跨年齡的人臉識(shí)別和驗(yàn)證是一個(gè)非常具有挑戰(zhàn)性的問(wèn)題，如果能對(duì)年齡進(jìn)行歸一化，去除年齡因素的干擾，將大大提升跨年齡人臉識(shí)別的精度。
表情與年齡一樣，也會(huì)對(duì)人臉識(shí)別算法構(gòu)成一定挑戰(zhàn)，年齡和表情編輯同時(shí)還是一個(gè)兼具娛樂(lè)性的應(yīng)用方向，GAN在其中大有可為。
[3]?Antipov G, Baccouche M, Dugelay J L. Face aging with conditional generative adversarial networks[C]//2017 IEEE International Conference on Image Processing (ICIP). IEEE, 2017: 2089-2093.
[4]?Song L, Lu Z, He R, et al. Geometry guided adversarial facial expression synthesis[C]//2018 ACM Multimedia Conference on Multimedia Conference. ACM, 2018: 627-635.
換臉?biāo)惴ㄅc偽造臉識(shí)別?
換臉?biāo)惴ㄓ泻芏喾N，不過(guò)時(shí)下最流行的自然是基于GAN的算法，使得換臉已經(jīng)從實(shí)驗(yàn)室走向了工業(yè)界，甚至達(dá)到了以假亂真的效果。當(dāng)然，一個(gè)工業(yè)級(jí)的應(yīng)用肯定還需要GAN以外其他領(lǐng)域技術(shù)的輔助，我們后面會(huì)給大家介紹。
目前多個(gè)大規(guī)模的偽造數(shù)據(jù)集[6]也被發(fā)布，檢測(cè)偽造臉的研究才剛剛開(kāi)始，面臨著巨大的挑戰(zhàn)，只希望科技能盡量向善。
[5]?Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.
[6] FaceForensics++: Learning to Detect Manipulated Facial Images
?人臉美顏與風(fēng)格化?
人臉美顏是一個(gè)由來(lái)已久的研究課題，傳統(tǒng)的方法多是基于濾波算法和幾何變換，可以實(shí)現(xiàn)磨皮美白以及臉型調(diào)整。隨著GAN的流行，更多的個(gè)性化操作變得可行，比如人臉的妝造遷移，以BeautyGAN[7]為其中的典型代表。
另一方面，頭像風(fēng)格化等應(yīng)用[8]在娛樂(lè)社交領(lǐng)域也有很重要的一席之地，感興趣的可以跟進(jìn)。
[7]?Li T, Qian R, Dong C, et al. Beautygan: Instance-level facial makeup transfer with deep generative adversarial network[C]//2018 ACM Multimedia Conference on Multimedia Conference. ACM, 2018: 645-653.
[8]?Kim J, Kim M, Kang H, et al. U-GAT-IT: unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation[J]. arXiv preprint arXiv:1907.10830, 2019.
?如何進(jìn)行實(shí)戰(zhàn)深造?
上面簡(jiǎn)略地介紹了GAN在人臉圖像領(lǐng)域中的主要應(yīng)用，還有一些通用的屬性編輯內(nèi)容沒(méi)有講述。上述的每一個(gè)方向細(xì)細(xì)深究都會(huì)有非常多的內(nèi)容，值得想在人臉?biāo)惴I(lǐng)域有所建樹(shù)的同學(xué)跟進(jìn)。學(xué)習(xí)GAN可以參考【雜談】如何系統(tǒng)性地學(xué)習(xí)生成對(duì)抗網(wǎng)絡(luò)GAN
如果想長(zhǎng)期學(xué)習(xí)，可以進(jìn)入有三AI知識(shí)星球的網(wǎng)絡(luò)結(jié)構(gòu)1000變板塊和人臉相關(guān)的數(shù)據(jù)集板塊持續(xù)學(xué)習(xí)。
詳細(xì)了解星球生態(tài)可讀：【雜談】為什么邀請(qǐng)大家加入硬核知識(shí)星球有三AI
如果想要隨時(shí)與有三和小伙伴們討論，則可以加入有三AI秋季劃人臉?biāo)惴ńM，將長(zhǎng)期共同學(xué)習(xí)人臉檢測(cè)，關(guān)鍵點(diǎn)檢測(cè)，人臉識(shí)別，屬性分析，屬性分割，美顏美妝，人臉編輯，人臉重建等項(xiàng)目?jī)?nèi)容。
詳細(xì)了解秋季劃可讀：有三AI秋季劃出爐，模型優(yōu)化，人臉?biāo)惴?#xff0c;圖像質(zhì)量等24個(gè)項(xiàng)目等你來(lái)拿
轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系
侵權(quán)必究
【雜談】有三AI不得不看的技術(shù)綜述(超過(guò)100篇核心干貨)
【通知】2019年言有三最后一月一對(duì)一師徒指導(dǎo)季劃報(bào)名，送書(shū)+知識(shí)星球+“神秘禮物”
【AutoML】如何選擇最合適的數(shù)據(jù)增強(qiáng)操作
【AutoML】激活函數(shù)如何進(jìn)行自動(dòng)學(xué)習(xí)和配置
【AutoML】歸一化(Normalization)方法如何進(jìn)行自動(dòng)學(xué)習(xí)和配置
【AutoML】?jī)?yōu)化方法可以進(jìn)行自動(dòng)搜索學(xué)習(xí)嗎？
【AutoML】損失函數(shù)也可以進(jìn)行自動(dòng)搜索學(xué)習(xí)嗎？
【AutoML】如何使用強(qiáng)化學(xué)習(xí)進(jìn)行模型剪枝？
【AutoML】強(qiáng)化學(xué)習(xí)如何用于模型量化？
【知識(shí)星球】分組卷積最新進(jìn)展，全自動(dòng)學(xué)習(xí)的分組有哪些經(jīng)典模型？
【知識(shí)星球】卷積核和感受野可動(dòng)態(tài)分配的分組卷積
【知識(shí)星球】有三AI 10月新主題，千奇百怪GAN上線！
【知識(shí)星球】剪枝量化初完結(jié)，蒸餾學(xué)習(xí)又上線
【知識(shí)星球】有沒(méi)有網(wǎng)絡(luò)模型是動(dòng)態(tài)變化的，每次用的時(shí)候都不一樣？
總結(jié)
以上是生活随笔為你收集整理的【杂谈】GAN对人脸图像算法产生了哪些影响？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 【小结】除了网络搜索(NAS)，Auto
- 下一篇： 【AutoML】当前有哪些可用的Auto