【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习...
大家好,歡迎來到我們的星球知識小卡片專欄,本期給大家分享圖像風格化相關(guān)的資源。
作者&編輯 | 言有三
1 基本的圖像風格化模型
2015年德國圖賓根大學(xué)科學(xué)家在論文《A Neural Algorithm of Artistic Style》中提出了使用深層卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,創(chuàng)造出了具有高質(zhì)量藝術(shù)風格的作品。該網(wǎng)絡(luò)將一幅圖作為內(nèi)容圖,從另外一幅畫中抽取藝術(shù)風格,兩者一起合成新的藝術(shù)畫,從而使得神經(jīng)網(wǎng)絡(luò)風格遷移領(lǐng)域誕生。
在此之后,神經(jīng)網(wǎng)絡(luò)圖像風格化作為一門新的應(yīng)用方向被研究,從基于圖像的優(yōu)化方法到基于模型的優(yōu)化方法,從單模型單風格到單模型多風格,甚至任意風格,涌現(xiàn)出了非常多代表性的研究,以及像AdaIN這樣對其他研究領(lǐng)域有重要指導(dǎo)意義的工程技術(shù)。
2?基本的圖像翻譯模型
所謂的圖像翻譯,即將一張圖轉(zhuǎn)換為另一張圖。由于它可以實現(xiàn)不同域之間的轉(zhuǎn)換,因此被用于絕大部分輸入為圖像,輸出也是同等尺寸圖像的領(lǐng)域,包括圖像風格化,圖像增強,圖像分割等領(lǐng)域,應(yīng)用非常廣泛,其基本模型是基于有監(jiān)督條件GAN的Pix2Pix模型。
在此之后,非監(jiān)督的條件GAN模型如CycleGAN及其一系列變種,無監(jiān)督的條件GAN模型都被廣泛研究,是GAN領(lǐng)域中一個非常熱門的研究方向。
3 圖像翻譯模型的改進
圖像翻譯模型的改進包括幾個比較熱門的方向,Pix2PixHD為代表的高精度結(jié)果生成,StarGAN為代表的多領(lǐng)域轉(zhuǎn)換網(wǎng)絡(luò),MUNIT為代表的模式更豐富的結(jié)果生成,TUNIT為代表的完全無監(jiān)督風格化模型,BeautyGAN為代表的局部風格化模型等,這也是圖像翻譯領(lǐng)域的研究重點,足夠支撐起一個研究方向。
4 圖像翻譯與風格化應(yīng)用
圖像風格化的應(yīng)用非常的廣泛,從我們熟知的油畫與動漫風格圖生成,到人臉與人體的各種屬性編輯,是一個不僅有趣,而且非常有商業(yè)前景的方向,值得關(guān)注。
5 其他
總的來說,圖像風格化和圖像翻譯是一個比較基礎(chǔ)的研究方向,但是也非常貼近應(yīng)用落地,其研究點包括:
(1) 神經(jīng)網(wǎng)絡(luò)圖像風格化模型的改進。
(2) 有監(jiān)督與無監(jiān)督圖像翻譯框架的改進。
(3) 圖像風格化在娛樂、社交、內(nèi)容創(chuàng)作、圖像增強等基礎(chǔ)研究方向上的應(yīng)用。
(4) 其他等。?
以上內(nèi)容,如果你不想自己學(xué)習,可以去我們知識星球的網(wǎng)絡(luò)結(jié)構(gòu)1000變板塊—圖像風格化與GAN閱讀。
有三AI知識星球
知識星球是有三AI的付費內(nèi)容社區(qū),里面包括各領(lǐng)域的模型學(xué)習,數(shù)據(jù)集下載,公眾號的付費圖文原稿,技術(shù)總結(jié)PPT和視頻,知識問答,書籍下載,項目推薦,線下活動等資源,請注意新用戶3天內(nèi)只能查看部分內(nèi)容,了解詳細請閱讀以下文章:
【雜談】有三AI知識星球一周年了!為什么公眾號+星球才是完整的?
【雜談】有三AI知識星球指導(dǎo)手冊出爐!和公眾號相比又有哪些內(nèi)容?
轉(zhuǎn)載文章請后臺聯(lián)系
侵權(quán)必究
往期精選
【星球知識卡片】殘差網(wǎng)絡(luò)家族10多個變種學(xué)習卡片,請收下!
【星球知識卡片】移動端高效率的分組網(wǎng)絡(luò)都發(fā)展到什么程度了?
【星球知識卡片】注意力機制發(fā)展如何了,如何學(xué)習它在各類任務(wù)中的應(yīng)用?
【星球知識卡片】模型剪枝有哪些關(guān)鍵技術(shù),如何對其進行長期深入學(xué)習
【星球知識卡片】模型量化的核心技術(shù)點有哪些,如何對其進行長期深入學(xué)習
【星球知識卡片】模型蒸餾的核心技術(shù)點有哪些,如何對其進行長期深入學(xué)習
【星球知識卡片】視頻分類與行為識別有哪些核心技術(shù),對其進行長期深入學(xué)習
【星球知識卡片】圖像生成都有哪些核心技術(shù),如何對其進行長期深入學(xué)習
【星球知識卡片】AutoML都有哪些核心技術(shù),如何對其進行長期深入學(xué)習
【星球知識卡片】人臉屬性編輯都有哪些核心知識點,如何長期進行學(xué)習
【星球知識卡片】深度學(xué)習換臉算法都有哪些?如何長期進行學(xué)習
【星球知識卡片】深度學(xué)習圖像降噪有哪些關(guān)鍵技術(shù)點,如何學(xué)習
總結(jié)
以上是生活随笔為你收集整理的【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习...的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【直播课】6小时掌握YOLO缺陷检测与F
- 下一篇: 【重要】有三AI视频直播间上线,100余