GAN的一些很酷的应用
在GAN發展的最初幾年里,我們取得了令人矚目的進展。當然,現在不會是像恐怖電影里那樣有郵票大小的面部照片了。2017年,Gan制作了1024×1024張能愚弄人才童子軍的照片。在未來幾年,我們可能會看到GAN生成的高質量視頻,由此衍生的商業應用程序即將來臨。作為GAN系列的一部分,我們研究了一些很酷的應用程序,希望它們能作你的GAN應用程序的靈感來源。
創建動畫角色
眾所周知,游戲開發和動畫制作成本很高,并且雇傭了許多制作藝術家來完成相對常規的任務。但通過GAN就可以自動生成動畫角色并為其上色。
使用Generative?Adversarial?Networks創建自動動畫人物角色
發生器和鑒別器由多層卷積層、批標準化和具有跳過鏈接的relu組成。
姿勢引導人形像生成
通過姿勢的附加輸入,我們可以將圖像轉換為不同的姿勢。例如,右上角圖像是基礎姿勢,右下角是生成的圖像。
下面的優化結果列是生成的圖像。
姿勢引導人圖像生成
該設計由二級圖像發生器和鑒頻器組成。生成器使用元數據(姿勢)和原始圖像重建圖像。鑒別器使用原始圖像作為CGAN設計標簽輸入的一部分。
姿勢引導人圖像生成
CycleGAN
跨域名轉讓將很可能成為第一批商業應用。GANs將圖像從一個領域(如真實的風景)轉換為另一個領域(莫奈繪畫或梵高)。
CycleGAN
例如,它可以在斑馬和馬之間轉換圖片。
CycleGAN
Cyclegan構建了兩個網絡G和F來構建從一個域到另一個域以及反向的圖像。它使用鑒別器d來批評生成的圖像有多好。例如,G將真實圖像轉換為梵高風格的繪畫,并且DY用于區分圖像是真實的還是生成的。
域A到域B:
我們在反向域B域A中重復該過程:
PixelDTGAN
根據名人圖片推薦商品已經成為時尚博客和電子商務的熱門話題。Pixeldtgan的作用就是從圖像中創建服裝圖像和樣式。
超分辨率
從低分辨率創建超分辨率圖像。這是GAN顯示出非常令人印象深刻的結果,也是具有直接商業可能性的一個領域。
與許多GAN的設計類似,它是由多層卷積層、批標準化、高級relu和跳過連接組成。
GAN的逐步發展
Progressive GAN可能是第一個展示商業化圖像質量的GAN之一。以下是由GAN創建的1024×1024名人形象。
它采用分而治之的策略,使訓練更加可行。卷積層的一次又一次訓練構建出2倍分辨率的圖像。
在9個階段中,生成1024×1024圖像。
高分辨率圖像合成
需要注意的是這并非圖像分割,而是從語義圖上生成圖像。由于采集樣本非常昂貴,我們采用生成的數據來補充培訓數據集,以降低開發成本。在訓練自動駕駛汽車時可以自動生成視頻,而不是看到它們在附近巡航,這就為我們的生活帶來了便捷。
網絡設計:
文本到圖像(StackGAN)
文本到圖像是域轉移GAN的早期應用之一。比如,我們輸入一個句子就可以生成多個符合描述的圖像。
文本到圖像合成
另一個比較通用的實現:
人臉合成
不同姿態下的合成面:使用單個輸入圖像,我們可以在不同的視角下創建面。例如,我們可以使用它來轉換更容易進行人臉識別圖像。
圖像修復
幾十年前,修復圖像一直是一個重要的課題。gan就可以用于修復圖像并用創建的“內容”填充缺失的部分。
學習聯合分配
用面部字符P(金發,女性,微笑,戴眼鏡),P(棕色,男性,微笑,沒有眼鏡)等不同組合創建GAN是很不現實的。維數的詛咒使得GAN的數量呈指數增長。但我們可以學習單個數據分布并將它們組合以形成不同的分布,即不同的屬性組合。
DiscoGAN
DiscoGAN提供了匹配的風格:許多潛在的應用程序。DiscoGAN在沒有標簽或配對的情況下學習跨域關系。例如,它成功地將樣式(或圖案)從一個域(手提包)傳輸到另一個域(鞋子)。
DiscoGAN和cyclegan在網絡設計中非常相似。
Pix2Pix
PIX2PIx是一種圖像到圖像的翻譯,在跨域Gan的論文中經常被引用。例如,它可以將衛星圖像轉換為地圖(圖片左下角)。
DTN
從圖片中創建表情符號。
紋理合成
圖像編輯 (IcGAN)
重建或編輯具有特定屬性的圖像。
人臉老化(Age-cGAN)
神經照片編輯器
基于內容的圖像編輯:例如,擴展發帶。
神經照片編輯
細化圖像
目標檢測
這是用gan增強現有解決方案的一個應用程序。
圖像融合
將圖像混合在一起。
視頻生成
創建新的視頻序列。它識別出什么是背景,并為前臺操作創建新的時間序列。
?
視頻鏈接
生成三維對象
這是用gan創建三維對象時經常引用的一篇文章。
?
視頻鏈接
?
3DGAN
音樂的產生
GaN可以應用于非圖像領域,如作曲。
醫療(異常檢測)
GAN還可以擴展到其他行業,例如醫學中的腫瘤檢測。
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的GAN的一些很酷的应用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 表格存储TableStore全新升级,打
- 下一篇: 主流开源开发者工具落地阿里云,进一步提升