Conditional image synthesis with auxiliary classifier GANs

本文介紹了一種新的圖像合成生成對抗網(wǎng)絡(luò)(gan)改進(jìn)訓(xùn)練方法。我們使用標(biāo)簽條件作用構(gòu)建了GANs的一個變體，結(jié)果在128 × 128分辨率的圖像樣本中顯示出全局一致性。我們擴(kuò)展了以往的圖像質(zhì)量評估工作，提供了兩種新的分析方法來評估分類條件圖像合成模型中的樣本的可辨別性和多樣性。

這些分析表明，高分辨率樣本提供了低分辨率樣本中不存在的類信息。在1000個ImageNet類中，128 × 128個樣本的識別率是人工調(diào)整大小的32 × 32樣本的兩倍多。此外，84.7%的班級樣本顯示出可與真實相媲美的多樣性ImageNet數(shù)據(jù)

1. Introduction

圖1所示。在ImageNet數(shù)據(jù)集上訓(xùn)練AC-GAN，得到5類128 × 128分辨率的樣本。請注意，所顯示的類是為了突出模型的成功而選擇的，它們并不具有代表性。文本后面將鏈接所有ImageNet類的示例。

在這項工作中，我們證明了在GAN潛伏空間中加入更多的結(jié)構(gòu)以及專門的成本函數(shù)會產(chǎn)生更高質(zhì)量的樣本。我們展示了來自ImageNet數(shù)據(jù)集（Russakovsky等人，2015）所有類別的128×128像素的樣本，并增加了global coherence（圖1）。重要的是，我們從數(shù)量上證明了我們的高分辨率樣本不只是低分辨率樣本的天真調(diào)整。特別是，將我們的128×128的樣本縮小到32×32，導(dǎo)致視覺辨別力下降50%。我們還引入了一個新的度量來評估圖像樣本之間的可變性，并使用這個度量來證明我們合成的圖像與ImageNet中很大一部分(84.7%)類的訓(xùn)練數(shù)據(jù)相比具有多樣性。更詳細(xì)地說，這項工作首先是:

• 在128x128的空間分辨率下（或任何空間分辨率–見第3節(jié)），為所有1000個ImageNet類別展示一個圖像合成模型。

• 衡量一個圖像合成模型實際使用其輸出分辨率的程度（4.1節(jié)）。

• 用一個快速、易于計算的指標(biāo)來衡量GAN中的感知變異性和 "塌陷 "行為（第4.2節(jié)）。

• 強(qiáng)調(diào)大量的類是導(dǎo)致ImageNet合成對GANs困難的原因，并提供一個明確的解決方案（4.6節(jié)）。

• 通過實驗證明，在知覺上表現(xiàn)良好的GAN不是那些記憶少量例子的GAN（第4.3節(jié)）。

• 在不使用（Salimans等人，2016）的任何技術(shù)的情況下，在CIFAR-10上進(jìn)行訓(xùn)練時，實現(xiàn)了SOTA Inception score的技術(shù)狀態(tài)（第4.4節(jié)）。

3. AC-GANs

我們提出一個GAN架構(gòu)的變種，我們稱之為輔助分類器GAN（或AC-GAN）。在ACGAN中，每一個生成的樣本都有一個相應(yīng)的類標(biāo)簽，$c～p_c$，此外還有噪聲z。鑒別器給出了來源的概率分布和類標(biāo)簽的概率分布，$P(S|X),P(C|X)=D(X)$。目標(biāo)函數(shù)有兩部分：正確來源的對數(shù)可能性，$L_S$，和正確類別的對數(shù)可能性，$L_C$。

D被訓(xùn)練為最大化$L_S+L_C$，而G被訓(xùn)練為最大化$L_C?L_S$。AC-GANs學(xué)習(xí)一個獨立于類標(biāo)簽的z的表示（例如（Kingma等人，2014））。

從結(jié)構(gòu)上看，這個模型與現(xiàn)有的模型沒有巨大的區(qū)別。然而，對標(biāo)準(zhǔn)GAN公式的這種修改產(chǎn)生了很好的結(jié)果，并且似乎穩(wěn)定了訓(xùn)練。此外，我們認(rèn)為ACGAN模型只是這項工作技術(shù)貢獻(xiàn)的一部分，還有我們提出的測量模型利用其給定輸出分辨率的程度的方法，測量模型樣本的感知變異性的方法，以及對一個從所有1000個ImageNet類別中創(chuàng)建128×128樣本的圖像生成模型的全面實驗分析。

從結(jié)構(gòu)上看，這個模型與現(xiàn)有的模型沒有巨大的區(qū)別。然而，對標(biāo)準(zhǔn)GAN公式的這種修改產(chǎn)生了很好的結(jié)果，并且似乎穩(wěn)定了訓(xùn)練。此外，我們認(rèn)為ACGAN模型只是這項工作技術(shù)貢獻(xiàn)的一部分，還有我們提出的測量模型利用其給定輸出分辨率的程度的方法，測量模型樣本的perceptual variability的方法，以及對一個從所有1000個ImageNet類別中創(chuàng)建128×128樣本的圖像生成模型的全面實驗分析。

ageNet類別中創(chuàng)建128×128樣本的圖像生成模型的全面實驗分析。

早期的實驗表明，在保持模型不變的情況下增加訓(xùn)練類的數(shù)量會降低模型輸出的質(zhì)量。AC-GAN模型的結(jié)構(gòu)允許將大數(shù)據(jù)集按類劃分為子集，并為每個子集訓(xùn)練一個生成器和判別器。所有ImageNet實驗都是使用100個ac - gan的集合進(jìn)行的，每個集合都經(jīng)過10類分割的訓(xùn)練。

總結(jié)

以上是生活随笔為你收集整理的Conditional image synthesis with auxiliary classifier GANs的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。