?PaperWeekly 原創 · 作者｜尹娟

學校｜北京理工大學博士生

研究方向｜隨機過程、復雜網絡

論文標題：Online Kernel based Generative Adversarial Networks

論文鏈接：https://arxiv.org/abs/2006.11432

引言

GAN 從 2014 年被 Goodfellow 提出來之后至今已經 6 年了，并且 GAN 的應用已經遍地開花，比如有圖像生成，圖像風格遷移，數據增強，生成對抗樣本等等。

但是 GAN 訓練過程中自身有兩個頑疾一直沒有很好地被處理掉，一個是模型訓練不穩定，另一個是模式塌縮，其中 WGAN，DualGAN，WGAN-GP 都在解決這兩個問題中做出過貢獻，然而它們都是針對 GAN 的線下訓練，該論文是一種線上穩定訓練 GAN 的方法。

論文的貢獻

本文的貢獻可以歸納為如下幾點：

• 首先作者提出了一種基于非參數的鑒別器（它是一種基于核的分類器），可以有效地在線訓練，直觀感覺基于核的分類器會大大降低模型訓練的成本而且訓練更穩定，因為參數量較小（比如 SVM 會比神經網絡更好訓練）。

• 鑒別器的優化公式是一個凸優化的形式，在基于核的預測器的計算和統計特性方面都有大量的結果。要知道神經網絡是一個非凸函數，在優化過程中會遇到陷入局部最優解和梯度消失的問題，但是凸函數就不會遇到這些讓人頭疼的問題。

• 核分類器可以選擇內核或組合內核目的是在數據表示上增加靈活性。論文中發現不同半徑的高斯核的混合在復雜的圖像數據集（如 CelebA）中表現最好。

模型介紹

要知道在 GAN 的經典形式中，鑒別器通常被視為一個神經網絡分類器，其目的是區分數據是真是假。而該論文所用到鑒別器模型是再生核 Hilbert 空間的函數類的分類器，它跟深層網絡相比有許多優點。

學習任務是一個凸問題，它提供了有保證的收斂速度和充分理解的速度。其次，利用邊緣理論和 RKHS 范數度量函數大小，有一種有效的方法來衡量從 RKHS 中選擇的分類器的泛化能力，從而對其進行適當的正則化，并且它們非常適合快速在線訓練。

設 是一個抽象的數據空間，它通常是有限維的實向量空間，有一個核 是半正定和對稱的。對于一組樣本 ，其中 是半正定，所以在 Hilbert 空間中有：

則函數的范數為：

假定有一個凸函數 ，其中 是 的預測損失函數， 是真實的標簽，則 OKGAN 的對抗損失函數為：

其中生成 的優化目標函數為：

OKGAN 在低維數據（如二維合成數據集）上具有優越的性能。但是如果沒有額外的表現能力，它很難生成高質量的圖像，而這正是其他 GAN 架構的特點，然而如果通過添加編碼器層來彌補的，可以發現編碼器能夠計算高維數據，如復雜的圖像數據集的內核，其中編碼器也是一個神經網絡，此時 OKGAN 的對抗損失為：

其中生成器?和編碼器?分別對應的目標函數為：

作者探討了很多核函數，分別有高斯核函數，線性核函數，多項式核函數，有理二次型核函數，混合高斯核函數和混合 RQ 線性核函數，具體形式如下：

實驗結果

作者從定量和定性兩方面提供了 OKGANs 的實驗結果，采用二維合成數據集對模式崩潰進行定量分析，用 MNIST、SVHN 和 CelebA 均用于定性分析，其中評估指標為：

如下表所示，在緩解模式崩潰方面 OKGAN 顯示出了最好的性能。與其他 GANs 相比，OKGAN 捕捉所有 2D 合成數據集的所有模式，并且 OKGAN 的反向 KL 散度在這三個數據集中是最低的，這就說明了 OKGAN 能夠緩解模式塌縮（即 GAN 能夠多樣性學習樣本數據）。

下圖為 OKGAN 和其它 GANs 比較多樣性學習的比較，可以看出 OKGAN 學習的分布與原來數據分布是最相似的。

稍微擴展一下，在 DualGAN 中，作者創造性的把 KL 散度和反向 KL 散度綜合到一起應用來提高 GAN 的學習多樣性的能力，要知道 KL 散步是一個有很大缺陷的度量方法，因為其該度量方法不對成，即 KL (A,B) 不等于 KL (B,A)。所以該論文中多用了一個反向 KL 散度來評估 OKGAN 緩解模式塌縮的效果。

下圖為 OKGAN 訓練過程中的反向 KL 散度的圖示，可以看出 OKGAN 的偽分布比 BourGAN 更快地收斂到真實分布，并且以更穩定的方式訓練 OKGAN，由此可知 OKGAN 通過利用基于核的非參數鑒別器來增加生成樣本的多樣性。

下圖為 OKGAN 和 DCGAN 在 MNIST，SVHN，CeleBA 數據集上樣本生成的對比示意圖，可以看出 OKGAN 生成的樣本細節更豐富。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的OKGAN：线上训练GAN的方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。