當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

GAN综述总结笔记

發(fā)布時間：2024/3/12 编程问答 34 豆豆

生活随笔收集整理的這篇文章主要介紹了 GAN综述总结笔记小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

GAN綜述總結(jié)筆記

源自超分辨率Generative Adversarial Networks for Image Super-Resolution: A Survey
論文地址

1.摘要

GAN在小樣本的低分辨率圖像表現(xiàn)不錯，GAN在圖像超分辨率應(yīng)用總結(jié)。
分析基于優(yōu)化方法和判別方法在圖像超分辨應(yīng)用上有監(jiān)督，半監(jiān)督，無監(jiān)督訓(xùn)練GANs的動機(jī)，實現(xiàn)和區(qū)別。
給出GANs方法就定性和定量分析上的圖像超分辨率的性能，潛在研究點和挑戰(zhàn)。
本文框架圖

本文前期提要和本文框架
-

2.GAN發(fā)展

介紹幾種經(jīng)典變體和發(fā)展
原始GAN
- ·
BiGAN（雙編碼器來協(xié)同生成器和判別器以獲得更豐富的信息，以提高異常檢測的性能，精度提升，訓(xùn)練穩(wěn)定性提高）
CycleGAN（循環(huán)架構(gòu)實現(xiàn)風(fēng)格轉(zhuǎn)移）
為解決模型坍塌（GD都不盡人意）提出WGAN——使用權(quán)重裁剪來增強(qiáng) Lipschitz 約束的重要性，從而提高訓(xùn)練 GAN [41] 的穩(wěn)定性。
- 權(quán)重裁剪：消除權(quán)重張量中不必要的值。將神經(jīng)網(wǎng)絡(luò)參數(shù)的值設(shè)置為零，以消除神經(jīng)網(wǎng)絡(luò)各層之間的低權(quán)重連接。
- 會導(dǎo)致梯度消失梯度爆炸
- 使用使用梯度懲罰（視為 WGAN-GP）來打破 Lipschitz 在計算機(jī)視覺應(yīng)用中追求良好性能的限制
styleGAN（使用特征解耦來控制不同特征來完成圖像生成的風(fēng)格轉(zhuǎn)移）

-

3.用于圖像應(yīng)用的GANs

應(yīng)用較多GANs的網(wǎng)絡(luò)模型

3.1用于圖像應(yīng)用的大樣本上的流行 GAN

3.2用于圖像應(yīng)用的基于小樣本的流行GAN

4.應(yīng)用在圖像超分辨率上的GANs

4.1基于監(jiān)督 GAN 的圖像超分辨率改進(jìn)架構(gòu)：

4.2用于圖像超分辨率的半監(jiān)督 GAN

4.3用于圖像超分辨率的無監(jiān)督 GAN

5.比較圖像超分辨率的 GAN 性能

本章介紹不同模型所使用的數(shù)據(jù)集和環(huán)境配置，并對不同模型的超分結(jié)果進(jìn)行了定性和定量兩方面的比較。

5.1數(shù)據(jù)集

半監(jiān)督，無監(jiān)督，監(jiān)督

5.2環(huán)境配置

5.3實驗結(jié)果

用于圖像超分辨率的 GAN 數(shù)據(jù)集（即訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集）。

針對不同訓(xùn)練方式的不同 GAN 圖像超分辨率

用于圖像超分辨率的不同 GAN 的環(huán)境配置。

6.未來展望

問題和挑戰(zhàn)

不穩(wěn)定的訓(xùn)練。由于生成器和鑒別器之間的對抗，GANs在訓(xùn)練過程中是不穩(wěn)定的。

計算資源大，內(nèi)存消耗高。GAN由生成器和鑒別器組成，這可能會增加計算成本和內(nèi)存消耗。這可能會導(dǎo)致對數(shù)字設(shè)備的更高需求。

無參考的高質(zhì)量圖像。現(xiàn)有的大多數(shù)GAN都依賴于成對的高質(zhì)量圖像和低分辨率圖像來訓(xùn)練圖像超分辨率模型，這可能會受到現(xiàn)實世界中數(shù)字設(shè)備的限制。

復(fù)雜圖像超分辨率。大多數(shù)GAN可以處理單個任務(wù)，即圖像超分辨率和合成噪聲圖像超分辨率等。然而，現(xiàn)實世界中數(shù)碼相機(jī)采集的圖像存在缺點，即低分辨率和暗光圖像，復(fù)雜的噪聲和低分辨率圖像。此外，數(shù)碼相機(jī)對圖像低分辨率和圖像識別的結(jié)合有更高的要求。因此，現(xiàn)有的圖像超分辨率GAN無法有效修復(fù)上述條件下的低分辨率圖像。

用于圖像超分辨率的GANs度量。現(xiàn)有的大多數(shù)GANs都使用PSNR和SSIM來測試GANs的超分辨率性能。然而，PSNR和SSIM不能完全測量恢復(fù)的圖像。因此，對于圖像超分辨率的GANs來說，找到有效的度量是非常重要的。

潛在研究點

增強(qiáng)生成器和鑒別器提取顯著特征，以增強(qiáng)圖像超分辨率上的GANs穩(wěn)定性。例如，使用注意機(jī)制（即Transformer）、剩余學(xué)習(xí)操作、串聯(lián)操作作為生成器和鑒別器來提取更有效的特征，以增強(qiáng)加速圖像超分辨率GAN模型的穩(wěn)定性。

為圖像超分辨率設(shè)計輕量級GANs。減少卷積核、群卷積、先驗和淺層網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)合可以降低圖像超分辨率處理的復(fù)雜度。

使用自監(jiān)督方法可以獲得高質(zhì)量的參考圖像。

結(jié)合不同低級任務(wù)的屬性，在不同的GANs中通過不同的階段將復(fù)雜低級任務(wù)分解為單個低級任務(wù)，修復(fù)復(fù)雜的低分辨率圖像，有助于高級視覺任務(wù)的完成。
構(gòu)的結(jié)合可以降低圖像超分辨率處理的復(fù)雜度。