文章目錄

• 前言
• Demo效果
• 鏈接
• 原理分析
• • 系統模型
  • 損失函數
• 實驗
• 結束

前言

---

平時生活中，我們經常碰到一些自己喜歡的圖片卻苦于分辨率很低，而原圖又找不太到。 現在，神經網絡可以幫助我們從一張給定的低分辨率圖片恢復出高分辨率的圖片。 這個功能聽上去既炫酷又實用，具體是怎么做的呢，詳見下文！

Demo效果

---

上圖就是訓練了2000次后的模型的效果，只需要輸入一張左邊的低精度的圖片， 就可以生成右邊的高精度的圖片。肉眼看上去效果還是非常不錯的！

這張GIF則展示了整個訓練過程的變化， 左邊的圖是由神經網絡生成的， 中間的是原始的高精度的圖片， 右邊的是輸入到神經網絡的低分辨率圖片， 神經網絡在整個生成過程中是沒有得到高精度圖片信息的，這里給出高精度圖片只是為了對比體現生成的效果。可以看到在100次epoch迭代之后，性能已經非常不錯了。

鏈接

項目源碼：基于keras的SRGAN實現.
主要參考了著名的keras-GAN這個庫，做了一些小改動使得節目效果更好，適合作為Demo來展示哈哈。如果對你有幫助的話請Star一下哈！
論文地址 被引用了1500多次，很強了！這個代碼也是根據論文里的參數寫的。
數據集地址 這個鏈接給出了百度云和谷歌云盤的下載地址，筆者是用百度云下載的，非會員用戶， 5M/s的速度，很給力！

原理分析

這里提供非常概括性的分析，想深入理解的同學建議參考原文。

系統模型

首先作者使用了非常火熱的GAN生成對抗網絡（對GAN不熟悉的可以百度一下GAN，已經有許多優質的資料）。 生成網絡（上圖上半部）接收低精度圖片作為輸入，通過殘差網絡等，生成高精度圖片。 然后 判別器網絡（上圖下半部）接收一個輸入， 判斷其是否為生成的圖片。 損失函數為：
$$\begin{array}{c}{\min }_{{\theta }_G}{\max }_{{\theta }_D}{\mathbb{E}}_{I^{HR}～p_{\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{i}\mathrm{n}}\left(I^{HR}\right)}\left[\log D_{{\theta }_D}\left(I^{HR}\right)\right]+{\mathbb{E}}_{I^{LR}～p_G\left(I^{LR}\right)}[\log \left(1?D_{{\theta }_D}\left(G_{{\theta }_G}\left(I^{LR}\right)\right)\right]\end{array}$$
沒有GAN基礎的同學可能比較難理解上述公式，這里深入淺出的通俗解釋下訓練過程其實就是：

固定生成器G (參數為${\theta }_G$), 訓練判別器，使得其能夠分辨 真實的圖片和生成器生成的圖片。

固定判別器， 訓練生成器， 使得其能夠讓固定的判別器將其判別為真實的圖片
如此迭代之后， 判別器再也無法分別真實和生成的圖片，此時就說明生成器生成的圖片已經足夠以假亂真。這里真實的圖片指的就是高精度的圖片，訓練完成后，我們期望生成器可以接收低精度圖片，來生成高精度圖片。

生成器作者主要使用了ResNet來實現。
判別器是使用了常規的卷積神經網絡。

損失函數

與普通的GAN網絡不同的是，這篇文章還考慮了content loss：
$$\begin{array}{r}{l}_{VGG/i.j}^{SR}=\frac{1}{W_{i,j}{H}_{i,j}}{\sum }_{x=1}^{W_{i,j}{H}_{i,j}}({?}_{i,j}{\left(I^{HR}\right)}_{x,y}?{?}_{i,j}{\left(G_{{\theta }_G}\left(I^{LR}\right)\right)}_{x,y}{)}^2\end{array}$$
意思就是，生成的圖片會和準確的圖片一起，輸入到VGG網絡中，然后得到特征圖。 再將兩者的特征圖求MSE，并訓練生成器縮小該MSE。這就是從內容的角度，讓生成的圖片和準確圖片盡可能的接近。

結合上述的GAN網絡，本文采用的loss是：
$$l^{SR}=\underset{\text{?content?loss?}}{l_{\mathrm{X}}^{SR}}+\underset{\text{?adversarial?loss?}}{10^{?3}{l}_{Gen}^{SR}}$$
也就是說在MSE損失的基礎上，摻入了一點GAN的損失，作者指出這樣會獲得更好的性能。

實驗

上述簡單的概述應該很難讓讀者完全看懂，建議結合論文與代碼一起融會貫通。這里說一下仿真細節：
數據集使用了數據集地址 人臉數據集，因此要恢復的圖片也應該是人像圖才會效果比較好。
筆者的配置是1080Ti + i9-9900k + 48G內存， 因此使用的batch_size為10。配置不夠的同學可以先設為1，確保機器可以跑起來。
具體還可以參見基于keras的SRGAN實現中的readme，有具體的使用方法。

結束

這個Demo非常簡單，但是效果很不錯，適合課堂演示，Presentation之類的。
我給出了自己這邊訓練了2000次后的模型權重，可以從鏈接下載
提取碼：su92
由于訓練的模型固定了輸出的尺寸，因此你自己想輸入的圖片也盡可能取正方形圖片（裁剪一下就行）。

總結

以上是生活随笔為你收集整理的深度学习：用生成对抗网络（GAN）来恢复高分辨率（高精度）图片 （附源码，模型与数据集）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。