論文標題：Perceptual Losses for Real-Time Style Transfer and Super-Resolution

這是首次提出使用預訓練模型來在圖像變換任務中使用感知損失來進行相似性度量的論文。在這篇論文剛出的時候，正是風格遷移領域極度火熱的時候，大家對于風格遷移的效果都感覺到非常驚艷。然而原版風格遷移論文中使用優化的方法來進行度量，使得每次進行風格遷移的時候都得重新優化一次，而且耗時特別長。這篇論文通過結合傳統方法使用優化算法來進行感知度量的方法，利用神經網絡模型淺層提取low-level信息，高層提取high-level信息的特點，使用圖像在預訓練的模型中的高維信息來進行相似性度量，取得了很好的效果。論文中在風格遷移上效果與SOTA差不多，但是速度快3個數量級；在超分任務上也取得了很好的視覺重建效果。由于感知損失的通用性，可以很好的應用于其他的圖像變換任務中，取得更好的視覺變換效果。

在圖像變換任務中，都需要進行相似性的度量。一些典型圖像變換任務有風格遷移，圖像上色，超分辨率重建，圖像降噪，當前的方法都是使用的一些逐像素的損失函數。

This strategy has been applied to feature inversion [6] by Mahendran et al, to feature visualization by Simonyan et al [7] and Yosinski et al [8], and to texture synthesis and style transfer by Gatys et al [9,10]. These approaches produce high-quality images, but are slow since inference requires solving an optimization problem.

此時也有一些利用優化的方法來進行感知損失的度量工作，然而卻特別的慢。

整體的模型架構如下：

從上圖可以看到，模型架構重點是在后面的損失函數計算上，前面的圖像變換模型可以直接使用SOTA的模型就可以了。

整體的損失函數包括三個部分，一個是特征重建損失，為逐像素的損失；一個是風格的損失，為預訓練模型的特征間的逐像素損失；一個是TV loss，用來做正則可以更好的保證空間平滑性。其中超分辨率重建沒有風格損失，接下來分開講。

風格遷移

從VGG不同深度的特征來進行度量計算可以看到，使用淺層的特征那么紋理就會保留更多，風格就會較少；越深層，紋理就會越少，風格就會越明顯。

To perform style reconstruction from a set of layers J rather than a single layer j, we define ` φ,J style(?y, y) to be the sum of losses for each layer j ∈ J.

如果要只選一層特征進行度量的話那么還需要手動調整來進行實驗性對比，文中直接使用了這些挑選出的所有層，將選擇隱含建模在了模型的學習過程中。

可以看到的是，效果還是很不錯的。

由于只需要進行一次模型前向的過程，速度是很快的，相比于需要進行迭代優化的方法，速度差異還是很明顯的。迭代次數越多，性能差異就會越大。

超分辨率重建

We focus on ×4 and ×8 superresolution since larger factors require more semantic reasoning about the input.

超分中倍數越大，越容易出現細節的問題，這里論文針對于高倍數的超分進行對比實驗。目前的客觀評價標準中PSNE/SSIM對于逐像素的損失函數來說是很有優勢的，然而這些評價標準無法反映出細節詳細情況。

那個是否還沒有對超分視覺質量進行太多的研究，后續的PIRM2018著重于高視覺質量的超分。

從上圖超分對比圖可以看出，論文與EnhanceNet做超分一樣，PSNR慘不忍睹，連插值都比不上。不過視覺質量上對比起來很好，有著顯著的優勢。

結論

文中提出了使用預訓練模型的特征計算的感知損失來進行圖像變換任務中的度量方式。其在風格遷移中取得了SOTA的效果，但是速度比需要迭代優化的baseline方法速度快3個數量級左右；同時還在高倍率的超分辨率重建中進行了對比試驗，雖然PSNR/SSIM的數值性指標很差，但是視覺效果上相比有著很大的提升。由于其感知損失的通用性，可以很快速地在應用在其他的圖像變換任務中，來提升生成圖像的視覺質量。

總結

以上是生活随笔為你收集整理的风格迁移应用_[风格迁移][超分][ECCV2016]Perceptual Losses for Real...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。