1 論文簡介

論文題目： U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation
論文代碼：https://github.com/taki0112/UGATIT
論文數據集：https://github.com/znxlwm/UGATIT-pytorch
本文以倒序的方式來介紹這篇論文，首先看效果，然后分析其原理。

2 效果

Figure 2: Visualization of the attention maps and their effects shown in the ablation experiments: (a) Source images, (b) Attention map of the generator, (c-d) Local and global attention maps of the discriminator, respectively. (e) Our results with CAM, (f) Results without CAM.

Figure 3: Comparison of the results using each normalization function: (a) Source images, (b) Our results, ? Results only using IN in decoder with CAM, (d) Results only using LN in decoder with CAM, (e) Results only using AdaIN in decoder with CAM, (f) Results only using GN in decoder with CAM.

3 基本框架

本文提出了一種新的無監督圖像到圖像轉換方法，以端到端的方式結合新的注意力模塊和新的可學習歸一化函數。

• 注意力模塊根據輔助分類器獲得的注意力圖，引導模型專注于區分源域和目標域的更重要的區域（幫助模型知道在哪里進行密集轉換）。 與之前無法處理域之間幾何變化的基于注意力的方法不同，本文的模型可以轉換需要整體變化的圖像和需要大形狀變化的圖像。
• AdaLIN 函數幫助注意力模型靈活控制形狀和紋理的變化量，而無需修改模型架構或超參數。
• 實驗結果表明，與具有固定網絡架構和超參數的現有最先進模型相比，所提出的方法具有優越性。

模型分為生成器和判別器兩部分，結構幾乎一致。生成器比判別器多了AdaLIN算法實現的Decoder模塊。
圖1描述了網絡結構，以生成器為例，輸入圖像通過Encoder編碼階段（下采樣+殘差模塊）得到特征圖，然后添加一個輔助分類引入Attention機制通過特征圖的最大池化，經過全連接層輸出一個節點的預測，然后將這個全連接層的參數和特征圖相乘從而得到Attention的特征圖。最后經過Decoder模塊得到輸出圖像。

Figure 1: The model architecture of U-GAT-IT. The detailed notations are described in Section Model

本文的目標是訓練一個函數 $G_{s\to t}$，該函數使用從每個域中抽取未配對的樣本將圖像從源域$X_s$ 映射到目標域 $X_t$：

• 該框架由兩個生成器 $G_{s\to t}$和 $G_{t\to s}$ 以及兩個鑒別器 $D_s$ 和$D_t$ 組成；
• 將注意力模塊集成到生成器和鑒別器中；
• 判別器中的注意力模塊引導生成器關注對生成逼真圖像至關重要的區域；
• 生成器中的注意力模塊關注與其他域不同的區域（判別器注意力模塊已經引導生成器聚焦了一個域，那么生成器的注意力模塊則聚焦其它的域）。

3.1 生成器

在這里，我們只解釋$G_{s\to t}$和 $D_t$（見圖 1），反之亦然。
符號說明：
$x\in \left\{X_s,X_t\right\}$：來自源域和目標域的樣本；
$G_{s\to t}$：包括一個編碼器$E_s$，一個解碼器$G_t$，和一個輔助分類器${\eta }_s$；
${\eta }_s(x)$：表示$x$來自$X_s$的概率；
$E_s^k(x)$：編碼器的第 $k$ 個激活映射(map)；
$E_s^{k_{ij}}(x)$：在$(i,j)$上的值；
$w_s^k$：通過使用全局平均池化和全局最大池化訓練輔助分類器以學習源域的第$k$ 個特征圖的權重，例如：${\eta }_s(x)=\sigma \left({\Sigma }_k{w}_s^k{\Sigma }_{ij}{E}_s^{k_{ij}}(x)\right)$；
利用 $w_s^k$，可以計算一組特定領域的注意力特征圖：
$a_s(x)=w_s?E_s(x)=\left\{w_s^k?E_s^k(x)\mid 1\le k\le n\right\}$。
$n$：編碼特征圖的數量。

$$\begin{array}{c}\mathrm{AdaLIN}(a,\gamma ,\beta )=\gamma ?\left(\rho ?\widehat{a_I}+(1?\rho )?\widehat{a_L}\right)+\beta ,\\ \widehat{a_I}=\frac{a?{\mu }_I}{\sqrt{{\sigma }_I^2+?}},\widehat{a_L}=\frac{a?{\mu }_L}{\sqrt{{\sigma }_L^2+?}}\\ \rho \leftarrow {\mathrm{clip}}_{[0,1]}(\rho ?\tau \Delta \rho )\end{array}\text{\hspace{1em}(1)}$$
公式(1)的符號說明：

• $\gamma$和$\beta$由注意力圖的全連接層動態計算;
• ${\mu }_I$ , ${\mu }_L$ 和${\sigma }_I$, ${\sigma }_L$ 分別是通道方式、層方式均值和標準差;
• $\tau$為學習速率;
• $\Delta \rho$ 表示優化器確定的參數更新向量(如梯度);
• $\rho$的值被限制在$[0，1]$的范圍內，只需在參數更新步驟中設置界限即可；生成器調整該值，以便在實例規范化很重要的任務中$\rho$的值接近1，而在層歸一化（LN）很重要的任務中$\rho$的值接近0。在解碼器的殘差塊中，$\rho$的值初始化為1，在解碼器的上采樣塊中，$\rho$的值初始化為0。

公式(1)中最核心的部分是：
$$\begin{array}{c}\rho ?IN+(1?\rho )?LN\\ \widehat{a_I}=\frac{a?{\mu }_I}{\sqrt{{\sigma }_I^2+?}}\\ \widehat{a_L}=\frac{a?{\mu }_L}{\sqrt{{\sigma }_L^2+?}}\end{array}\text{\hspace{1em}(2)}$$

• 層歸一化（Layer Norm，LN）：通道（channel）方向做歸一化，算CHW（通道、高、寬）的均值，主要對RNN作用明顯；更多的考慮輸入特征通道之間的相關性，LN比IN風格轉換更徹底，但是語義信息保存不足；
• 實例歸一化（Instance Norm，IN）：一個通道（channel）內做歸一化，算H*W的均值，用在風格化遷移；因為在圖像風格化中，生成結果主要依賴于某個圖像實例，所以對整個batch歸一化不適合圖像風格化中，因而對HW做歸一化。可以加速模型收斂，并且保持每個圖像實例之間的獨立；更多考慮單個特征通道的內容，IN比LN更好的保存原圖像的語義信息，但是風格轉換不徹底。

3.2 判別器

3.3 損失函數

模型包括四個損失函數：

• 對抗損失：$L_{lsgan}^{s\to t}=\left({\mathbb{E}}_{x～X_t}\left[{\left(D_t(x)\right)}^2\right]+{\mathbb{E}}_{x～X_s}\left[{\left(1?D_t\left(G_{s\to t}(x)\right)\right)}^2\right]\right)$，保證風格遷移圖像的分布與目標圖像分布相匹配；
• 循環損失：$L_{\text{cycle?}}^{s\to t}={\mathrm{E}}_{x～X_s}\left[\Vert x?G_{t\to s}\left(G_{s\to t}(x)\right)\right){\Vert }_1]$，保證一個圖像$x\in X_s$，在從$X_s$到$X_t$，$X_t$到$X_s$一系列轉化后，該圖像能成功的轉化回原始域；
• 一致性損失：$L_{\text{identity?}}^{s\to t}={\mathrm{E}}_{x～Xt}\left[{\Vert x?G_{s\to t}(x)\Vert }_1\right]$，保證輸入圖像與輸出圖像的顏色分布相似，給定一個圖像$x\in X_t$，在使用$G_{s\to t}$翻譯之后，圖像不應該改變；
• 分類激活映射損失：$\begin{array}{l}{L}_{cam}^{s\to t}=?({\mathrm{E}}_{x～X_s}\left[\log \left({\eta }_s(x)\right)\right]+{\mathrm{E}}_{x～X_t}\left[\log \left(1?{\eta }_s(x)\right)\right]\\ L_{cam}^{Dt}={\mathrm{E}}_{x～X_t}\left[{\left({\eta }_{Dt}(x)\right)}^2\right]+{\mathrm{E}}_{x～X_s}[\left(1?{\eta }_{Dt}{\left(G_{s\to t}(x)\right)}^2\right]\end{array}$，輔助分類器${\eta }_s$和${\eta }_{D_t}$帶來的損失。

最后，聯合訓練編碼器、解碼器、判別器和輔助分類器以優化最終目標函數：
$$\underset{G_{s\to t},G_{t\to s},{\eta }_s,{\eta }_t}{\min }\underset{D_s,D_t,{\eta }_{D_s},{\eta }_{D_t}}{\max }{\lambda }_1{L}_{\text{lsgan?}}+{\lambda }_2{L}_{\text{cycle?}}+{\lambda }_3{L}_{\text{identity?}}+{\lambda }_4{L}_{\text{cam?}}$$
其中${\lambda }_1=1,{\lambda }_2=10,{\lambda }_3=10,{\lambda }_4=1000$， $L_{\text{lsgan?}}=L_{\text{lsgan?}}^{s\to t}+L_{\text{lsgan?}}^{t\to s},L_{\text{cycle?}}=L_{\text{cycle?}}^{s\to t}+L_{\text{cycle?}}^{t\to s},L_{\text{identity?}}=L_{\text{dentity?}}^{s\to t}+L_{\text{identity?}}^{t\to s},L_{\text{cam?}}=L_{\text{cam?}}^{s\to t}+L_{\text{cam?}}^{t\to s}$。

總結

以上是生活随笔為你收集整理的风格迁移--U-GAT-IT模型(ICLR 2020)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。