目錄

• • 簡介
  • 一些基本概念的收集
  • • • 對抗樣本
      • 現實中的對抗樣本
      • 產生"對抗樣本問題"的原因
  • 制造對抗樣本的方式
  • • • FGSM
      • FGM

簡介

本文旨在收集對抗訓練相關的內容，并作出比較詳細的理解和講解。

?

一些基本概念的收集

本部分收集對抗訓練相關的一些基本概念，并結合寫下自己的理解。

對抗樣本

我們對數據集中的數據，做一些比較小的、但卻能帶來很大殺傷力的改動。改動后的數據可能會讓模型以較高的confidence輸出一個錯誤的預測。¹
很多模型面對這種樣本的時候，是很容易出錯的。²
也就是說，對抗樣本應該是一些只加入了輕微擾動，卻給模型帶來較大負面影響的樣本。

現實中的對抗樣本

設原樣本為$x$
設引入擾動后的樣本為$\tilde{x}$:
$$\tilde{x}=x+\eta$$
(此處的$\eta$為引入的擾動)

現實中我們怕的是，兩個樣本$x$和$\tilde{x}$在本質上沒有區別，但模型覺得它倆不一樣。
比如說，$x$和$\tilde{x}$是兩張我們看起來長得一毛一樣的圖片，但實際上它們每一個像素的顏色上有無比輕微的、我們觀察不太出來的區別，但就因為這些區別，模型認為這倆圖片所在的class不一樣，那這種情況是不能被我們人類接受的。

當然，"觀察不太出來"是從人的角度出發、比較主觀的。
我們還是用比較數字化的方式¹來定義一下這種區別：
很多儲存圖片的設備，每個像素只存8個bit，也就是說，在設備儲存精度之外的一些信息，對儲存圖片的設備來說是不重要的。
那我們就可以這樣規定：只要$\eta$滿足$\Vert \eta {\Vert }_{\infty }<=?$ (也就是說$\eta$這個向量里每個元素的絕對值中最大的也小于$?$)， 我們就規定$x$和$\tilde{x}$的class是一樣的。此處的$?$小到對我們的儲存或者傳感設備來說，$x$和$\tilde{x}$是一樣的。
再換句話說，擾動$\eta$足夠小，小到我們的儲存或者傳感設備感受不到。

產生"對抗樣本問題"的原因

Goodfellow et al.¹提出，模型的線性就可能足夠讓這類問題產生。
為什么模型的線性會讓"對抗樣本問題"產生？也就是說，為什么由于模型的線性，當我們對某些數據引入較小的擾動的時候，會帶來較大的負面影響？
Goodfellow et al.¹是這樣解釋的：
假如我們把$x$扔進一個線性模型，那我們就得到：
$$w^{T}x$$
假如我們把$\tilde{x}$扔進一個線性模型，那我們就得到：
$$w^T\tilde{x}=w^{T}x+w^T\eta$$
也就是說，對于這兩個樣本，線性模型出來的結果之間就只差一個$w^T\eta$。假設$w$中一共有$n$個元素，每個元素平均值是$m$，那么這個$w^T\eta$的算出來的就會是在$nm?$這個水平（因為是點乘）。
那也就是說，我們的原始樣本$x$和對抗樣本$\tilde{x}$分別輸入模型之后，得到的輸出之間會相差約$nm?$。這個差距，是會隨著$w$的維數($n$)來線性增加的。也就是說，如果我們的問題是一個高維問題，就算加入的干擾不多，也會由于維數較多而給模型輸出帶來很大的影響。
這就是Goodfellow et al.¹解釋線性模型能讓"對抗樣本問題"產生的邏輯。

制造對抗樣本的方式

那么如何讓模型面對對抗樣本時也能有能力識別正確？我們可以制造對抗樣本來攻擊模型，以此提升它的防御能力。

FGSM

FGSM的全稱是Fast Gradient Sign Method. 如果用FGSM來制造擾動$\eta$，可以使用如下的式子：
$$\eta =?sign({?}_{x}J(\theta ,x,y))$$
其中$x$是輸入，$y$是$x$的標簽，$\theta$是模型的參數，$J()$是損失函數。

我們來看一下這個式子里各部分的寓意和用意。
首先，${?}_{x}J(\theta ,x,y)$這部分是損失函數關于輸入$x$求導得到的梯度，也就是說，如果我們讓$x$的值往這個方向走，損失函數是上升得最快的。它解決的問題是：讓$x$往哪個方向走(即我們要如何擾動這個$x$)，才能讓模型在面對正確的標簽$y$的時候，反而高效地把損失函數拉得很大？從而讓模型傾向于認為$y$并不是正確的標簽。

其次，我們來說一下這個式子剩下的部分，這部分主要是為了使得$\Vert \eta {\Vert }_{\infty }<=?$。
$?$就是我們一開始提到的，擾動$\eta$的無限范數不能超過的值。那我們是如何做到這一點的呢，答案是靠$sign()$，$sign()$的函數圖像³是這樣的：

也就是說：
$$sign(a)=?\begin{array}{r}1,a>0\\ 0,a=0\\ ?1,a<0\end{array}$$
如果這里的$a$是一個向量的話，就會對它的每個維度分別做這樣的操作。⁴

由于$sign()$函數的輸出在{-1,0,1}之間，那么簡單地，$?sign()$的輸出就在$\{??,0,?\}$之間了，從而，我們就成功使得$\Vert \eta {\Vert }_{\infty }<=?$了。

總結：${?}_{x}J(\theta ,x,y)$給我們提供了擾動$x$的高效方向，$?sign()$幫助我們使得擾動大小被限制在某個范圍內。

FGM

FGM的全稱是Fast Gradient Method, 一般指的是這樣的擾動(出現于Adversarial Training Methods for Semi-supervised Text Classification這篇論文)：
$$\begin{gathered} \eta =?\frac{g}{\Vert g{\Vert }_2} \\ 其中，g={?}_{x}J(\theta ,x,y) \end{gathered}$$
也就是說比起FGSM中$sign()$的方式，這里做了一個L2范數歸一化。
設$g$的第$i$維是$g_i$，那么就有：
$$\begin{array}{rl}\frac{g}{\Vert g{\Vert }_2}& =(\frac{g_1}{\Vert g{\Vert }_2},\frac{g_2}{\Vert g{\Vert }_2},...,\frac{g_n}{\Vert g{\Vert }_2})\\ & =(\frac{g_1}{\sqrt{g_1^2+g_2^2+...+g_n^2}},\frac{g_2}{\sqrt{g_1^2+g_2^2+...+g_n^2}},...,\frac{g_n}{\sqrt{g_1^2+g_2^2+...+g_n^2}})\end{array}$$
通過這樣歸一化的話，還能保留每個維度之間的相對大小，不像FGSM直接用了一個把每個維度轉成-1,1或0的$sign()$函數。

---

EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES ?? ?? ?? ?? ??

Intriguing properties of neural networks ??

https://baike.baidu.com/item/sign/115763?fr=aladdin ??

https://ww2.mathworks.cn/help/releases/R2017a/matlab/ref/sign.html ??

總結

以上是生活随笔為你收集整理的对抗训练+FGSM, FGM理解与详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。