對抗樣本生成算法

• 一、FGSM(Fast Gradient Sign Method)
• • • 1.FGSM基本思想
    • 2.FGSM算法流程
    • 3.FGSM擾動有效性分析
• 二、I-FGSM/BIM(Iterative FGSM)
• • • 1.I-FGSM與FGSM的區別
    • 2.I-FGSM算法流程
• 三、ILCM(Iterative Least-likely Class Method)
• • • 1.ILCM與I-FGSM的區別
    • 2.ILCM算法流程
• 四、PGD(Projected Gradient Descent)
• • • 1.PGD與I-FGSM的區別
    • 2.PGD指導對抗樣本防御
    • 3.PGD指導對抗樣本生成（算法流程）
• 五、PGD與I-FGSM的區別

一、FGSM(Fast Gradient Sign Method)

1.FGSM基本思想

Fast gradient sign method縮寫為FGSM，其思想來源于“隨機梯度下降使得模型對于輸入圖像輸出的損失函數值變小，從而使網絡輸出正確的預測，那么如果將計算得出的損失值加到輸入圖像上，使得網絡輸出的損失值變大，即可使網絡趨向于輸出錯誤的預測結果”。

2.FGSM算法流程

需要進行對抗樣本生成的原始圖片$x_{ori}$，其標簽為$y$，一個良好的分類模型$M$，分類模型$M$的參數$\theta$，同時需要使用FGSM生成一個攻擊噪聲$\eta$。
首先使用分類模型$M$對輸出$x_{ori}$進行一個前向傳播，可以計算?出損失函數值${?}_{x_{ori}}J(\theta ,x_{ori},y)$，因為損失計算得到的雅可比矩陣的元素大小不均，所以為了控制損失值的無窮范數（每一個像素的損失值的最大值），所以使用符號函數$sign()$提取梯度的方向，而不是用梯度的值，同時我們使用一個參數$\epsilon$來控制攻擊噪聲的幅值，滿足${\Vert \eta \Vert }_{\infty }<\epsilon$。

綜上
$$\eta =\epsilon sign({?}_{x_{ori}}J(\theta ,x_{ori},y))\text{\hspace{1em}(1.1)}$$隨后，將原圖加上攻擊噪聲$\eta$即可得到原始圖片$x_{ori}$的對抗樣本$x_{adv}$
$$x_{adv}=x_{ori}+\eta \text{\hspace{1em}(1.2)}$$添加擾動之后的圖片需要對于某些超出范圍的像素進行裁剪。

FGSM雖然是白盒攻擊方法，但其產生的對?抗樣本在面對黑盒模型時同樣具有一定?效?果，現一般作為算法baseline進行比較。

3.FGSM擾動有效性分析

即分類網絡線性因素越多，該網絡越容易收到對抗擾動影響。

二、I-FGSM/BIM(Iterative FGSM)

1.I-FGSM與FGSM的區別

I-FGSM/BIM是FGSM的改進版，原始將FGSM所有的像素進行了一次性變化。且FGSM 只沿著梯度增加的方向添加一步擾動，而 BIM 則通過迭代的方式，沿著梯度增加的方向進行多步小擾動（該擾動幅值由公式中的$\alpha$控制），并且在每一小步后，重新計算梯度方向，相比FGSM能構造出更加精準的擾動，但代價是增大了計算量。

2.I-FGSM算法流程

$$\begin{gathered} X_0^{adv}=X \\ {X}_{N+1}^{adv}=Cli{p}_{X,\epsilon }\{X_N^{adv}+\alpha sign({?}_{X}J(\theta ,X_N^{adv},y_{true}))\}\text{\hspace{1em}(2.1)} \end{gathered}$$其中，$X$是原始圖片，$X_N^{adv}$是經過N次FGSM算法處理后的對抗樣本，$Cli{p}_{X,\epsilon }(A)$函數將輸入向量A中的每個元素$A_{i,j}$裁剪到$[X_{i,j}?\epsilon ,X_{i,j}+\epsilon ]$之間，$sign({?}_{X}J(\theta ,X_N^{adv},y_{true})$與原始FGSM中對應計算量相同，$\alpha$代表每次迭代圖像像素更新的幅值，例如將$\alpha$設為1則每一次迭代，圖像像素只更新1或者-1。

迭代的含義：每次在上一步的對抗樣本的基礎上，各個像素增長（或者減少）$\alpha$，然后再執行裁剪，保證新樣本的各個像素都在的$X_{i,j}$的$\epsilon$鄰域內。這種迭代的方法是有可能在各個像素變化小于$\epsilon$的情況下找到對抗樣本的，如果找不到，最差的效果就跟原始的FGSM一樣。

三、ILCM(Iterative Least-likely Class Method)

1.ILCM與I-FGSM的區別

ILCM算法是I-FGSM的升級版，該算法將輸入圖像分類成原始圖像最不可能被分到的類別，即在原始圖片經過分類網絡后分類置信度最低的類。

2.ILCM算法流程

$$X_0^{adv}=X,X_{N+1}^{adv}=Cli{p}_{X,\epsilon }\{X_N^{adv}?\alpha sign({?}_{X}J(\theta ,X_N^{adv},y_{LL}))\}\text{\hspace{1em}(3.1)}$$
$$y_{LL}=argmi{n}_y\{p(y|X)\}\text{\hspace{1em}(3.2)}$$其中，$y_{LL}$是原始圖片最不可能被分到的類別，且該標簽不會隨著擾動的添加在改變，即$y_{LL}$只與$X$有關，與$X_N^{adv}$無關。

從公式中可以看到和FGSM無目標攻擊公式的最大區別在于對抗擾動項前面的加號變成減號，同時原本的真實標簽$y_{true}$變成$y_{LL}$，目的是使得模型優化目標$y_{LL}$的分類概率越來越大。

四、PGD(Projected Gradient Descent)

1.PGD與I-FGSM的區別

PGD是在BIM的基礎上，對原始樣本在其鄰域范圍內隨機擾動作為算法初始輸入，經多次迭代后生成對抗樣本，其性能得到顯著改善，具有較好的遷移性和抗破壞能力。

2.PGD指導對抗樣本防御

提出該方法的論文的中心思想：

How can we train deep neural networks that are robust to adversarial inputs?如何訓練模型，使其能對某一類攻擊都魯棒？

原始的網絡訓練方式Empirical risk minimization (ERM，經驗風險最小化)，即找到一組模型參數$\theta$，使：
$$\min \{\rho (\theta )\}?\min \{{\mathbb{E}}_{(x,y)～D}[L(x,y,\theta )]\}\text{\hspace{1em}(4.1)}$$傳統的網絡訓練方式對于常規數據分布具有良好的擬合能力，但該方法訓練的模型一般無法抵御對抗樣本攻擊。我們將對抗擾動引入經驗風險最小化范式中，使網絡訓練中將對抗擾動考慮在內，即找到一組模型參數$\theta$，使：
$$\min \{\rho (\theta )\}?\min \{{\mathbb{E}}_{(x,y)～D}[\underset{\delta \in S}{\max }L(x+\delta ,y,\theta )]\}\text{\hspace{1em}(4.2)}$$其中$S$是一組選定的擾動，也是無窮范數球的球面限制，限制對抗擾動的幅值。
（4.2）式包括了內部最大化和外部最小化，因此可以視為鞍點（min-max）問題，同時清晰地描述了魯棒模型應該達到的目標：內部最大化目的在于尋找最優的對抗樣本使分類網絡訓練達到很高，外部最小化目的在于尋找模型參數抵抗對抗樣本的攻擊。所以，最終訓練得到的模型也具有穩定的對抗魯棒性。內部最大化可以指導對抗樣本的生成，而外部最大化可以指導網絡訓練。

3.PGD指導對抗樣本生成（算法流程）

$$\begin{gathered} X^0=X \\ {X}^{N+1}=\prod _{X+S}\{X^N+\alpha sign[{?}_{X}J(\theta ,X^N,y_{true})]\}\text{\hspace{1em}(4.3)} \end{gathered}$$${\prod }_{X+S}$符號限制對抗擾動在球面范圍內。其中，$X$是原始圖片，$X^N$是經過N次FGSM算法處理后的對抗樣本，$sign({?}_{X}J(\theta ,X^N,y_{true})$與原始FGSM中對應計算量相同，$\alpha$代表每次迭代圖像像素更新的幅值，例如將$\alpha$設為1則每一次迭代，圖像像素只更新1或者-1。

同時，PGD會在對抗樣本攻擊前在樣本中隨機加入一些噪聲，在進行對抗樣本迭代生成，該方法被證明是一階攻擊方法中最強大的一種。

五、PGD與I-FGSM的區別

PGD的無窮范數版本基本等于I-FGSM，但PGD的無窮范數版本多了在對抗攻擊之前的隨機初始化，即在原始圖片中添加隨機噪聲。PGD是I-FGSM的推廣，I-FGSM是PGD的特例。PGD攻擊強度大于I-FGSM。

圖片來自：http://www.jsjkx.com/CN/article/openArticlePDF.jsp?id=20078

總結

以上是生活随笔為你收集整理的对抗样本生成算法-FGSM、I-FGSM、ILCM、PGD的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。