文獻原文：http://arxiv.org/abs/1412.6572

引言

????????一些神經網絡會錯誤的分類對抗樣本（通過對數據集中的例子使用小但故意最壞情況的擾動形成的輸入），受擾動的輸入會導致模型輸出一個高置信度的錯誤答案。

????????早期認為是非線性和過擬合引起這種現象，本文作者認為是由于其線性性質引起的，得到新的定量結果的支持，同時得出一個結論：對抗樣本對模型結構以及訓練集具有泛化性。這種觀點還提供了一種生成對抗樣本的的簡單而快速的方法。通過這種方法為對抗訓練提供樣本，我們減少了MNIST數據集上maxout網絡的test error。

一、介紹

????????在許多情況下，在訓練數據的不同子集上訓練的具有不同架構的各種各樣的模型對相同的對抗樣本進行了錯誤分類。對抗樣本暴露了訓練算法的盲點。

????????對抗樣本的原因是一個謎，推測的解釋表明，這是由于深度神經網絡的極端非線性，可能結合了模型平均不足和純監督學習問題的正則化不足。作者證明了這些推測是不必要的。高維空間中的線性行為足以引起對抗樣本。

????????作者使用非線性效應來抵抗對抗樣本和設計由于線性而易于訓練的模型存在根本矛盾。在未來，可以通過更好的優化來避免這種權衡。

二、相關工作

? ? ? ? 通過一些結果表明，現代機器學習技術的分類器，即使那些在測試集中獲得優異性能的分類器，也沒有學習決定正確輸出標簽的真正潛在概念。

三、對抗樣本的線性解釋

????????單個輸入特征的精度是有限的，比如，數字圖像通常每個像素用8 bits表示，因此低于動態范圍1/255的信息會被丟棄。如果擾動η小于這個精度，那么對抗樣本 =x+η就會被劃分為和與x同一類別，這顯然是不合理的。對于一個分類情況良好的分類器，如果||η||∞<e，這個e足夠小（小到可以被拋棄），那么分類器會把x和分到同一個類。 ?

????????考慮權重向量w和一個對抗樣本的點積：wTx?= wTx + wTη（wT 就是w的轉置）。

????????我們可以在η的最大范數約束（防止某一參數被訓練得過大的正則化方法）下最大化這個增量

假設權重向量?w有?n個維度，且權重向量中元素的平均量值是?m，那么激活量將增加emn（wTη <= e*m*n）

????????由于||η||∞不隨問題的維數增長，而由η擾動引起的激活變化可以隨n線性增長，那么對于高維問題，我們可以對輸入進行許多無窮小的變化，這些變化加起來就會對輸出產生一個大的變化

????????所以對抗樣本的線性解釋表明，對線性模型而言，如果其輸入樣本有足夠大的維度，那么線性模型也容易受到對抗樣本的攻擊。

四、非線性模型的線性擾動

?????????作者利用對抗樣本的線性解釋提出了一個快速產生對抗樣本的方式，也即Fast Gradient Sign Method(FGSM)方法。

????????

?

????????設θ為模型的參數，x為模型的輸入，y為與x(對于有目標的機器學習任務)相關的目標，J(θ， x, y)為用于訓練神經網絡的損失函數。將損失函數在θ的當前值附近線性化，從而獲得保證無窮范數限制的最優的擾動(即||η||<e?)，擾動值具體為：（倒三角對于x的梯度）

? ? ? ? ?通過實驗表明，對抗樣本產生了錯誤答案的同時還有高置信度。FGSM這種簡單的算法確實可以產生誤分類的對抗樣本，從而證明了作者假設的對抗樣本的產生原因是由于模型的線性特性。同時，這種算法也可作為一種加速對抗訓練的方法。

五、線性模型與權值衰減的對抗訓練

? ? ? ? ?考慮在最簡單的邏輯回歸模型上使用FGSM方法。

????????這有點類似于L1正則化。最重要的是，L1懲罰是在訓練過程中減去模型的激活，而不是增加訓練成本。這意味著，如果模型學會了對ζ飽和做出足夠自信的預測，那么懲罰最終會開始消失。??

????????如果我們超越邏輯回歸到多類softmax回歸，L1權重衰減變得更加悲觀，因為它將softmax的每個輸出視為獨立可擾動的，而實際上通常不可能找到與所有類的權重向量一致的單個η。在具有多個隱藏單元的深度網絡中，權重衰減會高估擾動所能達到的損傷。

?六、深度網絡的對抗性訓練

? ? ? ? ?作者認為基于FGSM的對抗目標函數訓練是一種有效的正則化方法。

????????

????????作者表示在訓練集上對抗訓練的錯誤率error rate沒有達到過0%，作者主要從以下兩個方面解決：

• 增大模型，即使用1600個unit代替240個unit
• 在validation set上也使用early stopping算法

?文章表明，在不進行對抗訓練的情況下，模型識別FGSM攻擊方法生成樣本的錯誤率是89.4%，但是通過對抗訓練，同樣的模型識別對抗樣本的錯誤率下降到17.9%。

作者對對抗訓練的看法：只有當模型有能力學習抵抗對抗性例子時，它才明顯有用

七、不同類型的模型容量

????????作者主要描述低容量（Low capacity）模型對于對于對抗樣本是免疫的，原因是由于低容量（Low capacity）模型雖然不能夠在所有的點上都能夠正確的分類，但是它卻可以在一些不能理解的點上（擾動點），給予較低的預測置信度

八、為什么對抗樣本具有泛化性

????????對抗樣本有趣的方面，為一個模型生成的對抗樣本經常會被其他模型錯誤分類，即使他們具有不同的架構或在不同的訓練集上訓練。此外，這些不同的模型對同一個對抗樣本分類時，他們往往會在類別上達成一致。

? ? ? ? 通過實驗表明，線性行為是模型泛化的主要原因。

九、對抗假設

作者主要介紹和反駁對抗樣本存在性的一些其他假設

????????假設1：生成訓練可以在訓練過程中提供更多的約束條件，或者使模型學習如何區分“真實”和“虛假”數據，并且只對“真實”數據有高的置信度。文章表明，某些生成訓練并不能達到假設的效果，但是不否認可能有其他形式的生成模型可以抵御攻擊，但是確定的是生成訓練的本身并不足夠。

????????假設2：對抗樣本存在于單個奇怪的模型(models with strange quirks)，因此多個模型的平均可以使得模型防御性更好。

????????文章通過實驗說明，模型融合對于對抗樣本的防御能力非常有限。（集群對對抗性擾動提供有限的抵抗）

參考:

https://zhuanlan.zhihu.com/p/32784766

總結

以上是生活随笔為你收集整理的FGSM论文阅读笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。