核心觀點：
神經(jīng)網(wǎng)絡對于對抗樣本的攻擊如此脆弱的原因，是因為網(wǎng)絡的線性本質(zhì)。
文章還提出了最早的 FGSM （Fast Gradient Sigh Method）對抗樣本生成方法。
通過在訓練樣本中加入一定的對抗樣本（隨機生成），可以對模型起到一定的正則化作用。

insight
利用非線性可以抵抗對抗樣本，但是非線性的模型又沒有線性模型好訓練優(yōu)化，所以未來的思路可能是：設計一套優(yōu)化方法，可以用來很好地訓練非線性模型。

不太懂的地方
5 ADVERSARIAL TRAINING OF LINEAR MODELS VERSUS WEIGHT DECAY 這一小節(jié)里面論文談到，加入對抗樣本以后的訓練效果，初看起來跟 L1 正則化有點像，但是實際上有很大不同。最大的不同點在于，L1 正則化（也就是 weight decay）是在訓練過程中，把 L1 penalty 加在 training cost 上，而不是像加入了對抗樣本訓練中，是把 L1 penalty 從中減去。關于兩者后續(xù)比較的討論還是沒怎么看懂。但是大致意思是將，L1 weight decay 的正則化效果沒有對抗樣本的正則化效果好。

other
通過在訓練樣本中加入由某種算法生成的對抗樣本訓練，確實可以降低該模型在面對定向?qū)箻颖镜墓舫晒β省５沁z憾地是，在分類錯誤的對抗樣本上，模型給出的置信度卻非常高。在錯誤分類的對抗本上給出的置信度平均高達 81.4%。

Summary & Discussion
看不懂原文的可以直接看結論：

對抗樣本的存在是因為模型過于線性，而不是因為模型過于非線性。
對抗樣本在不同模型之間的泛化能力可以解釋為對抗樣本擾動與模型權重變量步調(diào)高度一致的結果，而不同的模型在執(zhí)行相同的任務的時候，學習的都是相似的函數(shù)。
擾動的方向比擾動的具體值重要。因為特征空間并不像實數(shù)里面到處嵌入了無理數(shù)一樣，到處都存在對抗樣本。
正是因為擾動在正確的方向才起作用，所以可以在不同的原始干凈樣本中進行泛化。
介紹了一種生成對抗樣本的方法。
對抗樣本可以起到正則化的作用，甚至比 dropout 的效果還好。
L1 weight decay 加噪音起到的正則化效果沒有對抗樣本的正則化效果好。
越容易優(yōu)化的模型，越容易遭受擾動。
線性模型缺乏抵抗對抗樣本擾動的 capacity。只有含有隱含層的結構才能被用于訓練來抵抗擾動（不確定意思get的對不對）。
RBF 網(wǎng)絡可以抵抗對抗樣本。
Models trained to model the input distribution are not resistant to adversarial examples.（不好翻譯）
集成多個模型也并不能抵抗對抗樣本。

總結

以上是生活随笔為你收集整理的论文解读 | Explaining and Harnessing Adversarial Examples的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。