Cite: Koh P W, Liang P. Understanding black-box predictions via influence functions[J]. arXiv preprint arXiv:1703.04730, 2017.

鏈接：https://arxiv.org/pdf/1703.04730

GitHub項目地址：http://bit.ly/gt-influence

本文使用影響函數(Influence functions)這種工具來研究模型訓練樣本對模型預測結果的影響，并由此對黑盒模型的預測結果進行解釋。

Influence functions由Cook以及Weisberg在魯棒統計(statistics)中引入，它研究了estimator隨著其輸入分布變化而變化的方式。在模型訓練過程中，假設修改一個訓練樣本的權重后，新的參數變為

其中z為(x,y)，即一個樣本

當損失函數L二階可微且在原始參數附近為凸函數時，根據influence functions理論可得

其中

通過以上結論，可以得到移除一個訓練樣本對模型參數的影響為

而對一個訓練樣本進行輕微擾動對模型參數的影響為

可以看到，在 I_(up,loss)(z, z_test) 中，需要求解Hessian矩陣的逆矩陣，直接計算的復雜度會很高，因此將其計算分解成兩部分

這樣可以使痛HVPs(Hessian-vector products)的方法進行計算第一部，然后再計算第二步。具體地，可以使用共軛梯度，直接優化得到H_θ??^(-1)v 。此外，還可以使用統計估計方法，計算得到 H_θ??^(-1)v 的無偏估計值。

對于非凸函數，可以構造一個近似的二次凸函數進行擬合，然后再對這個凸函數應用influencefunctions進行分析處理。一種擬合方式為

而對于一些非二次可微函數，例如Hingeloss，可以使用連續可微函數進行近似，例如Smooth Hinge

influence functions的結果可以應用到多個場景中對模型進行解釋：

1. 理解模型的行為

對比相同樣本的修改對不同模型預測的影響可以對模型預測的行為進行解釋，文中對比了Inception V3和SVM模型在dog-fish圖片分類問題中的行為，結果如下

svm這種簡單的模型依靠更淺層的特征(歐式距離)，而Inception V3使用更深層的特征

2. 產生對抗樣本

通過不斷的修改訓練樣本來提高預測的誤差，可以產生得到對抗樣本

。還是在dog-fish圖片分類問題，可以得到以下的結果

除了以上的用法，influence還可以應用到檢測訓練集/測試集的一致性，修正錯誤標簽的樣本等場景中。

?

本文作者王旦龍，浙江大學，研究方向是自然語言處理，機器學習。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | Understanding Black-box Predictions via Influence Func的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。