論文題目: "Why Should I Trust You?" Explaining the Predictions of Any Classifier
論文地址: https://dl.acm.org/citation.cfm?Id=2939778
論文發(fā)表于: KDD 2016（CCF A類會議）

論文大體內(nèi)容：
本文主要提出了LIME（Local Interpretable Model-agnostic Explanations）方法，來對任意的分類/回歸模型的預(yù)測結(jié)果進行“解釋”（特征重要性），是一種模型無關(guān)的方法；

Motivation：
現(xiàn)在DNN等深層模型出現(xiàn)后，帶來了效果的提升，但同時帶來了模型的不可解釋性，深度學習訓練出來的模型完全就是個“黑盒子”。在很多應(yīng)用場景中，模型如果不具有解釋性，完全無法應(yīng)用，如醫(yī)學、律師等領(lǐng)域。所以本文致力于提出一種模型無關(guān)的解釋模型，用于解釋“黑盒子”的輸出；

Contribution：
本文主要包括3個貢獻點：
①提出LIME算法，可解釋任何模型的輸出結(jié)果；
②提出SP-LIME（Submodular pick-LIME）算法，以盡量少的樣本覆蓋盡量多的特征，以便人工觀察較少的樣本，即可大致判斷模型是否可信；
③通過實驗驗證算法的可行性與有效性；

1. 對“黑盒子”的可解釋性，其實就是體現(xiàn)在feature importance中，TopN個重要的特征就能很好的對結(jié)果進行解釋，如本文中對一個人是否有“Flu”的預(yù)測：

2. 本文提出的LIME算法，主要原理是這樣的：
經(jīng)過一個復(fù)雜的模型，可以劃分出紅色和藍色區(qū)域兩類。當我們要解釋加粗的?時，很難通過解釋全局來解釋這個點。所以這里LIME使用focus局部的方法，做一個?附近點的采樣，從而學習到一個簡單的線性模型（虛線表示），那么這個簡單的線性模型就是我們的解釋模型。?

3. 本文為了簡單，LIME算法都用線性回歸算法，對每個sample x，對其它的sample z的特征進行采樣（取其中某部分feature），并且以z到x的歸一化距離作為sample z的weight，距離（text用cosine值，image用超像素的L2值）越近，weight越大，學習一個線性回歸模型；

4. SP-LIME，使用類MMR的方法來挑選盡量少的樣本覆蓋盡量多的特征，這是NP-Hard問題，所以這里使用貪心思想來獲得局部最優(yōu)解；

實驗
5. 這里的實驗設(shè)計主要為了解決下面6個問題：
①LIME結(jié)果是否準確；
②解釋能否讓人信任；
③解釋能否有助于評測整個模型；
④使用LIME后用戶是否能選擇最好的分類器；
⑤無經(jīng)驗的人類能否根據(jù)LIME的結(jié)果提升模型效果；
⑥解釋能否給出模型判斷的關(guān)鍵依據(jù)；

6. Dataset
①Books商品評論信息；
②DVDs商品評論信息；

7. Baseline
①LR；
②NN；
③RF；
④SVM；

8. Metric
①Recall；
②F1；

9. 實驗結(jié)果
①對于問題“LIME結(jié)果是否準確”，這里直接用LR和Decision Tree兩種模型來實驗，限定只選擇10個feature，發(fā)現(xiàn)LIME選擇的feature相比其他方法能取得更好的效果；

②去除掉隨機的25%的feature，然后如果預(yù)測結(jié)果變了，則預(yù)測不可信，即原模型不可信。使用模型和解釋模型跑2次實驗，分別是全部feature，和隨機去掉25%作為不可信的feature，這2次模型的結(jié)果一樣則prediction可信，否則prediction不可信（實驗的ground true）；解釋模型的linear approximation結(jié)果要是改變了，則不可信，否則可信（實驗的prediction）；

③用戶對于多個模型（自動化精度差別不大），怎么根據(jù)解釋來評估整個模型的效果。這里作者添加了10個人工的噪聲feature，如果重要性TopN的特征中出現(xiàn)了這些噪聲feature，則說明這個模型不可信；

④與實驗③有點類似，這里用的是文本分類來實驗，通過看TopN的重要feature，來協(xié)助人工判斷哪個模型更好；經(jīng)過分析svm的重要特征，發(fā)現(xiàn)一些并無關(guān)的詞語出現(xiàn)在Top的位置，說明這樣訓練出來的模型是不可靠的，這需要重新清洗樣本，重新訓練；

⑤不斷刪除不重要的feature，作者發(fā)現(xiàn)能提升模型效果；

⑥在圖像分類中，作者發(fā)現(xiàn)模型把哈士奇predict為狼的依據(jù)是雪地，這個是重要的特征點；

參考資料：?
[1] https://blog.csdn.net/evilhunter222/article/details/80043251
[2] https://zhuanlan.zhihu.com/p/58099941
[3] https://github.com/marcotcr/lime

以上均為個人見解，因本人水平有限，如發(fā)現(xiàn)有所錯漏，敬請指出，謝謝！

總結(jié)

以上是生活随笔為你收集整理的#Paper Reading# Why Should I Trust You? Explaining the Predictions of Any Classifier的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。