區分信任的兩個不同的（但相關的）定義很重要：
（1）信任預測，即用戶是否充分信任單個預測，以便基于該預測采取一些行動；
（2）信任模型，即用戶是否信任模型在部署時以合理的方式運行。

這篇文章提出為單個預測提供解釋作為“信任預測”問題的解決方案，并選擇多個這樣的預測（和解釋）作為“信任模型”問題的解決方案。我們的主要貢獻總結如下。

?LIME，一種算法，通過使用可解釋的模型對其進行局部近似，以忠實的方式解釋任何分類器或回歸器的預測。

?SP-LIME，一種通過子模塊優化選擇一組具有代表性的實例和解釋來解決“信任模型”問題的方法。

通過“解釋預測”，我們指的是呈現文本或視覺偽影，這些偽影能夠定性地理解實例組件（例如文本中的單詞、圖像中的補丁）與模型預測之間的關系。

圖1說明了解釋單個預測的過程。很明顯，如果能提供清晰的解釋，醫生在模型的幫助下更容易做出決定。在這種情況下，解釋是一個帶有相對權重的癥狀列表-這些癥狀要么對預測有貢獻（綠色），要么是對預測不利的證據（紅色）。

圖1：解釋個別預測。一個模型預測一個病人患有流感，lime強調病人病史中的哪些癥狀導致了這種預測。打噴嚏和頭痛被認為是導致“流感”預測的因素，而“沒有疲勞”則是反對的證據。有了這些，醫生就可以對模型的預測做出明智的決定。(綠色的特征促進預測流感，紅色的特征阻礙預測流感)

如果成百上千的特征對一個預測有很大的貢獻，那么期望用戶理解為什么做出預測是不合理的，即使他們可以檢查單個權重。這一要求還意味著解釋應該容易理解——對于模型所使用的特性來說，這并不一定正確。
因此，解釋中的“輸入變量”可能與模型使用的特征不同。

我們注意到局部保真度并不意味著全局保真度：全局重要的特性在局部環境中可能并不重要，反之亦然。雖然全局保真度意味著局部保真度，但呈現可解釋的全局忠實解釋仍然是復雜模型的挑戰。

lime的總體目標是確定一個可解釋的模型，使得可以在局部解釋分類器。

這里我們關注稀疏線性模型作為解釋，并使用擾動執行搜索。

圖3：展示lime方法的玩具分類的例子。黑盒模型的復雜決策函數f（lime不知道）用藍色/粉色背景表示，線性模型無法很好地逼近。鮮亮的紅十字是正在解釋的例子。LIME對實例進行采樣，使用f獲取預測，并通過與被解釋實例的接近程度（這里用大小表示）來衡量它們的權重(距離越近，權重越大)。虛線是在局部（但不是全局）學習的可靠的解釋。

在“基督教和無神論”的例子中，對一個例子的解釋表明，預測是出于相當武斷的原因（單詞“Posting”、“Host”和“Re”與基督教或無神論都沒有關系）。“張貼”一詞出現在訓練集中的22%的例子中，其中99%出現在“無神論”一類中。

從解釋中得到這些見解后，很明顯，這個數據集有嚴重的問題（僅通過研究原始數據或預測就不明顯），而且這個分類器進行的評估是不可信的。問題是什么很清楚，以及可以采取哪些步驟來解決這些問題并訓練一個更可信的分類器。

4、用于解釋模型的子模塊選擇
雖然對單個預測的解釋為用戶提供了對分類器可靠性的一些理解，但僅從整體上評估和評估模型的信任度是不夠的。我們建議通過解釋一組單獨的實例來對模型進行全局性的理解。這種方法仍然與模型無關。
盡管對多個實例的解釋可能很有見地，但這些實例需要明智地選擇，因為用戶可能沒有時間檢查大量的解釋。我們用預算B來代表人類所擁有的時間和耐心，這個預算表示為了理解一個模型，他們愿意看多少種解釋。給定一組實例X，我們將pick步驟定義為選擇B個實例供用戶檢查的任務。
此外，這種方法應該選擇一組不同的、具有代表性的解釋來向用戶展示，即代表模型全局行為方式的非冗余解釋。

在圖5中，我們展示了一個玩具示例的矩陣W，其中W=d‘=5，其中W是二進制的（為了簡單起見）。重要性函數應將特征f2的得分高于特征f1，即I₂>I₁，由于特征f2用于解釋更多實例。

雖然我們希望選擇包含重要組件的實例，但在它們向用戶展示的組件中，解釋集不能是多余的，即避免選擇具有類似解釋的實例。在圖5中，在選擇第二行之后，第三行沒有添加任何值，因為用戶已經看到了特性f2和f3，而最后一行添加了新的特征。選擇第二行和最后一行可以覆蓋幾乎所有的特性。我們在等式（3）中將這種非冗余覆蓋直覺形式化，其中我們將覆蓋定義為給定W和I的集合函數c，它計算在集合中V至少一個實例中出現的特征的總重要性。

設 c(V∪{i}，W，i）?c（V，W，i）是向集合V添加實例 i 的邊際覆蓋增益。由于子模塊性，貪婪算法迭代地將具有最高邊際覆蓋增益的實例添加到解中。我們概述了算法2中pick步驟的這種近似，并稱之為 submodular pick。

5、 模擬用戶實驗
5.1 實驗設置
我們使用兩個情緒分析數據集（書籍和DVD，各2000個實例），其中的任務是將產品評論分為正面或負面。我們將每個數據集分為train（1600個實例）和test（400個實例）。

為了解釋個別預測，我們將我們提出的方法（LIME）與parzen進行了比較，對于parzen，我們以具有最高絕對梯度的K個特征作為解釋。我們使用交叉驗證為parzen和LIME設置超參數，并設置N=15000。我們還與greedy過程（類似于Martens和Provost）進行比較，其中我們貪婪地刪除對預測類貢獻最大的特征，直到預測發生變化（或達到特征的最大值K），以及random過程隨機選擇K個特征作為解釋。在我們的實驗中設置K=10。

對于應用pick程序的實驗，我們要么進行隨機選擇（random pick，RP），要么執行第4節中描述的程序（submodular pick，SP）。我們通過添加RP或SP作為前綴來引用pick-explainer組合。

5.2 解釋是否與模型相符？
我們衡量分類器上解釋的忠實性，分類器本身是可解釋的（稀疏邏輯回歸和決策樹）。特別是，我們訓練兩個分類器，使它們在任何實例中使用的最大特征數為10。對于這樣的模型，我們知道一組真正重要的特性。對于測試集上的每個預測，我們生成解釋并計算由解釋恢復的真正重要特征的分數。我們報告了圖6和圖7中所有測試實例的平均召回率。我們觀察到貪婪方法在logistic回歸上與parzen方法相當，但在決策樹上則更差，因為一次改變一個特征通常不會對預測產生影響。然而，對于parzen解釋器來說，文本是一個特別困難的例子，因為在高維上難以近似原始分類器，因此parzen的整體召回率很低。在這兩個數據集中，LIME一致地為logistic回歸和決策樹提供了90%的召回率，證明了LIME的解釋對模型是相當忠實的。

總結

以上是生活随笔為你收集整理的可解释性lime的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。