?PaperWeekly 原創(chuàng) ·?作者 | 張一帆

學(xué)校 | 中科院自動化所博士生

研究方向 | 計算機視覺

近期因果推理相關(guān)研究榮獲諾貝爾經(jīng)濟學(xué)獎，本文通過三篇文章簡單介紹一下 Causal Algorithmic Recourse 這個任務(wù)以及近期的進展。首先我們來介紹一下問題的背景，令 代表可觀測特征， 代表受保護屬性，可以簡單理解為多個 domain， 是 domain label。一個二分類器 預(yù)測數(shù)據(jù)標(biāo)簽 。我們能觀察到的只有數(shù)據(jù)集 。

Algorithmic fairness

Algorithmic fairness 作為一個更大眾也是被研究更多的任務(wù)，發(fā)現(xiàn)和糾正自動化決策系統(tǒng)潛在的歧視性行為。給定一個數(shù)據(jù)集，該數(shù)據(jù)集包含來多個群體（例如，根據(jù)年齡、性別或種族定義）的個人，以及經(jīng)過訓(xùn)練以進行決策的二元分類器（例如，這些人是否被批準(zhǔn)使用信用卡）。

一個直觀的例子是，如果我們的訓(xùn)練數(shù)據(jù)存在一些年齡的歧視。日常生活中老年人可能更小概率被批準(zhǔn)使用，所以我們的數(shù)據(jù)隱含著這種先驗，因此最后分類器可能也會被個體的年齡所誤導(dǎo)。但是真實情況是，我們并不希望分類器被這些保護屬性，而是希望它盡可能公平（fairness），即只根據(jù)財政狀況本身進行分類。

大多數(shù)實現(xiàn)算法公平的方法都試圖根據(jù)一些預(yù)先定義的（統(tǒng)計或因果）標(biāo)準(zhǔn)量化不公平的程度，然后通過改變分類器來糾正它。這種預(yù)測公平性的概念通常認(rèn)為數(shù)據(jù)集是固定的，因此個體是不可改變的。

Algorithmic Recourse

Algorithmic Recourse 與 fairness 的目的相同，都是為了更加公平，但是手段不同。Recourse 顧名思義，是為那些被決策系統(tǒng)不利對待的人提供建議，以克服他們的不利處境，是通過修改數(shù)據(jù)來改變 unfairness 的手段。對于給定的分類器和錯誤分類的個體，Algorithmic Recourse 的目的是識別個體可以執(zhí)行哪些改變來翻轉(zhuǎn)決策。與 Algorithmic fairness 相反，recourse 認(rèn)為分類器是固定的，但是個人本身可以采取行動。一句話，recourse 指的是通過改變變量的值來影響模型預(yù)測結(jié)果的能力，公式化為：

這里的 是一組可行的變化向量， 是定義在這一組行為上的花費函數(shù)，這二者都取決于單個樣本本身。這樣獨立的對變量進行操作是有一定問題的，我們稱這個假設(shè)為 independently-manipulable features（IMF），只有當(dāng)被操作變量對其他變量沒有的影響時，這種操作才是合理的。但是我們知道，特征之間往往是有一定的因果關(guān)系的，如何刻畫這種關(guān)系呢？下文給出了答案。

論文標(biāo)題：

Algorithmic Recourse: from Counterfactual Explanations to Interventions

論文鏈接：

https://arxiv.org/abs/2002.06278

這篇文章提出了 causal recourse，主要的改進在于：

1. 提出將 recourse 的問題在 SCM（結(jié)構(gòu)化因果模型）的框架下進行處理；

2. 在傳統(tǒng)的 recourse 中，我們關(guān)注的是距離 最近的那個正例樣本，而在 causal recourse 中，我們關(guān)注最小干預(yù)。

將優(yōu)化問題重寫為：

被稱之為 的“counterfactual twin”，即我們做干預(yù) 之后得到的變量。

這里簡單介紹一下變量含義以及因果圖的基礎(chǔ)定義。一個 SCM 就是一個 DAG（有向無環(huán)圖），可觀測變量記為 ，這些變量是由一系列結(jié)構(gòu)方程生成的 ， 是 的父節(jié)點，即對 有直接因果關(guān)系的因子， 可以看作是影響 的噪聲因子（稱為外生變量），不可觀測。

引入 SCM 的一個重要目的是研究干預(yù)，即將因果圖中的某個節(jié)點置為定值，觀察其他節(jié)點的變化（與上述 IMF 不同，IMF 影響單個因子其余因子不變）。我們記作 ，簡記為 。那么干預(yù)的過程是怎樣的呢，首先我們把選中的 給一個固定值，然后使用這些新值重新計算出 SCM 中的狀態(tài)，也就是說比起傳統(tǒng)的 recourse 而言，這里只是多了一步通過 SCM 中的因果關(guān)系更新其他狀態(tài)的值而已。

Equalizing Recourse across Groups

論文標(biāo)題：

Equalizing Recourse across Groups

論文鏈接：

https://arxiv.org/abs/1909.03166

基礎(chǔ)的 recourse 測量的是單個樣本，本文給出了一個 group 級別的 recourse 度量。

方法思路很簡單，對每一個負(fù)樣本即 ，我們定義一個關(guān)于他的 recourse cost 為：

即與 距離最近的的正樣本的距離。那么對一個 group，我們就能計算所有負(fù)樣本的 IMF 距離然后計算平均作為這個 group 的。

那么對整個數(shù)據(jù)集而言，IMF recourse 定義為任意兩個數(shù)據(jù)集 IMF 距離的最大差值。

本文主張將不同域平均 recourse 成本相等，并在訓(xùn)練分類器時將此作為約束。

ICML 2021

論文標(biāo)題：

On the Fairness of Causal Algorithmic Recourse

論文鏈接：

https://arxiv.org/abs/2010.06529

Equalizing recourse 這樣的 formulation 忽略了 recourse 從根本上是一個因果問題，因為在現(xiàn)實世界中個人為了改變自己的處境而采取的行動可能會產(chǎn)生下游效應(yīng)。IMF 由于沒有對特征之間的因果關(guān)系進行推理，這種基于距離的方法 (i) 不能準(zhǔn)確反映真實的（差異）recourse cost，并且 (ii) 僅限于經(jīng)典的以預(yù)測為中心的方法，即改變分類器（將 group recourse cost 作為訓(xùn)練約束）來處理 discriminatory recourse。

本文與 IMF 最直觀的差異在于，考慮了多個變量之間的相互影響即所謂的因果關(guān)系。

本文首先也給出了一個樣本上的 recourse 花費：causal（CAU）recourse，將 IMF 的最小距離轉(zhuǎn)化為因果圖里的最小干預(yù)。

類似的我們可以計算每個域中的平均 recourse 距離，然后定義距離最大的兩個組之間的平均距離為 Group-level fair causal recourse。正式定義為如下形式：

我們稱對于 的 recourse。到此為止，我們已經(jīng)見到了多種定義，但是都是 group-level 的。但是很多研究表明，fairness 更多的是針對個體的一個概念。一個直觀的理解，如果現(xiàn)在是在執(zhí)行貸款資格審查的問題，保護屬性（域）可能是性別，年齡等，那么我們單純的評測域的平均 recourse cost 意義不大，對于一個被不公正地給出不利預(yù)測的人來說，發(fā)現(xiàn)同一組的其他成員受到了更有利的待遇，并沒有多少安慰。

所以對 Individually fair causal recourse，我們正式定義為：

這里需要理解的就是 ，這是樣本 的“counterfactual twin”，即將 的域（保護）信息進行改變。

文章舉出了一些例子，驗證了前面定義的所有 group-level 的 fairness 都不是 individual fairness 的充分條件。

到了這里，我們已經(jīng)定義完了 metric，那么如何在算法中進行優(yōu)化呢？

Constrained optimisation. 一個簡單的思路即在 loss 中加入相應(yīng)的正則項然后潛移默化的訓(xùn)練分類器，這也正是前面基于 IMF 假設(shè)的方法所做的。這樣我們可以通過一個權(quán)因子控制準(zhǔn)確率和 fairness 之間的 tradeoff。然而，這樣的優(yōu)化問題涉及到對特征空間 的組合優(yōu)化，因此，causal recourse 的公平性是否可以輕易地作為一個可微的約束條件尚不清楚。

Restricting the classifier inputs. 注意到我們現(xiàn)在是在 SCM 中提出的這一系列定義，因此有沒有不同于傳統(tǒng)方法的策略呢？答案是肯定的。借助于因果圖形式的定性知識，我們對輸入分類器的特征進行限制。強迫輸入特征集僅包含受保護屬性（域相關(guān)屬性）的非后代，這里可能稍微有點難以理解，在 SCM 中， 即 是 的后代，那么 就對 有因果作用。

如果我們僅利用 的非后代，那么這種分類方法顯然不會依賴于受保護屬性，以此我們也能滿足individual fairness。但是這種方法有一個致命的問題，由于受保護的屬性通常代表社會人口特征（如年齡、性別、種族等），它們經(jīng)常作為因果圖的根節(jié)點出現(xiàn)，并對許多其他特征產(chǎn)生下游影響。因此，強制分類器只考慮非 的后代作為輸入，會導(dǎo)致精度下降，這在實踐中可能是一種限制。

Abduction / representation learning. 上一段我們說明了使用 的非后代特征可以實現(xiàn) individual fairness，那么我們不妨更進一步，外生變量也就是前面我們介紹的噪聲變量 ，他們顯然不是 的后代，而且每個 都會有 與其相關(guān)。那么我們能夠使用 來進行分類呢，這是有可能的。但是 是不可觀測的，所以我們通常得使用一些特殊的工具從可觀測數(shù)據(jù)中對其進行預(yù)測。

實驗部分，causality 的文章基本上都會有生成數(shù)據(jù)的實驗。作者準(zhǔn)備了兩種數(shù)據(jù)集

Independently-manipulable features（IMF）：特征之間相互獨立。

Causally-dependent features（CAU）：特征之間相互依賴并且依賴于 ，SCM 模型如下 ，當(dāng) 是線性函數(shù)時稱為 ，非線性時稱為 。

他們相應(yīng)的因果圖如下：

然后是不同的 baseline：

LR/SVM（X,A）：使用所有特征進行訓(xùn)練；

LR/SVM（X）：只使用非保護的特征進行訓(xùn)練；

FairSVM（X,A）：前文的 Equalizing recourse，平衡不同保護群體到?jīng)Q策邊界的平均距離；

LR/SVM（X）：只使用 的非后代特征進行訓(xùn)練；

LR/SVM（X,）：使用 的非后代特征與外生變量一起進行訓(xùn)練。

metric 有四個，首當(dāng)其沖的是準(zhǔn)確率， 即 Equalizing recourse 一文中提出的 metric，， 是本文提出的 group-level 與 individual-level 的 metric。

如上表所示，LR/SVM（X,A）與 LR/SVM（X）通常具有較高的精確度，但是在 fairness metrics 上表現(xiàn)不佳，而單純的不使用保護屬性 不一定有利于 fairness。這也是可以理解的，畢竟我們現(xiàn)在 transfer learning 都是借助域標(biāo)簽來提泛化性能的，沒有域標(biāo)簽根本無從下手。FairSVM 以 作為訓(xùn)練的約束，因此在這個 metric 上表現(xiàn)得很好，特別是在兩個 IMF 的數(shù)據(jù)集上。

同時有了額外約束的 FairSVM 有時候也會比 baseline 在 casual fairness 上表現(xiàn)得稍微好一些。最重要的，如果我們直接依賴 特征，那么可以非常好滿足 individual causal fairness，但是性能會有很大的下降，正如前文分析的這般。當(dāng)我們引入 時，情況得到了極大的改善，既保證了準(zhǔn)確性，又完美的滿足了 individual causal fairness 的限制。

需要注意的是，這里的實驗使用的是真實的 ，正常情況下這是無法觀測的，需要我們?nèi)藶轭A(yù)測，所以這里的 LR/SVM（X,）可以理解為算法的 upper bound。

除了合成數(shù)據(jù)，作者還在 Adult 數(shù)據(jù)集上進行了實驗，數(shù)據(jù)集的具體介紹可以參照原文，這是一個專門用于 Causal 的數(shù)據(jù)集，提供了各個屬性的名稱以及相應(yīng)的因果關(guān)系。

總結(jié)一下，recourse fairness 是一個非常有趣的話題，可以用來分析我們的數(shù)據(jù)對敏感或者說受保護屬性的敏感程度，這個方向目前發(fā)展不久，目前雖然有一些 metric 來衡量數(shù)據(jù)集和模型 fairness 的程度，但是還不清楚如何在不改變 classifier 的情況下緩解 unfairness。而且可以看到，最后這篇文章實際上很依賴潛在的結(jié)構(gòu)化因果模型，而在實際場景中因果模型的 inference 本身就是一個非常難得問題，recourse fairness 還有很長的路需要走。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點剖析、科研心得或競賽經(jīng)驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的如何将因果干预用于提升模型公平性？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。