編者按：本文來自騰訊研究院，作者S君. ai

　　Topic：算法偏見：看不見的“裁決者”

　　我們生活在被 AI 算法包圍的時代。技術的進步致使 AI 突破過去的使用邊界，進入到更深層次的決策領域，并對我們的生活產生重要影響。AI 成為了招聘面試官，成為了量刑助手，成為了裁決入學申請的老師……這項技術無疑為我們帶來了便利。但同時，一個更加不容忽視的問題也浮出水面——算法偏見。

　　據 BBC11 月 1 日報道，蘋果公司聯合創始人斯蒂夫·沃茲尼亞克在社交媒體上發聲稱，蘋果信用卡給他的信用額度是他夫人的 10 倍，盡管夫妻倆并沒有個人單獨的銀行賬戶或任何個人資產。這不禁讓人思考，蘋果公司的信用額度算法是否存在性別歧視？

　　事實上，被歧視的不僅是女性，偏見蔓延的領域也遠不止銀行貸款額。本期特寫，我們就從典型的算法偏見類型說起，細細追究，偏見到底是如何鉆進機器大腦，而未來我們又將以何來對抗偏見？

　　算法偏見的典型類別

　　技術的包容性不足

　　加納裔科學家 Joy Buolamwini 一次偶然發現，人臉識別軟件竟無法識別她的存在，除非帶上一張白色面具。有感于此，Joy 發起了 Gender Shades 研究，發現 IBM、微軟和曠視 Face++ 三家的人臉識別產品，均存在不同程度的女性和深色人種“歧視”（即女性和深色人種的識別正確率均顯著低于男性和淺色人種），最大差距可達 34.3%。

　　這個問題的本質，其實是人臉識別技術對不同群體的包容度不足。正如我們開發一款產品時，天然容易切合中青年人的使用習慣，而忽略其對老齡或兒童帶來的使用后果，又或者將殘障人士排除在使用者之外。

　　圖源：算法正義聯盟官網

　　預測、決策不公

　　如果包容性問題更多指向的是少數族裔或女性，那么預測和決策不公就更可能發生在任何人身上。比如，招聘偏見。今年 11 月被高盛、希爾頓、聯合利華等名企采用的 AI 面試工具——HireVue，它的決策偏好讓人匪夷所思：AI 分不清你皺眉是因為在思考問題，還是情緒不佳（暗示性格易怒）；英國達勒姆警方使用了數年的犯罪預測系統，將黑人是罪犯的概率定為白人的兩倍，還喜歡把白人定為低風險、單獨犯案。（DeepTech 深科技）

　　當下生活中，AI 參與評估決策的領域遠不止此。除了犯罪、就業，還包括金融、醫療等領域。AI 決策依賴于對人類決策偏好和結果的學習，機器偏見實質上投射出了根植于社會傳統的偏見。

　　偏見的展示

　　在搜索引擎輸入“CEO”，會出現一連串男性白人面孔；有人將關鍵字換成“黑人女孩”，甚至出現過大量的色情內容。微軟開發的機器人 Tay，在 twitter 上線僅一天便被下架，原因是受到用戶的影響，出現了種族歧視和偏激言論。（THU 數據派）這種偏見，既來源于用戶交互中的學習，又重新被 AI 產品赤裸呈遞給更廣大的受眾，從而產生了連鎖的偏見循環。

　　算法的偏見來自哪里？

　　算法并不會生而歧視，工程師也很少刻意將偏見教給算法。那偏見究竟從何而來？這個問題與人工智能背后的核心技術——機器學習休戚相關。

　　機器學習過程可化約為如下步驟，而為算法注入偏見的主要有三個環節——數據集構建、目標制定與特征選取（工程師）、數據標注（標注者）。

　　數據集：偏見的土壤

　　數據集是機器學習的基礎，如果數據集本身缺乏代表性，就不能夠客觀地反映現實情況，算法決策就難免有失公允。

　　這一問題的常見表現為配比偏差，出于數據采集的便利性，數據集往往會傾向更“主流”、可獲取的群體，從而在種族、性別層面分布不均。

　　Facebook 曾宣布，經世界上人臉識別最知名數據集之一的 Labeled Faces in the Wild 測試，其面部識別系統的準確率高達 97%。但當研究人員查看這個所謂的黃金標準數據集時，卻發現這個數據集中有近 77% 的男性，同時超過 80% 是白人。（全媒派）這就意味著，以此訓練的算法在識別特定群體時可能會出問題，比如在 Facebook 的照片識別中，女性和黑人很可能無法被準確標記出來。

　　另一種情況是，現存的社會偏見被帶入數據集。當原始數據本就是社會偏見作用的結果，算法也會習得其中的偏見關系。

　　亞馬遜發現，其招聘系統存在偏差的原因在于，該算法所使用的原始數據是公司的過往員工數據——過去，亞馬遜聘用的男性偏多。算法學習到了數據集所表現的這一特征，因此在決策中更容易忽略女性求職者。（麻省理工科技評論）

　　事實上，幾乎每一個機器學習算法背后的數據庫都是含有偏見的。

　　工程師：規則制定者

　　算法工程師從頭到尾參與了整個系統，包括：機器學習的目標設定、采用哪種模型、選取什么特征（數據標簽）、數據的預處理等。

　　不恰當的目標設定，可能從一開始就引入了偏見，比如意圖通過面相來識別罪犯；不過，更典型的個人偏見代入，出現在數據特征的選取環節。

　　數據標簽就是一堆幫助算法達成目標的判定因素。算法就好像一只嗅探犬，當工程師向它展示特定東西的氣味后，它才能夠更加精準地找到目標。因此工程師會在數據集中設置標簽，來決定算法要學習該數據集內部的哪些內容、生成怎樣的模型。

　　亞馬遜的招聘系統中，工程師可能為算法設置了“年齡”、“性別”、“教育水平”等標簽。因而在學習過往聘用決策時，算法就會識別其中的這一部分特定屬性，并以此為核心構建模型。當工程師認為“性別”是一個重要的考量標準時，無疑就會影響到算法對數據的反應。

　　打標者：無意的裁決

　　對于一些非結構化的數據集（如大量描述性文字、圖片、視頻等），算法無法對其進行直接分析。這時就需要人工為數據進行標注，提煉出結構化的維度，用于訓練算法。舉一個很簡單的例子，有時 Google Photos 會請你幫助判斷一張圖片是否是貓，這時你就參與了這張圖片的打標環節。

　　當打標者面對的是“貓或狗”的提問時，最壞結果不過是答錯；但如果面對的是“美或丑”的拷問，偏見就產生了。作為數據的加工人員，打標者時常會被要求做一些主觀價值判斷，這又成為偏見的一大來源。

　　ImageNet 就是一個典型的案例：作為世界上圖像識別最大的數據庫，網站上的許多圖片均被手動注釋，打上各種各樣的細分標簽。“盡管我們不可能知道這些貼標簽的人本身是否帶有這樣的偏見。但他們定義了“失敗者”、“蕩婦”和“罪犯”應該長什么樣……同樣的問題也可能發生在看似‘無害’的標簽上。畢竟，即使是‘男人’和‘女人’的定義，也有待商榷。”（全媒派）

　　Trevor Paglen 是 ImageNet Roulette 項目的發起人之一，這一項目致力于展示觀點、偏見甚至冒犯性的看法是如何影響人工智能的。他認為：“我們對圖像的貼標簽方式是我們世界觀的產物，任何一種分類系統都會反映出分類者的價值觀。”不同的文化背景下，人們存在著對于不同文化、種族的偏見。

　　打標過程正是將個人偏見轉移到數據中，被算法吸納，從而生成了帶有偏見的模型。現如今，人工打標服務已成為一種典型商業模式，許多科技公司都將其海量的數據外包進行打標。這意味著，算法偏見正通過一種“隱形化”、“合法化”的過程，被流傳和放大。

　　編者小結

　　由于 AI 技術的大量應用和黑箱原理，算法偏見早已成為一個隱匿但作用廣泛的社會隱患。它會在決策中帶入不公，讓人臉識別技術只惠及一部分人，在搜索結果中大張旗鼓地展示偏見觀點......

　　但是機器從未獨立創造偏見，偏見習得于機器學習中的幾個重要環節：從數據集的不均衡，到特征選取的偏頗，再到人工打標帶入的主觀性。在從人到機的遷移中，偏見習得了某種“隱匿性”與“合法性”，并被不斷實踐和放大。

　　但回過頭來，技術不過是社會與人心的一面鏡子。某種程度上，算法偏見就像在這個我們認為進步、美好的當下，重新呈遞灰暗角落的真相并敲響警鐘。因此，當談及算法偏見的應對時，一部分努力便是要回歸于人。可幸的是，即便是技術層面的自律與治理嘗試，也能極大地降低偏見程度、避免偏見大幅擴張。

　　從性別歧視到招聘不公，如何讓 AI 公平待人？

　　算法是一面鏡子，映射了人類社會許多固有的偏見。

　　2014 年，亞馬遜的工程師著手開發一款人工智能招聘軟件，利用算法和數據分析來篩選候選人，以此避免人類招聘官身上特有的“感情用事”問題。事與愿違，這款軟件雖避免了“感情用事”問題，卻在“偏見”上犯下更大的錯誤——軟件編寫者將人類招聘官的篩選模式寫入算法，現實世界中無意識的偏見也帶進了機器。

　　隨著智能技術的不斷普及，算法做決策成為趨勢。避免人類社會的偏見映射到算法世界中，是當下數字化生存中的重要命題。

　　此前，AI&Society 專欄發布的《算法偏見：看不見的“裁決者”》試圖剖析算法偏見所帶來的問題，本文著重梳理當前針對算法偏見的一些解決方案。

　　在機器學習過程中，算法偏見會從三個環節中被滲透：數據集的構成缺乏代表性，工程師制定算法規則時、打標者處理非結構化素材，都有可能混入偏見。

“在對 500 名機器學習領域工程師調查后得出結論：如今機器學習工程師面臨的最大問題之一是他們知道出了一些問題，但是不知道具體是哪里出了問題，也并不知道為什么會出現問題。”前微軟公司執行副總裁沈向洋指出。

　　由于算法偏見的不可知、不可查，讓反偏見這項工作變得棘手。在現有應對體系下，無論是政策制度、技術突破還是創新型反制，都從不同的角度出發嘗試解決這個已經超越技術的問題。

　　解決思路一：構建更公正的數據集

　　不公正的數據集是偏見的土壤——如果用于訓練機器學習算法的數據集無法代表客觀現實情況，那么這一算法的應用結果往往也帶有對特定群體的歧視和偏見。因此，算法偏見最直接的解決思路就是將原本不均衡的數據集進行調整。

　　修正數據比例：利用更公平的數據源確保決策公正性。2018 年 6 月，微軟與專家合作修正和擴展了用于訓練 Face API 的數據集。Face API 是微軟 Azure 中的一個 API，它提供預訓練算法以檢測、識別和分析人臉圖像中的屬性。新數據通過調整膚色、性別和年齡等所占的比例，將膚色較深的男性和女性之間的識別錯誤率降低 20 倍，女性的識別誤差率降低 9 倍。

　　也有公司嘗試通過構建全球社區的方式優化數據集。通過全球社區，大規模地把某個組織可能在尋找的任何信息匯集起來，并以這種廣度和深度相結合的方式進行，這使得引入截然不同的數據來訓練 AI 系統成為可能，以幫助克服算法偏見等問題。

　　“大數據”與“小數據”結合：在數據量的基礎上確保精度。數據集不應局限于粗放收集，而在于精準把握。僅僅在數據的量上做文章往往不能帶來更加公正的結果，因為大數據分析側重相關性，導致在推導因果關系時容易出現誤差。引入小數據可以部分解決這個問題。小數據指聚焦于用戶個體的數據形態，它更關注細節，重視差異，能更呈現更加準確的數據，也避免推導因果關系時出現誤差。所以，將信息豐富的大數據與信息精準的小數據相結合可在一種程度上避免誤差。

　　自主測試數據集：偵測數據集中偏見。麻省理工學院算機科學與人工智能實驗室（簡稱 MIT SCAIL）的科學家發表了一篇題為《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure（通過學習潛在結構提示并緩解算法偏見）》的論文，展示了 DB-VEA（一種無監督式學習）可以通過重新采樣來自動消除數據偏見的 AI 系統。

　　該模型不僅學習面部特征（如膚色、頭發），還學習諸如性別和年齡等其它特征，所以分類準確率明顯增加，且針對種族和性別的分類偏見明顯下降。

　　由此可見，構建更加公正的數據集無疑是算法偏見根本性的解決方法之一，也是許多企業、學者努力的方向，并且目前在這一領域的確有所突破。

　　解決思路二：提升“算法透明度”

　　盡管算法模型由工程師編寫而成，但很多時候，人類并不明白計算機經歷了怎樣的過程才得出某一特定結果，這就是機器學習中的“算法黑箱”問題。因此，要求企業提高算法模型的透明度，從中找出偏見“病因”，就成為了當下解決“黑箱”困境的途徑之一。無論是通過政策、條款的“他律”，還是企業通過倫理“自律”還是技術探索，在對抗算法偏見時，都持續聚焦于打開“黑箱”。

　　自律：企業的倫理主張

　　在過去兩年中，許多大型科技公司都發布了人工智能的應用原則，其中均涉及到偏見治理的部分，可以將這類原則視為科技公司立場的聲明和自律的起點。微軟、谷歌和 IBM，均強調算法的透明性和公平性。值得說明的是，微軟設立人工智能與道德標準(AETHER)委員會來落實其原則，并計劃未來推出的每一個人工智能產品都要經過人工智能道德倫理審查。

　　也有企業采用委員會之外的機制。谷歌推出 Model Cards 功能也是對提升透明度的回應。Model Cards 類似算法說明書，對采用的算法進行解釋，告知其優點和局限性，甚至在不同數據集中的運算結果。

　　他律：監督過程透明與結果正義

　　2018 年 5 月 25 日正式生效的《歐盟一般數據保護條例》（GDPR），2018 年 8 月 30 日英國政府更新的《數據倫理框架》，要求算法需要具備一定的公開性、透明性與可解釋性。2019 年 4 月 10 日，美國國會兩院議員提出《算法問責法案》，要求大型科技公司評估其自動決策系統帶來的影響，并消除其中因種族、膚色、宗教、政治信仰、性別或其它特性差異而產生的偏見。

　　一些公益組織也因意識到算法偏見的危害性，幫助企業建立機制保障算法公正。算法正義聯盟（Algorithm Justice League）將企業應遵守的行為概括和濃縮成了可以簽署的協議，通過問責算法的設計、開發和部署者，在實踐中改善現有算法，并檢查企業提升成果。

　　而這一手段的確為算法糾偏起到了敦促作用：其創始人 Joy Buolamwini 在評估 IBM 算法后將結果反饋，并在一天內收到了 IBM 回應稱會解決這一問題。之后當 Buolamwini 重新評估該算法時，發現 IBM 的算法對于少數群體面部識別的準確率有了明顯提升：識別深色男性的準確率從 88% 躍升至 99.4%，深色女性的準確率從 65.3% 升至 83.5%。

　　“算法透明”不是滿分答案？

　　然而，通過政策條例和倫理準則提升算法透明度，依然存在一些局限性。首先，要求算法具備可解釋性與可能企業的利益產生強烈沖突。芝加哥大學數據科學與公共政策中心主任 Rayid Ghani 認為，簡單地公布一個模型的所有參數并不能提供對其工作機制的解釋在某些情況下，透露太多關于算法工作原理的信息可能會讓不懷好意的人攻擊這個系統。2019 年 12 月的一篇論文也指出，解釋黑箱算法的兩大技術 LIME 和 SHAP 的變體有可能遭到黑客入侵，這意味著“AI 做出的解釋可能被蓄意篡改，導致人們對模型及其給出的解釋失去信任”。

　　第二，問責法案的核心在于促成企業自查自糾。但這種自上而下的制度無疑為企業增加了巨額工作量，在一輪輪審查評估中，技術進度將受到掣肘，企業的創新力也會被影響。

　　解決思路三：技術創新反偏見

　　當偏見被隱藏在無數代碼中時，工程師們想到用技術本身解決技術問題。這一途徑并非是從偏見來源入手，而是創造性地利用技術手段偵測偏見、解除偏見。

　　單詞嵌入解決搜索中的性別偏見：微軟研究人員從新聞、網頁數據中的文本，發現詞匯之間在建立關聯時表現出一些明顯特征，例如“sassy（刁蠻）”、“knitting（編織）”這樣的詞更靠近女性，而“hero（英雄）”、“genius（天才）”更靠近男性。之所以會有這種現象，原因在于訓練算法用的基準數據集——通常是來自新聞和網頁的數據——本身，就存在著由語言習慣造成的“性別偏見”，算法也自然“繼承”了人類對這些詞匯理解的性別差異。微軟提出了一個簡單易行的方案：在單詞嵌入中，刪除區分“他”和“她”的判斷維度，用于降低“偏見的展示”。當然，這樣“簡單粗暴”的方式只能運用在文本搜索領域，在更多實際應用場景下，人工智能的“黑箱”特性使性別或種族與更多更復雜的參數相勾連，因此很難通過直接刪除來完成偏見的剔除。

　　通過差分測試（differential testing）暴露系統缺陷：哥倫比亞大學的研究者開發了一款名為 DeepXplore 的軟件，它可以通過“哄騙”系統犯錯，以暴露算法神經網絡中的缺陷。

　　DeepXplore 使用了差分測試（differential testing），一種比較多個不同系統并查看它們對應輸出差異的概念：DeepXplore 以不同的方式看待事物，如果其他模型都對給定的輸入做出一致的預測，而只有一個模型對此做出了不同的預測，那么這個模型就會被判定有一個漏洞。這一研究為打開黑箱做出了重要的貢獻，因為它可以通過激活幾乎 100% 的神經網絡，來曝光算法中可能出現的無數個問題。

　　偏見檢測工具：在 2018 年 9 月，谷歌推出了新工具 What-If，這是 TensorBoard 中用于檢測偏見的工具。利用該工具，開發者可以通過交互式可視界面和反事實推理探究機器學習模型的特征重要性，找出誤分類原因、確定決策邊界，以及檢測算法公平性等。同樣，IBM 也將其偏見檢測工具 AI Fairness 360 工具包開源，其中包括超過 30 個公平性指標和 9 個偏差緩解算法，研究人員和開發者可將工具整合至自己的機器學習模型里，檢測并減少可能產生的偏見和歧視。

　　技術本身被用于打擊偏見，是一種可操作性極強的方法，因為工程師們往往擅長于用技術解決實際問題。但是從目前的成果來看，大多技術突破還僅處于初級階段，停留在檢測偏見，消除偏見可能還待下一階段努力。

　　寫在最后：

　　現實社會中的偏見產生的原因盤根錯節，致力于消除偏見的運動綿延不息，也尚未徹底將其消滅。眼下，偏見化身為數字記憶，狡黠又隱蔽地藏身于每一次不經意的雙擊，每一個微小的決策，卻能顯著影響人們被對待的方式。

　　更公正的數據集，更及時的誤差檢測，更透明的算法過程……科技公司、科研機構、監管部門以及第三方組織的協同努力對算法偏見宣戰。這些舉措未必徹底消除偏見，但能極大避免技術無限放大社會固有的偏見。

　　相比將算法偏見全然怪罪于技術，更重要的是意識到，技術作為一種工具，應用應有邊界，它滲入日常生活的深度、決策被采納的程度，需審慎決策。

　　參考資料：

　　1. 《沈向洋就職清華演講全錄：人類對 AI 如何做決定一無所知》AI 前線

　　https://mp.weixin.qq.com/s/sezAachD_dhB3wrDTTZ8ng

　　2. 《算法偏見就怪數據集？MIT 糾偏算法自動識別「弱勢群體」 》機器之心

　　https://www.jiqizhixin.com/articles/2019-01-28-11

　　3. 《Applause 推出新 AI 解決方案致力于解決算法偏見》網易智能

　　https://mp.weixin.qq.com/s/oG9GtlplwXrNkGnXqEZOWA

　　4. 《“算法有偏見，比人強就行？”其實影響很廣泛！》THU 數據派

　　https://mp.weixin.qq.com/s/_ArUXZGT6_iJ_Nggrit8-A

　　5. 《算法偏見偵探》 雷鋒網 AI 科技評論

　　https://www.leiphone.com/news/201812/b4FLYHLrD8wgLIa7.html

　　6. 《沈向洋：微軟研究院——求索不已，為全人類，打造負責任的人工智能》 微軟科技 https://www.sohu.com/a/337918503_181341

　　7. 《 DeepXplore：深度學習系統的自動化白盒測試》 AI 前線

　　https://mp.weixin.qq.com/s/ZlVuVGW_XA_MTgBJhMmqXg

總結

以上是生活随笔為你收集整理的从性别歧视到招聘不公，如何让AI公平待人？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。