1970年，愛德華?肖特利夫（Edward H. Shortliffe）在斯坦福大學的實驗室裏開始著手編寫壹個Lisp程序。這個名為MYCIN的系統通過壹系列的是非問題幫助醫生判斷病人是否患有遺傳性血液疾病，並根據病人體重建議抗生素用量。作為歷史上最早的專家系統之壹，MYCIN的正確率僅為65%，相較血液科醫師80%的正確率相去甚遠，而且由於程序過於龐大，最終也沒有投入使用。
2019年，150名受試者來到UCLA的VCLA中心，觀看Baxter機器人打開附有安全鎖的藥瓶。隨後，Baxter向其中壹些受試者解釋了自己是如何打開藥瓶的，剩下的人沒有得到任何解釋。最後，實驗者向所有人提問：妳在多大程度上相信這個機器人會開藥瓶？
在過去的半個世紀裏，機器的計算與儲存能力突飛猛進，我們可以輕松地在計算機上運行像MYCIN壹樣相對簡單的系統，甚至可以訓練深度神經網絡、支持向量機（Support Vector Machine）等更加復雜的模型達到接近專業醫生的診斷水平，或是讓機器人完成相對復雜的精細動作。
但是，AI系統的性能提升也帶來了新的問題：如果這些系統進入我們的生活，妳會信任它們作出的決定嗎？
為何要解釋AI？
AI如日中天，我們為什麽要停下來思考怎麽解釋它？
2016年5月，ProPublica發布了壹篇名為《機器偏見》的調查報告，聚焦壹個名為COMPAS的AI系統。COMPAS被廣泛應用於美國司法量刑。它基於已有的犯罪記錄，嘗試預測被告被再次逮捕的概率，得出壹個1到10分之間的分數分數越高，它建議的量刑越重，以期更有效地懲治潛在的再犯。
ProPublica分析了18000多人的COMPAS分數和犯罪記錄，發現黑人與白人的分數分布明顯不同在犯罪歷史、再逮捕記錄、年齡、性別都相同的條件下，黑人被告得到更高COMPAS分數的概率高於白人被告45%。另外，有48%在兩年內被再次逮捕的白人被告的COMPAS分數被低估，幾乎是黑人被告的兩倍。因為數據來自具有結構性不公的環境（既有司法系統傾向於區別對待不同人種），COMPAS的（草率）決定也受此影響。然而，由於COMPAS是壹個黑箱系統，法官只能看到分數，對內部的決策機制壹無所知，導致他們無法有效評估系統的建議。另壹篇調查報告更是指出，COMPAS的準確率相當於幾乎沒有刑事司法專業知識的人。
無獨有偶，2015年，有用戶發現谷歌的圖像識別系統將自己的黑人朋友標記為?大猩猩?，在推特上引起軒然大波。直到2018年，谷歌仍然沒有完全修復這壹漏洞，只是將靈長類的標簽從系統中移除，並稱?圖像識別技術還不成熟?。同樣是2015年，紐約西奈山醫院用70萬病人的數據訓練了壹個名為?深度病人?的深度神經網絡，用以輔助醫療診斷。?深度病人?對精神分裂癥的預測出乎意料地準確，但沒有醫生知道為什麽，自然也無法應用於自己的臨床診斷；當它被用於分析醫院以外的X光片時，系統正確率莫名出現了大幅下降。
數據不會說謊。?但這絕不意味著我們不需要仔細審視它們，或是給予基於數據之上的AI系統無條件的信任。肖特利夫的MYCIN系統本質上是壹個決策樹，屬於?透明?的模型我們可以畫出從數據輸入開始完整的決策過程，從而評估MYCIN的決定。深度神經網絡的性能遠遠優於決策樹，但它是壹個?黑箱?我們幾乎不可能確切地知道它在算什麽。性能與可解釋性似乎此消彼長。對壹位只追求正確率和性能的算法工程師來說，黑箱AI未必不受待見：壹個能夠準確預測95%的事件的黑箱系統，肯定比另壹個正確率只有65%、更透明的系統好。可是，當工程師需要調整系統內部?零件?的時候（比如修復谷歌圖像識別系統），黑箱會讓這項任務無比艱難：到底是哪壹步出錯了？是用於訓練的數據有問題，還是模型本身的性能不足，或是損失函數（loss function）有待改進？置身黑箱之外的工程師很難壹針見血地指出病竈。
我們中的大多數人也許極少有機會成為工程師、法官、醫生，但這不妨礙黑箱AI對我們的生活造成影響。與我們的壹廂情願相反，不夠透明的AI系統非但沒有比人類更客觀、公正、精確，反而加深了既存的偏見和不公正，對數字民主和基本人權構成威脅，而對這些系統的控制、介入和審計也更為困難。當我們無法解讀AI作出的決策，對它未來的預期不過是紙上談兵，信任也無從談起。
可解釋AI（Explainable AI，即XAI）想要解決的正是這類問題。XAI認為，通過解釋AI系統的決策過程，人類能夠更好地理解它的機制、優缺點、潛在影響等特性，從而更有效地預測系統的行為，達到逐步建立信任關系的效果。如果AI革命不可避免，至少壹個可被解釋的系統能夠更好地融入嶄新的算法社會契約例如伊亞德?拉萬（Iyad Rahwan）提出的社會回環（Society-in-the-loop）與人類***生存，而不必成為敵對的關系。
我需要壹個解釋
可解釋AI終究是為人服務的（好比高階編程語言是為了人類設計的，否則機器之間的?交流?大可以用機器編碼之類人類無法輕易讀寫的?語言?）。所以?解釋性?也是相對人而言的。關於黑箱AI系統，什麽樣的解釋才是好的解釋？心理學家和哲學家早就開始分頭研究，但各執壹詞。
解釋常常需要闡述特定的因果關系或因果模式，例如?我不吃杏仁，因為我對堅果過敏?。這樣的解釋非常貼切（沒有轉移話題），直接明了（不存在循環論證），邏輯嚴密。有的現象卻很難用通俗的因果關系解釋請試著回答，?我擲了壹次骰子，為什麽朝上的壹面是3？?當然，妳可以引用物理法則來解釋擲骰子的具體過程，但我可能壹頭霧水。為了避免這樣的尷尬，妳也許會提及相關的（非因果的）概念，比如?隨機性?，或是用類比等手法讓妳的解釋更容易被聽眾接受（比如上壹段的第壹句話）。壹般而言，因果關系在解釋中占據不可動搖的地位，但不是唯壹的手段。
既然解釋本身可以有各種形式，為了篩選出最好的可解釋AI，我們為什麽不直接問：妳理解這個系統在做什麽嗎？相關的心理學研究也的確使用了類似的方法來推斷人們是否能夠通過描述性解釋理解某壹概念。它們發現，客觀上，當受試者對某壹概念有更好的理解時，他們能通過主觀的直覺感覺到自己的認知進步，好比?茅塞頓開?。
然而，耶魯大學的列昂尼德?羅森布裏特（Leonid Rozenblit）和弗蘭克?凱爾（Frank Keil）提出的?解釋深度的錯覺?（Illusion of Explanatory Depth）仿佛當頭壹棒。羅森布裏特和凱爾讓受試者首先評價自己對某壹工具（比如拉鏈）的理解，然後詳細地解釋這個工具的工作機制，並再次評價自己的對它的理解。他們發現，相比壹開始，試圖解釋後的受試者對自己理解的評價明顯下滑，仿佛突然意識到自己其實壹知半解。這就是?解釋深度的錯覺?。這種錯覺影響著所有人（包括小孩子），並且只作用於解釋性的知識。完全相反的情況也不少見：人們會自稱不理解壹個動力系統，卻能熟練地使用它。
另壹方面，規範（normative）解釋在哲學（尤其是科學哲學）中發揚光大。規範解釋有意忽略個人因素，比如認知能力，而是關註?應有?的理解。因此，規範理解可以被視為壹種基準，用來分析哪些信息應當被包含在解釋裏，以及受眾會有何種程度的理解。更進壹步地說，好的（規範）解釋應當從理解的目的出發，基於受眾與黑箱AI的關系給出不同的解釋。顯然，修補系統漏洞的工程師和審核系統公正性的法官所需的理解是不同的。我們可以合理假設前者具有足夠的技術知識背景，也許將計算模型可視化就提供了足夠好的解釋。後者需要的是更抽象的文字解釋，比如?其他條件不變，COMPAS系統預測黑人被告和白人被告被再次逮捕的概率不同。?兩種都是好的（規範）解釋，壹旦互換卻可能成為各自的雞肋。
規範解釋看似更加直截了當，但在實際應用中還沒有確切實現或評估的***識。描述性解釋似乎也不甚完美。時至今日，我們仍未整合描述性解釋和規範解釋，關於解釋的研究和可解釋AI還在齊頭並進。
有了可解釋的AI就萬事大吉嗎？
2017年開始，美國國防高級研究計劃署（DARPA）投資了壹系列XAI的項目，包括UCLA的VCLA中心的研究項目。2018年，ACM主辦了第壹屆FAT*會議，關註AI系統的公正性、問責制和透明度。同年，AAAI與ACM***同舉辦第壹屆AIES（人工智能、倫理與社會）會議。谷歌、微軟等科技公司也陸續參與XAI的研發。各界對於XAI的關註促成了許多?拆穿?黑箱AI的嘗試，從DeepMind提出的機器心智理論（Machine Theory of Mind），到將黑箱神經網絡轉化為?透明?的布爾電路（Boolean circuit），再到LIME（Local Interpretable Model-Agnostic Explanation）等通過近似黑箱模型提取重要特征的方法。雖然XAI目前解釋的對象主要是工程師等研發人員，但是在未來，我們將會看到更多面向大眾的XAI，比如向妳解釋如何開藥瓶的Baxter。
XAI並不是終點；它最多算壹個起點，而我們還有許多亟待解決的問題。首先，對黑箱AI的解釋可以被悄無聲息地篡改，可以完全牛頭不對馬嘴，而且很難察覺。哈佛大學的希瑪賓度?拉卡拉朱（Himabindu Lakkaraju）和她的學生們發現，只需在模型上動壹些簡單的手腳，就能讓它濫用COMPAS數據集裏的種族信息決定量刑，但壹旦LIME來?視察?，它立刻擺出無辜的嘴臉，完全不露餡。這就意味著，即使有XAI為工具，我們對AI的信任也不應當盲目地依賴系統的可靠性和（表面上）信息的透明性，理智與批判性思考將格外重要。
其次，針對AI的條例的制定相對滯後於研發和應用。XAI的出現將會讓這個問題更加復雜由於黑箱AI難以捉摸，且只有少數人具備解讀/修改的能力，研發機構不必過分擔心自己的科研成果泄漏（除非算法模型被壹鍋端）。如果面向用戶和公眾的解釋成為需求、甚至必須，既有的AI系統無論透明與否都有可能面臨壹系列的風險，包括知識產權（利用反向工程重建系統）和系統安全（惡意的對抗攻擊）。信任與保密兩者的張力之下，XAI應當提供的解釋的具體內容尚無定論。
再者，偏見和不公不會因為解釋本身而消失；恰恰相反，解釋會暴露更多壹直以來潛行在我們周圍的倫理問題。ProPublica對COMPAS的調查使人不禁發出疑問：系統性的種族偏見究竟在何種程度上滲透了美國過去十年間的量刑？隨著XAI的進步，壹個個黑箱AI的廬山真面目逐漸顯露在我們眼前，不難想象其中有像COMPAS壹樣的?幫兇?。我們能否通過公開討論解決結構性問題、完善問責制，這將是對AI和人類社會***同的挑戰。