AI偵探敲碎深度學習黑箱

　　研究人員創建了能填補照片空白的神經網絡，以鑒別人工智能瑕疵。

　　Jason Yosinski坐在美國加州舊金山的一個小型玻璃辦公室內，陷入了對人工智能的沉思。作為優步公司的研究科學家，Yosinski正為在筆記本電腦上運行的人工智能（AI）進行“腦外科手術”。

　　很多AI將改變人類現代生活，例如優步的無人駕駛汽車，Yosinski的程序是一個深度神經網絡，其架構或多或少受到了大腦的啟發。正如人類大腦一樣，這個程序很難從外部理解:它是一個黑箱。

　　這一特殊的AI能通過大量的標注圖像被訓練，從而識別像斑馬線、消防車、安全帶等物體。但它可以識別Yosinski和攝像頭前面的記者嗎?Yosinski放大了其中一個AI的獨立計算節點（神經元），從而查看什么引發了其響應。

　　兩個幽靈般的白色橢圓狀物體浮動在屏幕上。這個神經元似乎已經學會了如何探測人臉輪廓。他說：“它會對你我的面部做出反應，也會對不同大小、不同顏色的人臉做出反應。”

　　不過，沒有人訓練這種網絡識別人臉。在訓練圖像中，人類不被標注，但是網絡確實在學習識別人臉，也許是與人臉一同出現的物體，比如領帶、牛仔帽。該網絡如此復雜，以至于人類無法理解其做出的決策。

　　而Yosinski的探索雖然指明了部分道路，但總體狀況依然不清楚。他說：“我們有令人驚嘆的模型，但實際上并不理解它們，而且這種情況在逐年惡化。”

　　深度學習似乎每個月都會擴展至另外一個學科領域。它們能預測合成有機分子的最佳方式、可以探測與自閉癥相關的基因，甚至改變了科學本身的進展方式。AI無往不利，但卻留給理論科學家一個憂慮：模型為什么會如此?

　　闡釋該難題正激勵著學界和業界的新一代研究者。一些工具可以無需深入即可探測AI；一些是可以媲美神經網路的替代算法，有更高的透明度；一些則繼續使用更多的深度學習來窺探黑箱。它們加起來成了一門新學科，Yosinski稱之為“人工智能神經科學”。

　　Marco Ribeiro是西雅圖市華盛頓大學的一名畢業生，試圖通過一種被稱為“反事實探針”的神經科學工具打開黑箱。其想法是通過聰明的方式改變AI的輸入以查看有哪些變化以及如何影響輸出。

　　例如，Ribeiro的程序LIME會把一個影評標注為積極，并對文字稍作修改以創造新變體。接著這些變體被輸入黑箱以查看其是否依然被標注為積極。結果顯示LIME可以辨別詞語——或者部分圖像、分子結構，再或者任意類型的數據——這在AI的最初判斷中至關重要。

　　不過，LIME等新反事實方法似乎每月都會出現。但谷歌計算機學家Mukund Sundararajan發明了另一種探查方法，它無需對網絡進行數千次測試——如果你正在嘗試理解很多決策，這絕對是一個福利。

　　Sundararajan團隊并不是通過隨機調變輸入，而是引入一個空白的引文——一張純黑圖像或者一個代替文本的零排列數組——并將其一步一步向測試的實例轉化。通過在網絡中運行每一步，他們觀察其確定的跳躍，并通過軌跡推論出對于預測的重要特征。

　　Sundararajan對比了這一過程，找出了辨識其所在的玻璃墻空間的關鍵特征：杯子、桌子、椅子和電腦的標準組合。“我可以給出無數理由。”但當你慢慢調暗燈光。當燈光變的非常暗淡，只有最大的原因才凸顯出來。這些轉化允許Sundararajan比Ribeiro的變體捕捉到更多的網路決策。

　　但是更深的、未解答的問題依然存在，Sundararajan說。

　　這一問題并非只來自科學。根據歐盟的一項指令，那些部署持續影響大眾的算法的公司必須在來年對其模型的內在機制做出解釋。美國國防高級研究計劃署也正在向“可解釋AI”的新計劃投入7000萬美元，試圖解釋用于無人機和情報挖掘作業的深度學習。谷歌機器學習研究者Maya Gupta也表示，打開黑箱的驅動同樣來自硅谷內部。

　　她于2012年加入谷歌，當時詢問過AI工程師的關注問題，她發現精度并不是他們唯一關心的。工程師們告訴Gupta:“我們并不確定網絡在做什么，我們不太信任它。”

　　今天的神經網絡要比之前復雜得多，但其本質是相同的。一端是數以百萬計的雜亂數據(比如狗的照片)。這些數據會被輸入具有十幾個或更多層的網絡中，其中的神經形式連接會響應數據中的特征。每一層都會把內容抽象一點，最后一層解釋出最終判斷，如從梗犬中辨別出臘腸犬。

　　一開始，系統或許十分笨拙。但每次結果都會與標記好的狗圖片進行對比。在一種被稱為反向傳播的過程里，結果會通過網絡向前發送。這一過程會重復數百萬次，直到整個網絡學會識別不同品種的狗。“使用現代技術和大膽的嘗試，你可以讓它們真正地工作起來。”微軟雷德蒙德研究院計算機科學家Rich Caruana說。然而，這種神秘而靈活的力量也讓網絡變成了黑箱。

　　Gupta對于處理黑箱問題有不同的策略：她嘗試繞開這些問題。幾年前，Gupta開始了一個名為GlassBox的項目。她的目標是將工程化的可預測性納入神經網絡而對其進行解釋。她的指導原則就是單調性，即變量之間的相關性問題。

　　Gupta將這些單調性關系嵌入到被稱為插值查詢表的蔓生數據庫中。本質上這個查詢表就像高中三角函數查值表一樣。但是該插值查詢表不是一個維度上的十多個條目，它在多個維度上有數百萬的條目。她將這些表寫入神經網絡中，因此有效地添加了一個額外的可預測性的層級計算知識，因此神經網絡也將變得更可控。

　　不過，有時候，人們必須承受黑箱的困惑。因此理論研究者開始追尋深度學習可解釋性的第三條道路。他們說解釋深度學習的方法可以是簡單地進行更深度的學習，而不是尋求理解神經網絡或避開它。

　　跟很多AI開發者一樣，作為亞特蘭大佐治亞理工學院娛樂智能實驗室的負責人，Mark Riedl用上世紀80年代的電子游戲測試其作品。青蛙過河是他最喜歡的游戲之一：玩家讓青蛙穿過車流，到達彼岸的池塘。訓練一個網絡進行專家級的青蛙過河游戲其實非常容易，但是解釋AI在其中所做的事卻很難。

　　Riedl沒有對神經網絡進行探究，而是讓人類受試者去玩這個游戲，并且通過讓人們實時發聲描述他們的策略。Riedl在游戲代碼中記錄了那些玩家的評論：“噢，有一輛車沖我來了，我需要往前跳。”Riedl訓練了第二個神經網絡對語言進行翻譯，把代碼譯為英文。

　　然后他把這個轉譯網絡及初始的游戲網絡進行連接，生成了一個可以進行表達的綜合性AI，當它停在小路上時，AI會說，“在移動之前我正在等待打開一個洞。”當被卡在屏幕邊緣時，AI也會沮喪，咒罵和抱怨。

　　Riedl把此方法叫做“合理化”，他設計這種方法幫助用戶理解家庭機器人、自動駕駛汽車等機器。“如果我們不能質疑它們為什么這么做，并讓它們給出合理的回答，那人們只能把人工智能束之高閣。”Riedl說道。但那些解釋又引起另外一個問題，他補充道：“在人類失去信任之前，合理化會錯到何種程度？”

　　像Riedl一樣，Yosinski也已經使用了第二個AI系統幫助其理解第一個系統。

　　首先，Yosinsk更新了分類器來生成圖片，而不是對圖片進行標注。然后，他和他的同事給它進行靜態著色，并且通過它給請求對象發送信號，比如“更多火山”。最終，他們假設，網絡會把噪聲融入進火山框圖中。而且，AI和人類看見的東西是不同的。

　　接下來，這個隊伍對它的圖片使用了生成對抗網絡（GAN）。這樣的，在圖像的訓練數據集中，“生成器”學習生成圖像的規則，并能創造合成型圖像。第二個“對抗網絡”會試圖檢測圖像結果是真是假，促使生成器再一次進行嘗試。這個反復過程最終會生成包含人眼可識別特征的粗略圖像。

　　該GAN現在能夠綁定到任何解決圖像問題的網絡。Yosinski已經使用它來識別網絡中的問題，為任意圖像編寫描述。但Yosinski說，這只是個開端，還有大片的空白需要彌補。