AI“隱形欺詐”挑戰司法程序

人工智能（AI）正在改變法律行業的工作方式。從檢索案例、整理文件，到輔助生成法律文書，AI正逐漸成為律師和法官手中的新工具。但與此同時，一種圍繞AI的新型風險正在浮現：人們不再只是利用AI制造錯誤信息，而是試圖操縱AI處理信息的方式。

據外媒報道，近日，巴西法院發現，有律師在提交訴訟文件時，通過隱藏文字向司法AI系統植入指令，試圖影響案件處理流程。這類利用技術干預AI信息處理過程的行為，被業內人士稱為一種“隱形欺詐”。隨著越來越多司法環節引入AI，如何防范可能出現的“算法欺詐”，正成為一個新的問題。

“提示詞注入”潛入司法程序

據西班牙《國家報》報道，巴西北部一家勞動法院近日審理一起勞動糾紛案件時，發現原告律師提交的訴狀中隱藏了一段特殊文字。這些文字采用白色字體，并設置在白色背景中，普通閱讀者無法察覺，但法院使用的AI系統“伽利略”卻能夠讀取。

這段隱藏文字并非案件事實或法律依據，而是一條針對AI系統的操作指令。由于“伽利略”會讀取案件文件，并幫助法官整理材料、生成裁判文書草稿，律師試圖通過這段指令影響AI的處理過程，從而影響后續進入法官視野的信息。

不過，AI系統識別出了這條異常指令，并將相關情況反饋給法院。隨后，法官認定該行為涉嫌利用技術手段干擾司法流程，對涉事律師進行了處罰。

這一事件暴露出生成式AI進入司法領域后出現的一種名為“提示詞注入”的風險。攻擊者并不是攻擊AI模型本身，而是在AI需要讀取的文本中植入額外指令，誘導AI偏離原本任務。

此前，“提示詞注入”更多出現在網絡安全領域。例如，研究人員會利用隱藏指令測試AI系統防護能力，黑客也可能通過類似方式試圖繞過系統限制。但現在，這種風險正在擴散。

法律專家認為，巴西的這起案件之所以受到關注，在于它展示了一種不同于傳統造假的新模式，即欺詐者并不篡改證據，也不偽造文件，而是試圖改變信息被機器處理和呈現的過程。因此，這類行為也被稱為“隱形欺詐”。

利用AI影響信息處理過程

事實上，AI進入司法領域后，最早受到關注的問題并不是“提示詞注入”，而是“AI幻覺”。

美國《紐約時報》報道稱，2023年，美國紐約南區聯邦法院審理馬塔訴阿維安卡公司案時發現，兩名律師提交的法律文件中引用了6起不存在的判例，而這些內容均由ChatGPT生成。由于律師未對AI生成內容進行核查，法院最終對涉事律師及其律所處以5000美元罰款。這一事件成為AI進入法律行業后最受關注的案例之一。

過去，人們主要擔心AI生成錯誤答案。如今，更值得關注的是，人類可能利用AI運行機制影響信息處理過程。巴西的這起案件體現的正是這種變化。

此外，據《自然》雜志報道，一些研究人員在論文提交過程中被發現植入隱藏提示，試圖影響AI輔助審稿工具。這些提示采用白色字體等方式隱藏在人類難以察覺的位置，但能夠被AI模型讀取，內容包括要求模型給予積極評價等指令。

雖然這些事件發生在學術領域，但其邏輯與司法領域的案件高度相似，即利用人類不可見、機器可讀的信息影響AI判斷。未來，凡是AI參與篩選、評價和決策的領域，都可能面臨類似挑戰。

防范“算法欺詐”需建新規則

AI進入司法體系已成為趨勢，但如何確保其安全、透明、可控，正在成為法律行業面臨的新課題。

據《國家報》報道，阿根廷法官馬塞洛·夸利亞指出，使用AI并不意味著將司法決定權交給機器。AI可參與裁判前的信息處理階段，例如整理、總結和呈現案件信息，但最終決定權不能被替代。

這一原則也正在成為多國司法AI監管的重要方向。

2024年通過的歐盟《AI法案》已開始分階段實施。其中，用于司法機關輔助法律解釋、事實調查等用途的部分AI系統被列入高風險AI范疇，需要滿足風險管理、數據治理、透明度和人工監督等要求。歐盟認為，這類系統可能影響個人基本權利和司法程序，因此需要接受更嚴格監管。

在美國，法律行業也開始探索AI使用規范。美國律師協會發布的生成式AI使用指導指出，律師在使用AI工具時，需要確保對AI生成內容進行審查，并保護客戶信息安全。該機構強調，律師不能因為使用AI而降低自身的專業判斷責任。

與此同時，AI使用過程本身也正在成為法律審查對象。據美國律師協會相關分析，隨著律師越來越多地借助生成式AI完成檢索、寫作和分析工作，律師輸入AI系統的提示詞、上傳的材料以及AI生成的結果，未來可能涉及律師保密義務、工作成果保護以及證據披露等法律問題。

這意味著，司法領域面對AI帶來的挑戰，已經不只是“AI會不會出錯”，還包括“AI如何參與決策過程”“誰需要為AI輔助結果負責”等新問題。