用AI識別AI：西湖大學研究可檢測AI生成文本

虛假新聞、惡意產品評論、剽竊……ChatGPT、 GPT-4等AI大語言模型的應用帶來便利，但其誤用也帶來一系列問題。西湖大學工學院張岳教授的“文本智能實驗室”日前發布的一項研究提出一種高準確率、高速、低成本、通用的新文本檢測方法——Fast-DetectGPT，無需訓練即可識別各種AI大語言模型生成的文本內容。

Fast-DetectGPT演示網頁

據了解，該研究的論文5月發表在2024年國際表征學習大會上。第一作者、西湖大學文本智能實驗室博士鮑光勝6月28日告訴澎湃新聞（www.thepaper.cn），Fast-DetectGPT針對GPT3.5生成的文本識別率可達96%，對GPT4生成的文章的識別率達90%。與斯坦福大學2023年提出的DetectGPT檢測方法相比，Fast-DetectGPT 的檢測速度提高340倍，檢測準確率相對提升75%，在對目前被廣泛使用的ChatGPT 和GPT-4 生成文本的檢測上，準確率均超過商用系統 GPTZero。

“我的研究方向是自然語言處理，注意到AI大語言模型的應用在多個領域提升了生產力，但其誤用也帶來了諸如虛假新聞、惡意產品評論、學術不端等問題，去年啟動了這項研究，歷時約半年完成。” 鮑光勝介紹，AI生成的文本內容流暢連貫，往往難以辨別，這項研究則引入了能區分機器生成文本和人類撰寫文本特征差異的統計量——條件概率曲率。

“Fast-DetectGPT的操作基于一個前提：人類和機器在文本生成過程中傾向于選擇不同的詞匯，人類的選擇比較多樣，機器則更傾向于選擇有更高模型概率的詞匯，因為在大規模語料庫上預訓練的AI模型反映的是人類的集體寫作行為，而非個體行為。” 鮑光勝解釋，“具體而言，兩種文本在詞匯使用、句子結構、語法復雜度、語義連貫性等方面有所相同，我們提取覆蓋這些區別特征的統計量，分析它們在兩種不同文本的分布，當某個文本的統計特征值主要落在機器生成文本的分布中，模型就會判斷為AI大語言模型生成的。”

鮑光勝同時表示，Fast-DetectGPT不能完全準確地識別文本是否由機器生成，只是提供概率，在Fast-DetectGPT演示網頁的對話框輸入一段文本，結果會顯示“文本有2%的概率是機器生成”。“當被測文本混合了機器生成文本和人工撰寫文本，檢測會更難。” 他說，“構建一個更好的內容環境還需要各方的努力。”