人工智能(AI)浪潮正以前所未有的速度推進。這是一個AI新紀元,在AI的幫助下,科研的邊界被不斷拓寬,解決復雜問題的速度越來越快,但必須警惕:AI也能極大提高犯罪分子的“生產力”。
安全公司“趨勢科技”研究員文森佐·錢卡利尼表示,生成式AI提供了一個新的、強大的工具包,使惡意行為者能夠比以往更高效、更國際化地開展活動。
錢卡利尼說,大多數犯罪分子“并不是生活在黑暗巢穴里密謀行事”,他們中“大多數都是普通人,從事著日常工作”。
去年的“WormGPT衰落”是一個標志性事件。WormGPT是一種基于開源模型構建的AI語言模型,但它使用惡意軟件相關數據進行訓練,會協助黑客工作且沒有任何道德規則或限制。2023年夏天,在引起媒體高度關注后,該模型的創建者宣布關閉模型。自那以后,網絡犯罪分子大多停止開發自己的AI模型,轉而借助更可靠的現有工具來“耍花招”。
這可能是因為,犯罪分子也想更快獲得收益且不想承擔新技術帶來的未知風險。人們對此必須多加注意,以下5種就是目前他們最常用的方式。
網絡釣魚:誘騙你的私人信息
瑞士蘇黎世聯邦理工學院的AI安全研究員米斯拉夫·巴盧諾維奇表示,目前生成式AI最大的濫用就是網絡釣魚,其試圖誘騙人們泄露敏感信息,再用于惡意目的。研究發現,在ChatGPT興起的同時,也伴隨著網絡釣魚電子郵件數量大幅增加。
錢卡利尼表示,GoMail Pro等垃圾郵件生成服務已集成ChatGPT,這使得犯罪用戶能翻譯或改進發送給受害者的消息。OpenAI的政策限制人們用其產品進行非法活動,但在實踐中其實很難監管。
OpenAI方面表示,他們將人工審核和自動化系統相結合,以識別和防止其模型被濫用,如果用戶違反公司政策,則會實施警告、暫停、永久關閉等措施。
還有一點值得注意,由于AI翻譯工具的進步,世界各地犯罪集團的溝通變得更容易,他們可能開展大規模跨國行動,或在本國對其他國家用戶采取惡意行動。
深度偽造:進入地下市場
生成式AI使深度偽造(Deepfake)的開發發生質變。當前,技術合成的圖像或音視頻,看起來或聽起來比以往任何時候都更加真實,這一點犯罪分子也意識到了。
錢卡利尼團隊發現,已經有用戶在電報(Telegram)等平臺上展示他們的“深度偽造組合”,并以每張圖片10美元或每分鐘500美元的價格出售服務。
相較圖片,深度偽造視頻制作起來更復雜,而且更容易露出破綻。深度偽造音頻的制作成本低廉,只需幾秒鐘的某人的聲音(例如從社交媒體獲取),即可生成令人信服的內容。
這樣的詐騙案例并不鮮見,人們接到親人打來的求救電話,稱自己被綁架并要求交付贖金,結果卻發現,打電話的人是個使用深度偽造語音的騙子。
錢卡利尼建議,親人之間應商定一些秘密安全詞并定期更換,這有助于緊急情況下確認電話另一端的人的身份。
繞過身份檢查:一個偽造的“你”
犯罪分子濫用AI技術的另一種方式是繞過驗證系統。
一些銀行和加密貨幣交易需驗證其客戶是否本人。他們會要求新用戶在手機相機前持身份證拍攝一張自己的照片,但犯罪分子已經開始在電報等平臺上銷售能繞過這一要求的應用程序。
他們提供的是偽造或被盜的身份證件,再將深度偽造的圖像強加在真人臉上,以欺騙手機相機驗證程序。據錢卡利尼發現的一些例子,該服務的價格甚至低至70美元。
“越獄”式服務:帶來危險輸出
如果有人向AI詢問如何制造炸彈,那他不會得到任何有用的答復。這是因為大多數AI公司已采取各種保護措施來防止模型泄露有害或危險信息。
現在,網絡犯罪分子不再構建自己的AI模型,這種方式既昂貴、耗時又困難。一種新犯罪趨勢開始出現——“越獄”式服務。
比如上面得不到答案的問題,這顯示了模型都有關于如何使用它們的規則。但“越獄”允許用戶操縱AI來生成違反這些政策的輸出。例如,為勒索軟件編寫代碼,或生成可在詐騙電子郵件中使用的文本。
為了對抗這些不斷增長的風險,OpenAI和谷歌等公司需時時堵塞可能導致緊急危害的安全漏洞。
人肉搜索和監視:暴露用戶隱私
巴盧諾維奇表示,AI語言模型不僅是網絡釣魚的“完美工具”,對人肉搜索(在線泄露某人的私人身份信息)也是如此。這是因為AI語言模型經過大量互聯網數據(包括個人數據)的訓練, 可推斷出某人位于何處。
犯罪分子可能會讓聊天機器人假裝是具有側寫經驗的私家偵探,然后讓它分析受害者所寫的文本,并從文本中的小線索推斷出個人信息。例如,根據他們上高中的時間推斷他們的年齡,或者根據他們在通勤時提到的地標推斷他們的居住地點。互聯網上該人的相關信息越多,就越容易被識別。
巴盧諾維奇團隊2023年底發現,大型語言模型,如GPT-4、Llama 2和Claude,已能夠僅從與聊天機器人的日常對話中推斷出人們的種族、位置和職業等敏感信息。理論上,任何能訪問這些模型的人,都能以這種方式使用它們。
這些服務的存在,并不直接表明犯罪活動的存在,但我們必須看到可供惡意行為者利用的新功能。而防止這些事情發生的唯一方法就是加強防御。
巴盧諾維奇稱,對AI公司來說,應完善數據保護;對個人來說,提高防范意識是關鍵——人們應三思而后行,考慮他們在網上分享的內容,并謹慎決定,自己是否愿意在語言模型中使用他們的個人信息。
2025年是“十四五”收官之年,也是“十五五”謀篇布局之年。黨中央、國務院高度重視數字中國建設,習近平總書記多次作出重要指示批示。國家數據局會同有關單位,系統總結2025年數字中國建設的最新成果和典型......
近日,由中國科學院學部組織、會聚近300位跨學科院士專家共同研究撰寫的重要學術成果——《人工智能賦能科學研究:人工智能學科體系》正式出版發行。該書作為“范式變革:人工智能與科學研究”叢書的總報告,系統......
日前,國家網信辦、國家發展改革委、工業和信息化部等五部門聯合公布《人工智能擬人化互動服務管理暫行辦法》(以下簡稱《辦法》),自2026年7月15日起施行。《辦法》明確,擬人化互動服務提供者不得向未成年......
為推動全球共同促進人工智能治理,中國科協所屬中國自動化學會、中國電子學會、中國計算機學會、中國人工智能學會等16家科技社團4月13日共同發布《全球人工智能治理科技社團倡議》,倡導以人為本、智能向善,推......
談到對齊,你會想到什么?是一把尺子,丈量細微的偏差,還是一份共識,守護人類文明的底線?“在人工智能(AI)時代,文化創新需要對齊什么?又該向什么對齊?”3月22日,武夷山的九曲溪畔,在由中國人民大學、......
3月25日,美國總統特朗普公布了總統科學與技術顧問委員會(PCAST)首批成員名單。與往屆不同的是,此次任命高度聚焦人工智能(AI)和量子計算領域,成員以科技巨頭、商界富豪與政治盟友為主,學術背景科學......
3月17日,由中國檢驗檢測學會與廊坊市科學技術協會共同主辦、河北省算力產業研究院承辦的“鋼鐵行業人工智能技術應用培訓”在廊坊市京津冀大數據創新應用中心成功舉辦。作為“科創中國”河北行“提升河北智能檢驗......
全國政協委員、中國醫學科學院阜外醫院麻醉中心主任醫師敖虎山建議,加強頂層設計,系統化推動融合人工智能、大數據與醫療專業知識的“數字醫生”與傳統醫療體系實現規模化深度融合,將其作為破解當前醫療服務難題的......
工業和信息化部10日對外發布《關于啟動工業數據筑基行動開展面向人工智能賦能的高質量行業數據集建設先行先試的通知》,著力突破工業數據“采”“集”“用”瓶頸。通知提出,到2026年底,培育一批行業數據合作......
近來,在全球人工智能競爭升級的背景下,我國在人工智能人才供給、政策動員與平臺化組織等方面取得令人矚目的階段性進展。一方面,我國人工智能人才規模與結構優勢初步確立。我國人工智能核心產業人才規模2024年......