7月25日,第二十八屆中國科協年會“人工智能倫理與治理”專題論壇在北京舉行。與會學者表示,缺乏安全約束的人工智能存在顯著風險,人工智能倫理治理不僅在于“讓AI不做壞事”,更在于“讓AI做成好事”。
最近,人工智能安全問題再度引發熱議。美國開放人工智能研究中心(OpenAI)近日承認,該公司的GPT-5.6 Sol模型和另一款能力更強的預發布模型聯合進行內部評估時失控,突破隔離測試環境,侵入了人工智能開源平臺美國抱抱臉公司的系統。該事件凸顯了前沿人工智能模型存在潛在未知風險以及人工智能安全治理的緊迫性。
中國科學技術大學機器人實驗室主任陳小平認為,當前人工智能應用存在生產安全、公共安全、民生安全、認知局限四類突出風險。他解釋稱,生成式人工智能的黑箱特性,尤其是通過與智能體執行能力的結合,使得生產安全風險常態化、責任歸屬模糊化,從而直接影響AI技術的應用落地。另外,智能型基礎設施失靈、突發事件失控等原因可能導致公共安全災難,AI生產力悖論也可能導致社會分化越來越嚴重,影響民生安全。同時,社會對人工智能的認識遠遠滯后于技術的發展,存在各種各樣局限,導致或加劇以上風險。
中國人民大學高瓴人工智能學院吳玉章講席教授曾毅則從大模型的角度分析稱,人工智能相當于人類社會的鏡像。大模型行為源于訓練數據,反映的是互聯網文本統計特征,并非模型自主形成的人類價值觀。未經過價值校準的模型可被誘導輸出攻擊性表述,缺乏安全約束框架的人工智能存在顯著風險。曾毅的研究團隊梳理歸納了176類人類負面行為模式,但發現目前大模型僅顯現不足30類,大量潛在風險尚未暴露。
談及人工智能的安全治理,多位與會學者認為,絕對安全難以實現,目標是盡可能降低風險,搭建可控的防線。
曾毅認為,零散、單點的防御手段難以覆蓋全部風險。駕馭人工智能,需要內在認知架構與外部規范協同發揮作用。應當為模型搭建自我感知、換位思考、共情體驗的認知架構,助其形成內生道德判斷,同時搭配多方協同治理,才有望實現安全良性的人機協同。
陳小平則從技術層面指出,人工智能技術治理的當務之急,是要讓各類人工智能技術滿足各自的技術要求和運行要求。比如,生成式人工智能技術不僅要有大算力,還必須使用帶監督標記的海量數據,在所應用的垂直領域要適配與合規,必要時更須有人工把關。他表示,人工智能倫理治理不僅在于“讓AI不做壞事”,更在于“讓AI做成好事”。
7月25日,第二十八屆中國科協年會“人工智能倫理與治理”專題論壇在北京舉行。與會學者表示,缺乏安全約束的人工智能存在顯著風險,人工智能倫理治理不僅在于“讓AI不做壞事”,更在于“讓AI做成好事”。最近......
7月29日,“寶智鏈新·AI派集結號”第十六期暨南沙高企形象大使系列活動——人工智能產業科技對接交流會在深圳寶安舉行。活動匯聚院士專家、高校院所、龍頭企業、投資機構及行業協會代表等百余人,圍繞人工智能......
各有關單位:為加快實施新一代人工智能國家科技重大專項(以下簡稱“重大專項”),根據重大專項階段性實施計劃部署,現將2026年度“以賽代評”公開項目申報指南予以公布。請按照指南要求組織項目申報工作,有關......
7月30日,香港科技大學教授陳浩團隊聯合美國哈佛醫學院、威爾康奈爾醫學院、香港中文大學、香港大學、中山大學等機構,成功研發出一套名為“通用-專科協作”(GSCo)的人工智能框架。該框架能夠使醫學通用基......
7月17日,國家發展改革委、外交部在上海召開世界人工智能合作組織推進會,與簽署成立世界人工智能合作組織協定的各國代表,共同就人工智能全球治理、產業務實合作、世界人工智能合作組織建設運行等議題交換意見。......
一、優質數據供給行動推進數據跨境流動,在部分領域建設運營跨境可信數據空間,促進高效、便利、安全的數據跨境流動。協同構建高質量語料庫和行業高質量數據集,推動多語種語料共建共享,為全球人工智能創新筑牢堅實......
7月17日(周五),2026世界人工智能大會暨人工智能全球治理高級別會議在上海召開。會上,國家發展改革委會同教育部、科技部、工業和信息化部、國家數據局和中央廣播電視總臺等共同發布了《人工智能合作發展行......
近日,中國科學院寧波材料技術與工程研究所和中國科學院文獻情報中心聯合發布“MarineMatAI”海洋關鍵材料人工智能(AI)科研助手。這款面向海洋關鍵材料領域的智能工具,旨在以AI技術打通文獻、數據......
7月17日上午,國家主席習近平在上海世界會客廳出席2026世界人工智能大會暨人工智能全球治理高級別會議開幕式并發表主旨講話。習近平指出,在各方共同努力下,世界人工智能合作組織在上海應運而生。這是中方響......
工業和信息化部辦公廳關于印發2025年人工智能應用典型案例名單的通知工信廳科函〔2026〕340號各省、自治區、直轄市及計劃單列市、新疆生產建設兵團工業和信息化主管部門,有關中央企業:根據《工業和信息......