原文地址：http://news.sciencenet.cn/htmlnews/2023/10/510686.shtm
深度學習作為新一代人工智能的核心技術，依賴于大規模的標注數據自動學習知識。然而，現實世界中的數據面臨著標注噪聲和數據分布不平衡（長尾）等科學挑戰，這些問題嚴重影響了訓練模型的性能。近期，北京理工大學光電學院的許廷發教授科研團隊在長尾數據下的理論模型研究方面取得了突破性進展。相關研究成果以“Dynamic Loss For Robust Learning”為題，發表在國際頂級期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)》上。IEEE TPAMI是人工智能、模式識別、圖像處理等領域的頂級權威期刊，其影響因子高達23.6，同時也是中國計算機協會 (CCF) 推薦的人工智能領域A類期刊。
論文第一作者為北京理工大學江慎旺博士后和李佳男副研究員，通訊作者是北京理工大學許廷發教授。
針對智能圖像識別任務的噪聲和長尾數據訓練模型不理想難題，許廷發科研團隊首次提出和構建了元學習自適應魯棒的數理模型。模型主要通過引入全新的動態損失函數，主動感知數據分布和訓練狀態，自適應地動態修正數據標注噪聲以及調整識別的類間距離，實現了在長尾噪聲數據下的魯棒學習。
圖1 元學習自適應魯棒的數理模型
圖2展示了分類間隔和特征分布隨訓練時間的變化圖。隨著訓練過程的推進，間隔生成器主動學習分類難度，自適應增大長尾類別的間隔系數，如圖2類別10（折線圖標紅部分）。模型生成了清晰的類別邊界，如圖2中的特征分布變化圖，顯著提升了模型應對長尾噪聲數據的魯棒性。
圖2 分類間隔（上）和特征分布（下）隨訓練時間的變化圖
論文提出的數理模型對元學習在圖像識別領域的應用提供理論基礎，其實驗結果對實際環境的智能圖像識別具有重要意義。
論文詳情：S. Jiang, J. Li, J. Zhang, Y. Wang and T. Xu, "Dynamic Loss For Robust Learning," in IEEE Transactions on Pattern Analysis and Machine Intelligence, doi: 10.1109/TPAMI.2023.3311636.
論文鏈接：
附作者簡介：
江慎旺，北京理工大學光電學院博士后。2014年、2020年分別獲得北京理工大學學士、博士學位，研究方向為機器學習和計算機視覺。在國際頂級會議AAAI、IEEE等期刊發表學術論文16篇，谷歌學術總引用量98次，第一作者4篇，申請中國發明專利1項。曾獲得2021年ICCV第二屆反無人機國際挑戰賽（The 2nd Anti-UAV Workshop & Challenge）冠軍及該Workshop的最佳論文，大學生數學競賽二等獎（北京市）、大學生物理競賽二等獎（北京市）等榮譽。
李佳男，博士，北京理工大學光電學院預聘助理教授（特別副研究員），新加坡國立大學博士后。主要從事光電成像目標探測與識別等方面的研究，主持國家自然科學基金等項目5項。以第一/通訊作者在IEEE TPAMI、CVPR等頂級期刊或會議上發表學術論文60余篇，ESI高被引論文1篇，谷歌學術總引近4000次。入選中國科協及北京市科協“青年人才托舉工程”項目，獲得中國圖象圖形學學會優秀博士學位論文，王大珩光學獎等榮譽。指導學生獲得ICCV 2021“反無人機跟蹤”挑戰賽國際冠軍及最佳論文獎、中國高等教育博覽會“校企合作雙百計劃”典型案例等。研究成果在“中國天眼”等國家重大科技基礎設施中得到重要應用。