自動化所在人腦視覺信息編解碼研究方面取得新進展

　　現代認知神經科學以及功能磁共振成像技術（functional Magnetic Resonance Imaging, fMRI）的不斷發展使得采用科學手段對大腦視覺皮層信號進行解讀成為可能。研究人腦視覺信息解碼模型不僅可以加深人們對人腦視覺信息處理機制的研究，還可以有力地促進新一代腦-機接口（Brain-Computer Interface, BCI）技術的發展。

　　盡管現有的視覺信息解碼模型在對大腦信號的分類、識別任務上表現良好，但是試圖通過大腦視覺皮層信號精確重建視覺刺激內容仍然非常困難。阻礙人們有效地進行視覺信息解碼的因素主要包括 fMRI 數據維度高、樣本量小、噪聲嚴重、解碼模型不科學等。傳統的基于多體素模式分析（Multi-Voxel Pattern Analysis, MVPA）的視覺信息解碼方法直接在高維的 fMRI 體素空間和視覺圖像像素空間建立映射關系，這種解碼方法很容易造成對冗余或噪聲體素的過擬合。此外，現有的視覺信息解碼方法大多數基于對視覺圖像的線性變換，沒有結合人腦視覺系統的信息處理機制，解碼效果差并且缺乏生物學基礎。

　　中國科學院自動化研究所研究員何暉光團隊近年來一直致力于更復雜刺激（如人臉，自然圖像，乃至動態視覺刺激）的大腦解碼工作，繼去年關于“利用fMRI信號重建圖像”的工作被MIT Technology Review頭條報道后，基于以往工作積累，提出了一種基于貝葉斯深度學習的大腦視覺信息解碼模型（見圖1），針對基于fMRI數據的視覺神經信息編解碼問題，提出了統一的多視圖深度生成式模型（Deep Generative Multi-view Model, DGMM）（見圖2），為基于大腦信號的視覺圖像重建問題提供了有效的解決方案。相關研究成果“Reconstructing Perceived Images from Human Brain Activities with Bayesian Deep Multi-view Learning”近日已在神經網絡及機器學習領域國際期刊IEEE Transactions on Neural Networks and Learning Systems (TNNLS)在線發表，為腦-機接口的進一步研究打下了堅實的基礎。

　　該研究以一種科學合理的方式建立起了視覺圖像和大腦響應之間的關系，將視覺圖像重建問題轉化成多視圖隱含變量模型中缺失視圖的貝葉斯推斷問題。受人腦視覺信息處理機制（層次化、Bottom-up、Top-down）的啟發，團隊采用了深度神經網絡從視覺圖像中逐層提取視覺特征和概念，提高了模型的表達能力和可解釋性；受視覺區域的體素感受野和視覺信息的稀疏表達準則的啟發，團隊采用了稀疏貝葉斯學習從大量體素中自動篩選出對視覺信息解碼貢獻較大的體素，提高了模型的穩定性和泛化能力。深度生成式多視圖模型充分利用了fMRI 體素之間的相關性信息，有效抑制了體素噪聲的干擾，增強了算法的魯棒性。得益于貝葉斯方法的優點，深度生成式多視圖模型能夠方便靈活地融合先驗知識，進而提升預測性能。大量的實驗結果驗證了深度生成式多視圖模型的優越性。新算法為大腦信號解碼問題提供了一個行之有效的通用框架，具有很強的可擴展性，允許從不同角度對其進行擴展以適應不同任務。該項目不僅為探究大腦的視覺信息處理機制提供了一個強有力的工具，而且為腦-機接口的發展提供了技術支持，將對類腦智能的發展起到一定的促進作用。

　　論文的第一作者是博士生杜長德。該工作同時受到國家自然科學基金重點項目、中科院先導項目以及中科院青促會優秀會員項目的資助。

圖1：基于貝葉斯深度多視圖學習的視覺信息編解碼框架

圖2：深度生成式多視圖模型（DGMM