神經網絡計算模型重建讓人可以聽懂的單詞和語句

　　對于大多數不能說話的人，“意念”隱藏在他們的大腦中，沒有人能直接破譯這些信號。三人研究小組，加州大學舊金山研究所的Gopala K. Anumanchipalli、Josh Chartier和加州大學伯克利分校的Edward F. Chang利用手術植入大腦電極獲得的數據，將其轉化成為了計算機生成語言。在新發表的《Nature》文章中，研究小組使用了神經網絡計算模型，在某些情況下重建了單詞和語句，使人類聽者得以聽懂。

　　過去的所有努力都未曾成功地重新創造出人們所期望的演講。日內瓦大學神經工程師Stephanie Martin表示（未參與本研究）：“新研究展示的重建后的演講是可以被人理解的……絕對令人興奮”。

　　中風或生病后失去說話能力的人可以用眼睛或做其他小動作來控制光標或選擇屏幕上的字母（已逝宇宙學家Stephen Hawking靠緊繃臉頰觸發眼鏡上的開關裝置）。但是，沒有一個大腦-計算機界面可以直接重新生成人腦海中的語句，假設能夠做到這一步，失去說話能力的患者們將可以更自如地控制音調變化，或者在快速對話中插入言論。

　　現實門檻很高。哥倫比亞大學的計算機科學家Nima Mesgarani 說：“我們正在研究神經元在不同時間點的開關模式，再推斷出語音。從一個信號到另一個信號的映射并不簡單，至于這些信號如何轉換為語音是因人而異的，因此計算機模型必須對每個人進行‘培訓’。模型需要非常精確的數據，這需要打開頭蓋骨。”

　　延伸閱讀：哥大科學家將大腦信號直接轉化成語言

　　研究人員只能在極少數情況下進行這種侵入性記錄。一種是切除腦腫瘤過程中，暴露在外的腦內電子讀數幫助外科醫生定位并避開關鍵的語言和運動區域；另一種是癲癇患者手術治療前植入電極數天，以確定癲癇的來源。“我們只有20分鐘，也許最長不超過30分鐘（的數據收集時間），真的非常有限，”Martin說。

　　新論文背后的研究小組通過將信息輸入神經網絡來獲取寶貴的數據，神經網絡通過計算“節點”層傳遞信息來處理復雜的模式。網絡通過調整節點之間的連接來學習。在實驗中，神經網絡被暴露在一個人產生或聽到的語音記錄和同時進行的大腦活動數據中。

　　Mesgarani小組的研究建立在5名癲癇患者的數據上。在患者聽取1至9號故事和人名時，神經網絡分析了從聽覺皮層（說話和聽的過程中都是活躍的）的記錄，然后，計算機僅從神經數據中重建語音數字，當計算機“說出”這些數字時，一群聽眾就以75%的準確度給它們命名。

　　另外，來自德國不萊梅大學的計算科學家Tanja Schultz領導的研究小組，依靠6名接受腦腫瘤手術的患者數據，當患者朗讀單音節字母時，麥克風捕捉到他們的聲音。同時，腦內電極記錄語言規劃區和運動區活動，這些電極向聲帶發送指令來發音。目前在馬斯特里赫特大學任職的計算機科學家Miguel Angrick和Christian Herff訓練了一個網絡，該網絡將電極讀數映射到音頻記錄，然后從以前看不見的大腦數據中重建單詞。根據計算機評分系統，大約40%的計算機生成單詞是可以被人理解的。

　　最后，加州大學舊金山研究所的神經外科醫生Edward Chang和他的團隊在三名癲癇患者大聲朗讀時，根據從講話到運動區的大腦活動重建整個句子。在一項網絡測試中，166人聽到了一個句子，并將其從10個書面選擇中擇出。有些句子的正確識別率超過80%。

　　研究人員還進一步推進了這個模型：用它從人們無聲地“說”出單詞時的數據重建句子。“這距離我們所有人心目中的語音假體又近了一步。”

　　然而，“我們還在等待，當病人不能說話時，這些方法將如何進行，當一個人默念或聽到別人說話時，大腦就會發出信號，這與語言或聽覺信號不一樣。如果沒有與大腦活動相匹配的外部聲音，計算機很難分辨出內部語言的起點和終點，”圣地亞哥州立大學的語言神經科學家Stephanie Riès說。

　　“解碼想象中的語言需要一個巨大的飛躍，現在還不清楚如何做到這一點，”神經工程師Gerwin Schalk說。

　　Herff說，一種方法是給大腦-計算機界面提供用戶反饋：如果病人能夠實時聽到計算機的語言解釋，他們可能會調整自己的想法以獲得他們想要的結果。通過用戶對神經網絡的充分訓練，最終大腦和計算機無縫銜接。