僅憑想象每分鐘“說出”62個單詞腦機接口語音交流新紀錄

　　八年前，一名女性因罹患肌萎縮側索硬化癥（ALS，即漸凍癥）而喪失了語言能力。患病之后，雖然她依然可以發出聲音，但她說出的話已經變得難以理解，平日只能依靠書寫板或 iPad 進行交流。現在，在自愿接受了一項腦機接口（BCI）植入試驗之后，她已經能夠以接近正常語言的速度與人快速交流。

　　日前，來自斯坦福大學的一個研究團隊在預印本平臺 bioRxiv 上發表了題為：A high-performance speech neuroprosthesis 的最新研究論文。

　　該研究通過腦機接口（BCI）將與語音相關的神經活動轉化為文本，從而使因患有中風和 ALS 等疾病而無法順暢交流的人群受益。

　　該研究開發了首個用于記錄皮質內微電極陣列脈沖活動的語音轉文本腦機接口。研究人員表示，在腦機植入物的幫助下，該研究受試者能夠以每分鐘 62 個單詞的速度進行交流，打破了之前的記錄，是此前最佳水平的三倍。該論文尚未經過其它研究人員的正式審查。

　　對于沒有言語障礙的普通人而言，常規的發言速度通常為每分鐘約 160 個單詞。即使在依靠鍵盤輸入、且充斥了表情符號和縮寫的現代，語音交流仍然是人與人之間最快的溝通方式。

　　該論文的第一作者 Francis Willett 來自斯坦福大學霍華德休斯醫學研究所。早在 2021 年 5 月，他的團隊曾率先破譯與手寫相關的大腦活動，并且開發了一種皮質內 BCI 系統，通過解碼神經信號從而允許癱瘓患者通過想象完成手寫輸入，發表在了 Nature 雜志并被選為封面論文。

　　現在，研究團隊想知道運動皮層中的神經元是否也包含有關語言運動的有用信息？也就是說，腦機植入物能否在受試者還未說話時便已經檢測到他將如何控制嘴巴、舌頭和聲帶的運動方式？

　　為了實現這一目標，研究團隊使用一小塊尖銳電極嵌入人的運動皮層，該電極使用四個微電極陣列記錄神經活動。由于運動皮層是運動反饋最多的大腦區域，因此研究人員可以通過其神經元活動信號找到某人正在思考的動作模式，即使這個人已經癱瘓。

　　研究發現，即便使用單個微電極陣列也可以清楚地表示出語音和發聲運動，不同運動之間的神經活動能夠實現準確區分。而結合了四個微電極陣列的活動記錄后，通過樸素貝葉斯分類算法，該技術對于 34 個口面部運動的解碼準確率為 92.7%，對于 39 個音素（根據語音的自然屬性劃分出來的最小語音單位）的解碼準確率為 60%。在此之后，計算機會將這些信息傳送到電腦屏幕上，通過屏幕和語音輸出系統展示出患者的“心里話”。

　　該團隊針對一名患有 ALS 的受試者（被稱為“T12 受試者”）進行了實證研究。研究者每天會讓受試者試圖說出屏幕上顯示的 260-480 個句子，同時記錄他們大腦左半球的四個皮質內微電極陣列的尖峰活動，通過這種方式對循環神經網絡（RNN）進行訓練。

　　最終，經過訓練的語音 BCI 可以使有語言障礙的人以每分鐘高達 62 個單詞的速度進行交流，比之前最先進的語音 BCI 輸出速度快了 3.4 倍。除此之外，研究者還通過改進語言模型以進一步降低單詞識別的錯誤率。該團隊指出，通過改進語言模型和解碼算法，將有可能繼續提升其性能。

　　該研究的通訊作者，來自斯坦福大學的電氣工程教授、神經生物學和神經外科教授 Krishna Shenoy 已帶領其團隊在神經修復學領域深耕數十年。早在 2019 年，他與同事們成功讓一位志愿者使用思想“說話”，并且達到了每分鐘 18 個單詞的速度，在當時引發了廣泛關注。

　　現在，得益于加州大學舊金山分校教授 Edward F. Chang 的研究，通過腦機接口“說話”的速度和語音識別準確度被進一步提高。Edward F. Chang 此前介紹，演講中包括了人們所能做的最復雜的一部分動作。“該過程中，空氣被推出并且發生振動，人們會同時使用嘴、嘴唇和舌頭從而朗讀文字。”

　　“這些都是非常微小、微妙的動作，”來自加州大學舊金山分校的生理學教授 Philip Sabes 對此表示。盡管他并未參與該項目，但他認為，該項研究的一個重大進展在于，僅依靠少量神經元活動即可獲知足夠的信息，可以讓計算機程序非常準確地預測患者試圖說出的詞語。

　　進一步而言，斯坦福大學的研究團隊強調，單次讀取的神經元活動越多，其系統在理解受試者試圖表達的內容時所犯的錯誤就越少。這一進展或將給 BCI 領域指明了一條切實可行的方向——使用更復雜的腦內植入物和與人工智能結合，從而提升腦內信息識別能力的準確性。

　　“這很重要，因為該結果說明，對于那些十分復雜的處理任務而言，類似于 Neuralink 這樣計劃將 1,000 個電極放入大腦的想法就會帶來切實的影響。”Sabes 對此評價道。

　　這并不是一個不切實際的愿望。目前，包括 Neuralink 和 Paradromics 等在內的腦機接口公司已經表示，正在開發更先進的接口設備，可以同時記錄數千甚至數萬個神經元。

　　Sabes 樂觀地認為，實驗性的大腦讀取技術或將很快走出實驗室，并且落地成為能夠使用的產品。在其看來，“該研究中 BCI 的表現已經達到了多數相關患者需要的水平。”

　　“當前結果展示了一條切實可行的研究道路，可以使用皮質內語音 BCI 恢復那些語言障礙患者的溝通能力。”來自斯坦福大學的研究者也介紹道，該項研究中 BCI 語音識別技術首次超過了現有其它技術的輸出速度，例如眼動追蹤或基于鍵盤的方法等。不過，他們同樣表示，當前的語音 BCI 系統仍需要改進。

　　其中一個問題在于單詞的識別錯誤率。目前，該系統的單詞錯誤率已從 23.8% 降低到了 17.4%，不過研究者認為“它還不是一個完整的、臨床上可行的系統”。

　　相關業內人士同樣指出，“多年的研究表明，保持 BCI 系統具備穩定、可靠的性能是最為重要的問題之一。”近年以來，隨著芯片技術和測量技術的快速進展和大量資源進入，腦機接口領域內的眾多公司得到了長足發展。例如，Blackrock Neurotech 有望明年將其 BCI 系統推向市場；2021 年 7 月，FDA 批準腦機接口公司 Synchron 旗下植入血管內部的腦機接口設備 Stentrode 的臨床試驗申請；埃隆·馬斯克也聲稱將在 2023 年內開展腦機接口的臨床試驗。對此，該評論人士認為，如果不能證實系統的長期穩定性或其準確性在不斷下降，任何準備商業化的大腦植入物都可能在審批過程中“夭折”。