得益于神經網絡——從人腦獲得靈感的計算機算式——的發展,自動化的語言翻譯已經存在了相當長一段時間。但訓練這些網絡需要海量數據:數以千萬計的逐句翻譯,以展示人類如何做這項工作。現在,兩篇新論文表明神經網絡可以在無需平行文本的情況下學習翻譯——這一令人震驚的進展或讓人們獲得許多不同語言的文獻記錄。
計算機很快或能翻譯更多語言
“想象一下,你給一個人很多中文書籍和阿拉伯書籍,而且它們沒有任何重疊性,然后一個人需要學習將其從中文翻譯為阿拉伯語。這聽起來似乎不可能,對吧?”其中一項研究的第一作者、西班牙圣西巴提巴斯克國家大學(UPV)計算機專家Mikel Artetxe說,“但我們證明計算機可以做到這一點。”
大多數機器學習——神經網絡和其他從經驗中學習的計算機算式會受到“監督”。計算機會進行推測,然后接收到正確答案,并據此調整相應的過程。在教一臺計算機如何在諸如英語和法語之間進行翻譯時,這種模式會非常有效,因為很多文獻在這兩種語言中同時存在。但它對于罕見的語言,或者是那些沒有很多平行文本的通用語言并不奏效。
這兩篇尚未經過同行評議的新文章均已被提交給明年的國際學習表征會議,它們聚焦了另一種方法:不監督機器學習。一開始,計算機在沒有人類老師告訴它們其推測是否正確的情況下建設雙語詞典。這是因為語言在詞匯結合方面有著很強的相似性。例如,在各種語言中,桌子和椅子的詞匯經常會一起使用。因此,如果計算機將這些共現性像一個城市巨大的公路地圖那樣描繪出來,那么不同語言的地圖就會彼此相似,只不過它們擁有不同的名字。如此一來,計算機就能找出將一個地圖集覆蓋在另一個地圖集上的最佳方法。瞧!一本雙語詞典出現了。
這兩篇文章運用了非常類似的方法,均能在語句層面進行翻譯。它們均使用兩種訓練策略,即回譯和去噪。在回譯中,一種語言中的一句話被粗略地翻譯成另一種語言,然后再被轉譯回最初的語言。如果回譯的語句與最初語句并不相同,那么將對神經網絡進行調整,從而使它們在下一次翻譯得更加準確。去噪類似于回譯,但它不是從一種語言翻譯為另一種語言,然后再轉換為原語言,而是在一個句子中加入噪音(重新編排或是刪除詞匯),并嘗試將其翻譯到原語言中去。這兩種方法相結合教會了網絡更深層次的語言結構。
不過,這兩種技術之間也有些微差異。UPV的系統在訓練過程中進行了更多的回譯。而另一個由位于法國巴黎的臉譜網計算機科學家與其合作者研發的系統,則在翻譯過程中加入了額外的步驟。在將其“解碼”為另一種語言之前,兩套系統都會將一種語言的一個句子編碼為一種更加抽象的表征,但臉譜網的系統驗證了中間的“語言”是真正抽象的。Artetxe和Artetxe均表示,他們可以通過應用對方論文中的技術來改善自己的結果。
在兩篇文章之間進行的唯一直接對比結果中——對摘自同一組約3000萬個語句在英語和法語文本之間進行翻譯,兩套系統在雙向翻譯中均獲得了15分的雙語評估分數(用來衡量翻譯準確性)。這個分值沒有谷歌翻譯高(該系統所用的受監督的方法得分為40分),也不如人類翻譯得分高(超過50分),但卻比逐字翻譯要好得多。作者表示,兩套系統可以很容易地通過變為“半監督性”得到改善,即把數千個平行的語句加入到它們的訓練中。
除了不需要平行文本進行跨語言翻譯之外,Artetxe和Lample均表示,他們的系統有助于進行諸如英語和法語之間的常用翻譯匹配,特別是如果平行文本是同一類的話,如新聞報道。但除此之外,人們還希望將其翻譯為不同類型的文本,如街頭俚語或是醫學術語。“但這一切尚處于新生階段。”Artetxe的共同作者Eneko Agirre說,“我們剛剛開始了一個新的研究大道,現在我們還不知道它會通向哪里。”
中國北京計算機學家、其工作對上述兩項研究產生影響的Di He說:“在沒有人類監督的情況下,計算機能夠學習翻譯,這令人吃驚。”Artetxe說,他的方法和Lample的方法被上傳到arXiv預印本服務平臺的時間前后僅相隔1天,這樣的時間巧合令人吃驚。“同時,它意味著這種方法的確是正確的方向。”
近日,中國科學院自動化研究所(以下簡稱自動化所)腦圖譜與類腦智能實驗室余山團隊與北京大學心理與認知科學學院畢彥超團隊合作,提出了一種新型人工智能神經網絡框架——CATSNet,實現了類人的概念形成、理......
10月25日,第五屆電子信息工程與計算機技術國際學術會議(EIECT2025)在廣東江門召開。該會議采用線上線下相結合的創新模式,匯聚了來自全國各地相關領域的眾多專家學者,大家圍繞電子信息工程、計算機......
8月15日至16日,第五屆先進算法與神經網絡國際學術會議(AANN2025)在山東青島召開。會議期間,與會代表通過主講報告、口頭匯報、海報展示等多種形式,分享了最新研究成果,探討了學科發展趨勢。本次會......
希臘研究和技術基金會科學家受生物神經元啟發,開發出一種融入樹突特征的新型人工神經網絡。與傳統人工神經網絡相比,新網絡在參數更少、能耗更低的情況下,實現了圖像識別性能的顯著提升,為打造更緊湊、更節能的人......
近日,在2024數字科技生態大會上,國內單臺比特數最多的超導量子計算機天衍-504正式發布。國內單臺比特數最多的超導量子計算機天衍-504。中電信量子集團供圖據悉,天衍-504超導量子計算機是中電信量......
據俄新社日前報道,在阿聯酋阿布扎比舉行的2024年IEEE國際圖像處理大會上,俄羅斯國家研究型工藝大學研究人員展示了一種具備自我懷疑能力的神經網絡。為應對急速增長的數據量,研究人員一直致力于研發更加可......
近日,中國科學院腦科學與智能技術卓越創新中心王凱研究組在《自然-方法》(NatureMethods)上,在線發表了題為VolumetricVoltageImagingofNeuronalPopulat......
10月24日,2024中國計算機大會(CNCC2024)在浙江東陽橫店開幕,吸引了一萬多名計算相關領域學術、教育、企業界人士參會。圍繞“發展新質生產力,計算引領未來”主題,800多位國內外知名專家學者......
盡管量子計算機領域的研究進展突飛猛進,但量子計算機的“性情”仍不穩定,容易出錯,尚無法投入實際應用。為此,包括谷歌和IBM等在內的眾多公司競相開發量子糾錯技術,旨在為最終實現穩定可靠的量子計算系統奠定......
2024年諾貝爾物理學獎得主(圖片來源:諾獎官網)北京時間10月8日下午5點45分,瑞典皇家科學院宣布將2024年諾貝爾物理學獎授予:JohnJ.Hopfield、GeoffreyE.Hinton。獲......