科學家研發出“讀心術”,直接將腦電波翻譯成文本,錯誤率低至 3%

雷鋒網 於 02/04/2020 發表 收藏文章
美國加州大學舊金山分校的科學家,已經訓練出一種算法,可以直接將受試者的腦電波實時翻譯成句子,錯誤率僅為 3% 。

這項研究發表在《自然神經科學》(Nature Neuroscience)雜誌上,他們招募了 4 位志願者,這些志願者被要求多次朗讀 30-50 個固定句子,而電極記錄下他們的大腦活動。[1]


【 雷鋒網注:人類對大腦所知甚少。圖片來源:Pixabay 所有者:Gerd Altmann 】

這些數據隨後被輸入到機器學習算法,它將每個句子的大腦活動數據轉換成一串數字和字符串。

系統從這些大腦活動數據再推導出聲音,並和實際記錄的音頻進行比較。數字和字符串則被再次輸入到系統,轉換成一個單詞序列。

起初,系統會吐出毫無意義的句子。但是當系統將每個單詞序列與實際朗讀的句子進行比較時,它得到了改進,學會了數字字符串與單詞的關係,以及哪些單詞是有上下文關係的。

算法不斷的訓練,直到從説話時的大腦活動中產生書面文本,類似機器翻譯。

新系統的準確性遠遠高於以前的方法。雖然準確性因人而異,但對於其中一位志願者來説,平均每個句子只有 3% 需要糾正,高於速記員 5% 的單詞錯誤率。

當然,目前這個系統還是有很大侷限,算法還只能處理少量的句子。系統也不能用於嚴重殘疾失去語言能力的患者,因為它依賴於記錄大聲説出句子的人的大腦活動。

然而,每個志願者只用了不到 40 分鐘來訓練,在有限的小數據集情況下,達到了迄今為止最大的精確度。

腦機接口

從人類大腦信號到外部設備之間建立連接通路並不是新鮮事,腦機接口的研究已持續了 30 年。


【 雷鋒網注:腦機接口近30年來一直是研究熱點。圖片來源:Pixabay 所有者:aytuguluturk 】

在過去的十年,我們已經能夠解碼語音信號,但是侷限於孤立音素或者單音節詞,在一段 100 個單詞的連續語音的情況下,解碼正確的單詞少於 40% 。

科學家們此次找到的是一個更直接的方法,就是採取機器翻譯類似的算法。機器翻譯就是將文本從一種語言到另一種語言的算法翻譯,只不過這次輸入的文本變成了腦電波信號。此次發表的論文《使用編碼器-解碼器框架:大腦皮層活動到文本的機器翻譯》,正是詳細描述了這一過程。

在系統對一個志願者進行訓練之後,再對另外一個志願者訓練時,解碼結果得到了改善,這表明該技術可以在人和人之間進行遷移。

在 GitHub 上,放置了論文對應的代碼。

ecog2txt 模塊,用於從神經數據中將語音解碼為文本。它用 Python 代碼實現了跨主題的遷移學習的高級功能。[2]


【雷鋒網(公眾號:雷鋒網)注:ecog2txt是論文對應的開源實現模塊】

而訓練本身則是通過另一個 machine_learning 軟件包,它在 TensorFlow 裏實現了一個序列到序列的網絡。[3]

這些軟件包的作者,也是論文的聯合作者之一約瑟夫·馬金(Joseph Makin)博士,他目前是加州大學舊金山分校整合神經科學中心的研究科學家。他的專業是電機工程和計算機科學,專門研究控制理論,包括腦機接口的算法開發。[4]


【雷鋒網注:上圖為張愛德博士】

論文的另外一個聯合作者是張愛德(Edward Chang)博士,他是醫學博士和神經外科醫生,擅長為患有癲癇病,腦瘤,三叉神經痛,面肌痙攣和運動障礙的成年人提供治療。他目前是加州大學舊金山分校威爾神經科學研究所的神經外科教授,還領導了一個神經工程與假肢中心,以恢復癱瘓和言語障礙等神經疾病患者的功能。[5]

網友評論

科學家們曾經認為將大腦信號轉換為可理解的語音可能需要數十年,而現在這個間隔可以用幾年來衡量。在 reddit 的科學板塊,該消息引發了 3 萬多次點贊和上千條評論。[6]

網友 derlumpenhund 評論説,這並不表示思想閲讀機發明出來了。它主要依賴於解碼口舌運動時對應的大腦皮層活動,需要收集給定主題的數據,並且提前進行訓練,並不會直接解碼你的思想活動。話雖這麼説,這一進展也很了不起。

網友 boointhehouse 則説,如果這項技術早點用於斯蒂芬·霍金,在他的一生中還能完成更多的工作。

引用來源:

[1] https://www.nature.com/articles/s41593-020-0608-8.epdf

[2] https://github.com/jgmakin/ecog2txt

[3] https://github.com/jgmakin/machine_learning

[4] https://profiles.ucsf.edu/joseph.makin

[5] https://profiles.ucsf.edu/edward.chang

[6] https://www.reddit.com/r/science/comments/fry305/scientists_develop_ai_that_can_turn_brain/

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知



資料來源:雷鋒網
作者/編輯:張路

如果喜歡我們的文章,請即分享到︰

留言

會員
我要評論
請按此登錄後留言。未成為會員? 立即註冊
快捷鍵:←
快捷鍵:→