脑机接口领域全新里程碑:意念说话,机器解读

利用神经网络将人说话时,相应大脑区域的神经信号进行解码,然后使用循环神经网络将信号合成为语音,可帮助语言障碍患者解决语言沟通问题。

「读心术」可能真的要实现了。

说话对大多数人来说是一件再寻常不过的事。但是,这个世界上还有很多人,遭受这些疾病的折磨:中风、创伤性脑损伤、神经系统变性疾病如帕金森病、多发性硬化症和肌萎缩侧索硬化症(ALS 或 Lou Gehrig 病)等,他们往往因此丧失说话能力,且不可逆转。

科学家们一直在恢复人体功能、神经修复方面做着努力,脑机接口(brain-computer interface,BCI)便是一个重点领域。

脑机接口指的是,在人或动物大脑与外部设备之间创建的直接连接,实现脑与设备的信息交换。

脑机接口中的「脑」指的是有机生命形式的脑或神经系统,并非仅仅指大脑

但是似乎一直以来,脑机接口都是一个遥远的概念。而今天,顶尖学术期刊《Nature》上发表的论文《Speech synthesis from neural decoding of spoken sentences》(《口语语句神经解码的语音合成》),让我们看到脑机接口领域的研究向前迈进了一大步。

语言障碍患者的困境

事实上,脑机接口的研究已经持续超过 40 年。但至今最成功、临床应用最普及的只有人工耳蜗等感觉修复技术。

至今,一些患有严重语言障碍的人,仍然只能使用辅助设备逐字逐句地表达他们的想法。

这些辅助设备能够跟踪非常细微的眼睛或面部肌肉运动,根据患者动作示意去拼写词句。

物理学家霍金,他的轮椅上就曾安装这样的设备。

霍金依靠语音合成器来「说话」,他曾使用过多套辅助交流系统

当时,霍金靠红外线检测到的肌肉运动来发出命令,确认电脑光标扫描过的字母,写下他想要的文字。之后,再利用文字转语音设备把话「说」出来。正是借助这些黑科技,我们才能够看到他的著作《时间简史》。

然而,用这样的设备产生文本或合成语音不仅费力,还易出错,而且合成速度非常慢,通常允许每分钟最多 10 个单词。霍金当时速度已经很快,但是也只能拼出 15-20 个单词。而自然语音每分钟能达到 100 到 150 个单词。

此外,这种方法还严重受限于操作者自身的肌体运动能力。

为解决这些难题,脑机接口领域一直在研究如何直接将脑皮层相应电信号解读成语音。

神经网络解读大脑信号合成语音

如今,这个难题迎来了突破性进展。

加州大学旧金山分校的神经外科教授 Edward Chang 与同事在此次发表的论文《口语语句神经解码的语音合成》中,提出其创建的脑机接口能将人讲话时产生的神经信号解码,并合成为语音。系统每分钟能够生成 150 单词,接近人类正常讲话语速。

论文第一作者 Gopala Anumanchipalli 拿着一组用于记录当前研究中的大脑活动的示例性颅内电极

该团队研究人员招募正在接受治疗的五名癫痫病人,让他们大声说出几百个句子,与此同时,将他们的高密度脑电图(ECoG)信号记录下来,并跟踪大脑的语音产生中心——腹侧感觉运动皮层区域的神经活动。

利用循环神经网络(RNN),研究人员分两步破译了采集到的神经信号。

第一步,他们将神经信号转换为表征发音器官动作的信号,包括下巴、喉、嘴唇和舌头动作相关的脑信号。

第二步,根据解码出来的发音器官动作,把信号转换为说出的词句。

脑机接口实现语音合成的步骤图示

在解码流程上,研究者首先将患者说话时,三个脑区域表层的连续电图信号解码,这些电图信号由侵入式电极记录。

解码后得到 33 种发音器官运动特征指标,随后将这些运动特征指标解码为 32 项语音参数(包括音高(pitch)、清浊(voicing)等),最终根据这些参数合成语音声波。

为分析合成语音对真实语音的重现准确度,研究人员将原始语音与合成语音的声波特征作了比较,发现神经网络解码的语音,相当完整地重现了患者所述原始语句中的单个音素,以及音素间的自然连接和停顿。

原始语音声波(上)与合成语音声波(下)对比

之后,研究人员以众包方式,让网友来辨认解码器合成的语音。最后结果是,倾听者复述合成语音内容的成功率接近 70%。

此外,研究人员还测试了解码器对于不出声说话的语音合成能力。测试者先说出一个句子,然后默念同一个句子(有动作,但不出声)。结果显示,解码器对默念动作合成的语音频谱与同一句子的有声频谱是相似的。

里程碑:挑战与期待并存

「这项研究首次表明,我们可以根据个人的大脑活动生成完整的口语句子,」Edward Chang 说,「这令人振奋。这是已经触手可及的技术,我们应该能够为语言功能丢失患者,构建具有临床可行性的设备。」

Edward Chang 博士的研究重点是言语、运动和人类情感的大脑机制

论文第一作者 Gopala Anumanchipalli 补充说:「我很自豪能够将神经科学,语言学和机器学习的专业知识,作为帮助神经残疾患者这一重要里程碑的一部分。」

当然,要真正地百分百实现语音合成的脑机接口语音交互,依然存在很多挑战,比如患者是否能接受侵入式手术安装电极、实验中的脑电波是否与真实患者的脑电波相同等等。

但是,从这项研究中,我们看到了语音合成脑机接口不再是一个概念。

期待未来某一天,语言障碍患者能够早日重获「说话」的能力,早日倾吐他们的心声。

点击阅读原文