研究发现,很少有人在工作中使用语音助手,因为人们不喜欢在别人面前大声说出他们想要发表的内容。但如果能直接从大脑打字,就可以快速地将思想转化为文本,而不需要说出来。而且,最近的研究发现告诉了我们,这不只是科幻小说中出现的情节,大脑有信号,我们可以利用它。
在近日,加州大学旧金山分校(UCSF)和Facebook在Nature Commuications上发表了一项研究:他们在非侵入式的脑机接口设备上取得了最新进展,构建出了一个大脑-计算机系统,能准确解码佩戴设备的人听到和说出词语和对话,实时从大脑信号中解码。
Facebook研发非侵入式的脑机接口设备,意念打字成为现实
也就是说,这项研究表明,在脑机接口面前,人类的所思所想已无处遁形,Facebook已经让“意念打字”成为了现实。
研究人员表示,目前对生成和感知的两部分语言进行解码,准确率超出了他们的想象,分别能达到61%和76%的准确率。这项项目对于正常人和残疾人来说,都具有实用意义。这是向神经植入物迈出的重要一步,因为中风,脊髓损伤或其他疾病而失去说话能力的患者,有望因此获得自然交流的能力 。
“意念打字”如何实现
这项成果来自Facebook Reality Labs,一直与加州大学旧金山分校合作开展这项脑机接口的研究。
Facebook的设想是,设计一种可以将大脑信号转换成语言的装置,不需要劳动任何一块肌肉,深度学习就能直接读懂大脑,解码脑中所想,实现流畅交流。
为了进行试验,研究人员此前还招募了五名在医院接受癫痫治疗的志愿者。他们先是从高密度皮层活动中提取相关信号特征。志愿者们说了上百句话,而通过植入性大脑皮层电图(ECoG),研究人员可以跟踪控制语言和发音的大脑区域的活动,并将这些活动与志愿者说话时嘴唇、舌头、喉部和下颚的微妙运动联系起来,然后将这些运动学特征翻译成口语句子。
两个神经网络训练数据比对
研究人员采用bLSTM循环神经网络来破译ECoG信号表达的运动学表征。接着用另外一个bLSTM解码先前破译的运动学特征中的声学特征。在这个过程中,两个神经网络都会被投喂训练数据,以提高它们的解码性能。利用这样的方法,Facebook已经实现了以每分钟150词的速度帮你说出所思所想。
清华大学的脑机接口实验
据悉,此前此前清华大学也做过类似概念的研究,头戴一个小巧的脑电帽,脑电帽读取视觉中枢脑电波的细微变化,而计算机里的算法接收到这些信息,就能计算出它对应的闪烁频率,实现“脑控输入法”,控制屏幕软键盘上的26个字母就能打出任何语句。不过脑电帽采集到的信号,复杂度低,区分微弱,电压也只有10-100微伏(μv,相当于10-6V)。