新世纪娱乐

第一次,脑机接口可以实时读取人类语言了

昌吉在线2011.7.11我想分享

不久之后,我们可以通过思考来键入和聊天并向计算机发送指令。今天,Facebook和加州大学旧金山分校(UCSF)已经发布了脑机接口研究的最新进展,他们的论文发表在最新一期的Nature Journal《Nature Communications》上。

“我们今天分享的新作品是关于构建非侵入式可穿戴设备,让人们可以通过想象他们所说的内容进行打字,”Facebook副总裁安德鲁博斯沃思说。 “这一发展展示了未来AR耳机输入和交互功能的新潜力。”

这项研究证明,大脑在对话过程中产生的活动可以实时解码到计算机屏幕上的文本中 - 在离线完成这项工作之前,实时“翻译”文本是在脑机领域界面研究。第一次。研究人员表示,到目前为止,他们的算法只识别了少量的单词和短语,但正在进行翻译更多单词并显着降低识别错误率的工作。

image.php?url=0MnOa3RcIF

该研究的主要作者是加州大学旧金山分校副教授Edward F. Chang和他的博士后David A. Moses。

新研究显示的可能性可能离我们很远,Facebook在官方博客文章中说:“这可能还需要十年.但我们认为我们可以缩小这一差距。”

Facebook和UCSF的研究致力于通过实时检测大脑活动中的预期语音,帮助神经损伤患者像正常人一样进行沟通。有趣的是,与许多检测脑神经电流的方法不同,Facebook和UCSF正在探索通过使用脉搏血氧仪检测神经元中的氧消耗来检测大脑活动的策略。这种间接的,非侵入性的方法似乎更安全。

2017年,Facebook Reality Lab脑机接口项目研究主任Mark Chevillet花了两年时间展示了使用非侵入性技术从人脑中每分钟读取100个单词的可行性。

两年过去了,结果出来了:“这些承诺仍然存在,”Chevillet说。 “我们确实认为这是可行的。”他计划继续这项计划。该团队的最终目标是开发一种可以在不大声说话的情况下进行控制的AR耳机。

其中一位作者,旧金山加利福尼亚大学的神经外科医生Edward Chang说,这一结果是神经植入物的重要一步,它可以帮助人们恢复正常的通讯,因为中风,脊髓损伤和其他语言能力丧失的能力。今年4月,Chang的团队创建了一个不同的脑机接口,可以直接从大脑信号中解码语音。

提高解码精度的法宝:添加上下文

这项工作的目标是提高解码大脑活动的准确性。研究人员表示,他们正在从大脑的两个不同部分解码两种信息,并将它们用作上下文,结果对解码的准确性产生了相当大的影响。

解码精度的提高基于一个简单的概念:添加上下文。使用植入三名癫痫患者大脑的电极,研究人员记录了大脑活动,同时听取了一系列录音问题,并要求他们说出他们听到的话。

然后,他们使用这些大脑数据来训练机器学习算法。然后,当再次要求参与者回答问题时,算法仅使用大脑活动来确定参与者是在听还是说,然后尝试解码语音。

大多数语音解码器通过猜测人们想说什么来工作,因此常规脑解码器可能会被合成器和肥料等词混淆。

但是本文中提到的新系统添加了上下文来区分这些令人困惑的内容。首先,该算法可以预测从一系列已知问题中听到的问题,例如“你在现场分散了什么?”然后使用这些信息作为背景来帮助预测答案:“肥料”。

image.php?url=0MnOa3IuID

问(蓝色)A(红色)任务实时语音解码原理图。

Chang说,通过添加上下文,脑机接口可以更容易地预测答案。通过一组有限的特定问题和答案,该系统能够解码感知(听觉)和生成(口语)语音,准确率分别为76%和61%。但该团队希望在未来扩大系统的词汇量。

他还说算法越好,计算机越快,解码速度越快。过去需要数周甚至数月才能离线处理的内容现在可以实时完成。

Facebook与不同的脑机接口路线

Facebook低调发布了大脑 - 计算机界面的新突破,与Musk公司高调宣布其脑机接口公司Neuralink的最新进展形成鲜明对比。

image.php?url=0MnOa3h0eQ

神经网络发布的脑机接口“缝纫机”。

与Musk的侵入式脑机接口不同,Facebook希望创建一个AR耳机,使用红外线接收来自外部的大脑信号(请参阅Facebook博客了解技术细节),而Neuralink正在开发包括3000个灵活的植入式阵列电极,以增强大脑功能。

这两种不同的开发模型似乎表明两家公司竞相能够提供第一个可以解码大脑活动的商业脑机接口。但是,实现这一目标可能是一个缓慢的发展过程,无法在一夜之间实现。

Chevillet说:“因为这项技术还处于研究的早期阶段,我们没有任何实际的产品计划。”

同时,张希望为那些不能尽快发言的患者带来有意义的改变。截至目前,团队的所有工作都是由可以发言的志愿者完成的。因此,该团队将花费一年时间研究缺乏语言能力的单个研究参与者,以在计算机屏幕上生成相关文本。

所有数据将由加州大学旧金山分校收集,并存储在学校的服务器上,严格保密。与此同时,与Facebook合作获得的所有研究成果将发布并向学术界开放。 Chang强调:“我希望这不仅有利于我们正在进行的研究,也有利于整个领域。”

中国教授团队

这项研究的大部分工作都是在加州大学旧金山分校完成的,加利福尼亚大学旧金山分校的华裔美国科学家Edward F. Chang的团队多年来因为脑机接口研究而闻名。今年4月,该团队使用人工智能识别脑电信号并将其作为合成语音输出到《自然》杂志上。

image.php?url=0MnOa3rqmw

Edward Chang教授。

Edward Chang是旧金山加利福尼亚大学神经外科和生理学副教授。他的研究重点是人类语言,运动和认知中的大脑活动机制。他还是加州大学伯克利分校和旧金山加州大学神经工程和假肢中心的联合主任。

今天发表的这项研究结果是加利福尼亚大学旧金山分校大型研究项目Steno项目的一部分。据报道,Steno项目的最后阶段将涉及一项为期一年的研究,以确定人类是否可以利用大脑活动来恢复残疾人的沟通技巧。除了提供资金外,还有一小部分Facebook研究人员正在与Chang和他的实验室直接合作,提供工程支持。

增强现实技术的愿景是无缝连接人,人和世界,这样我们就可以在不将注意力转移到手机屏幕的情况下进行通信。这将是一种未来主义的方式。不久之后,实时阅读大脑短信的技术可能出现在我们的生活中。

参考内容:

收集报告投诉