科技工作者之家
科界APP是专注科技人才，知识分享与人才交流的服务平台。
来源：两江科技评论
原标题：Nature子刊：超越Facebook，脑电AI解码器将脑电信号翻译成句子，准确率达97％！
加州大学旧金山分校的华裔教授Edward Chang利用人工智能算法将脑电信号翻译成句子，准确率达到97%，远超去年Facebook报道的76%。
3 月 30 日，Nature子刊《Nature Neuroscience》发表了该研究，引发广泛关注。
3月30日，Nature Neuroscience刊登：脑电波 AI 解码器将脑电翻译成句子
目前基于脑机接口的意念打字技术，多依赖视觉诱发或肌电运动想象等非语言活动，目前每分钟输出数十个单词，但与自然语言交流时每分钟150个单词的平均速度相比，还是太慢了。
这项研究中，研究人员采用了直接识别脑电信号语义方式，使用人工智能的机器学习模型将大脑活动直接与句子联系起来。
加州大学旧金山分校Edward Chang教授
Edward Chang教授的研究方向集中在语言、动作和人类情感的大脑机制上。他也是加州大学旧金山分校和加州大学伯克利分校联合创办的神经工程与假肢中心主任，开发最先进的生物医学技术，为瘫痪和语言障碍等神经障碍患者恢复功能。他还是一名神经外科医生，治疗癫痫、脑瘤和运动障碍等。成果包括先进的大脑绘图方法，保护大脑中语言和运动功能的关键区域，在刺激特定神经和植入式设备方面也有丰富的经验。实验在四名癫痫患者身上进行，因需监测癫痫发作这些患者脑部被植入电极。在这项研究中，参加者大声朗读了50个简单的句子，用脑电电极记录了他们的神经活动。
这些句子包括：“蒂娜特纳是流行歌手”、“绿洲是海市蜃楼”、“蛋糕的一部分被狗吃掉了”、“这个人是怎么被卡在树上的”、“梯子是用来救人的”、“猫和男人”等。
随后，研究人员将脑信号输入计算机，机器发现朗读时出现的神经特征，并利用递归神经网络技术将这些神经特征解码为句子，能识别单个单词组成的全新句子。
本次研究的脑电解码过程。图源：论文原文
文章通讯作者马金博士表示：“这些有特征性的大脑信号可能与语音的重复规律有关，例如元音、辅音或对口部的命令。”
可以将这类控件与虚拟键盘结合使用来产生文本，对语音进行解码，但到目前为止，在孤立声音、单音节或中等词汇量（约100个单词）的连续语音情况下，正确解码的单词约40%。
在这项研究中，他们试图一次解码一个句子，因此实际上两个任务都映射到同一输出，即与一个句子对应的单词序列，两个任务的输入分别是神经信号和文本。
人工智能可以识别大脑中的语音模式。图源：盖蒂
他们还发现，大脑中对语音解码起重要作用的区域也参与语音产生和语音感知。
去年，Edward Chang 团队还在《Nature Communications》发表了一种可以将脑活动转化为语音的解码器。
2019年7月，Nature Communications刊登了Edward Chang团队的文章
通过解码与人类下颌、喉头、嘴唇和舌头动作相关的脑信号，合成出受试者想要表达的语音。研究人员设计了一种循环神经网络（RNN），将记录的神经信号转化为声道咬合运动，然后转化为口语句子。
马金博士说：“这种方法从一个病人的神经活动中解码语音句子，其错误率与专业水平的语音转录相似”。这表明，这种方法可能适用于所有人。
还需要进一步的研究来证明这种方式的潜力，并在有限的语言外增加解码能力。
文献链接：
https://www.nature.com/articles/s41593-020-0608-8
来源：imeta-center 两江科技评论
原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NDgwMjI0MQ==&mid=2247490939&idx=2&sn=7c73ba0c1156af840bcd3cb6fc179924&chksm=fb77c9d5cc0040c34d9d9ba89dadf3286c305b59dabcbae5b76d074eff077b8eb1d430c41117#rd
版权声明：除非特别注明，本站所载内容来源于互联网、微信公众号等公开渠道，不代表本站观点，仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有，如有侵权，请联系删除。
电话：（010）86409582
邮箱：kejie@scimall.org.cn
微信
科技工作者之家
京公网安备11010202008424号
