科学家研发出大脑即时语言解码器

  • 日期:08-03
  • 点击:(709)




  科学期刊《自然》(Nature)在本周刊出了一篇《利用人类皮质活动即时解码问答对话》(Real-time decoding of question-and-answer speech dialogue using human cortical activity)的研究报告,科学家们创建了一个语言解码时,可即时理解人脑的想法,虽然目前准确率尚不高,但离以人脑接口控制AR/VR设备又近了一步。

  

  这是加州大学旧金山分校(UCSF)的几名科学家正在进行的研究,带头的是该校知名的神经外科医生Edward Chang,且是由脸书的Reality实验室(Reality Labs)所赞助。

  该研究招募了几位接受癫痫手术的志愿者,于他们的脑海中植入皮层脑电图(ECoG)数组,借以观察其脑波活动,科学家在志愿者聆听预先设计的题目并大声说出答案时,记录他们的脑波活动,再以这些数据来训练机器学习算法,于是,当再度询问这些问题时,语言解码器就能即时预测脑波所要表达的并给出答案。

  不过,现在语言解码器预测用户听到跟说出的准确度分别只有76%与61%。这群研究人员的目标是在一个以1,000字词汇训练的解码器中,能够以每分钟100个字的速度进行解码,且错误率低于17%。

  脸书则说,UCSF团队该研究的最大贡献在于,能够“即时”自脑波活动解码出人们所要表达的文本或句子的一部分,并把它们展示在计算机屏幕上。过去这些解码的任务都是脱机进行。

  脸书对该研究不仅投入了资金,也提供输入与工程上的支持,虽然相关研究的最终目标,是希望协助脑部因受到严重损害而失语的人士,能够借由新兴的脑机接口(BCI)重新打开与旁人交流的能力,但脸书的短期目标,则是将它应用在AR/VR上,且采用非侵入式途径。

  因此,除了支持UCSF的研究之外,脸书也在探索其它的BCI方法,例如以红外线探测大脑内氧气水平的变化,以间接测量大脑活动,虽然该系统目前依然笨重、缓慢且不可靠,但脸书认为它潜力很大,虽然它可能永远无法解码想象的句子,但将可识别少数的指令,像是“家”、“选择”或“删除”等,有望替现代的VR系统与未来的AR眼镜带来全新的交互方式。