哥伦比亚大学的工程师实现脑信号转换为语言

广问AI新闻资讯  哥伦比亚大学神经工程师创造了一个系统，将思想转化为可理解的、可识别的语音。通过监控某人的大脑活动，该技术可以以前所未有的清晰度重建一个人能听到的单词。这一突破利用了语音合成器和人工智能的强大功能，可以为计算机直接与大脑通信提供新的途径。它还为帮助不能说话的人（例如那些生活在肌萎缩侧索硬化症或从中风中恢复过来的人）重新获得与外界沟通的能力奠定了基础。

广问AI新闻资讯：哥伦比亚大学的工程师实现脑信号转换为语言_腾讯视频

数十年的研究表明，当人们说话，或者甚至想象说话时，他们的大脑就会出现明显的活动模式。当我们倾听某人说话或想象聆听时，也会出现明显（但可识别）的信号模式。专家们试图记录和解码这些模式，可以看到未来思维不需要隐藏在大脑内部，而是可以随意翻译成口头语言。

广问AI

但实现这一壮举已经证明具有挑战性。Mesgarani博士及其他人早期解决脑部信号的工作主要集中在分析频谱图的简单计算机模型上，这些频谱图是声音频率的视觉表示。但由于这种方法未能产生任何类似于可理解语音的东西，Mesgarani博士的团队转而使用声码器，这是一种计算机算法，可以在人们说话的录音训练后合成语音。

广问AI

“这与亚马逊Echo和Apple Siri用来对我们的问题作出语音回应的技术相同，”Mesgarani博士说，他也是哥伦比亚大学福建基金会工程与应用科学学院电气工程副教授。

为了可以让声码器解释大脑活动，Mesgarani博士与Northwell Health Physician Partners神经科学研究所的神经外科医生Ashesh Dinesh Mehta合作。Mehta博士负责治疗癫痫患者，其中一些人必须接受定期手术。“与Mehta博士合作，我们询问已经接受脑部手术的癫痫患者，听取不同人说的句子，同时我们测量了大脑活动的模式，”Mesgarani博士说。“这些神经模式训练了声码器。”接下来，研究人员要求那些患者听到讲述0到9之间数字的发言者，同时记录可以通过声码器运行的大脑信号。声码器响应这些信号所产生的声音被神经网络分析和清理，神经网络是一种模仿生物大脑中神经元结构的人工智能。