Sceince子刊:利用AI+脑电波,锁定你想听的声音

新智元原创  

来源:Medium

编辑:鹏飞

  【新智元导读】哥伦比亚大学的工程师们宣布一项实验技术,该技术可模仿大脑检测和放大许多声音的天生能力。这种由大脑控制的助听器由人工智能驱动,可作为自动过滤器,监控佩戴者的脑电波并增强他们想要关注的声音。虽然仍处于早期开发阶段,但该技术是迈向更好助听器的重要一步,使佩戴者能够无缝,高效地与周围的人交谈。

  人类大脑具有非凡的能力,可以在嘈杂的环境中挑选出特定的声音。比如,在嘈杂的酒吧里留意中意对象的说话、在车水马龙的街道分辨身后来车等等。

  这在人类来说很轻松就能做到,可连最先进的助听器也无法实现。不过,哥伦比亚大学的工程师们正在改变这种情况。

  他们宣布已经实现一项技术,可以模仿大脑天生具备的检测并放大特定声音的能力,并开发出一款由大脑控制的助听器。

  助听器由 AI 驱动,可作为自动过滤器,监控佩戴者的脑电波并增强他们想要关注的声音,从而能够让佩戴者无缝并高效地与周围的人交流。

  论文发表在 Science Advances 上。据悉,一作 Cong Han 在杭州科技大学获得学士学位,在哥伦比亚大学获得硕士学位。

  鸡尾酒会难题

  哥伦比亚大学 Mortimer B. Zuckerman Mind Brain Behavior Institute 的主要研究员和该论文的资深作者 Nima Mesgarani 博士说,处理声音的大脑区域非常敏感,也非常强大,可以毫不费力的放大一个特定声音而不牵扯其他声音,今天的助听器却做不到。

  那么通过创造一种利用大脑本能的助听设备,有望使全球数亿听障人士能够像普通人一样轻松地进行交流。

  现代助听器在降噪方面已经做的非常出色了,但实现的过程却是通过提高特定种类的声音,使其盖过其它背景音。科学家称之为鸡尾酒会难题。

  想象一下,我们在一个嘈杂的鸡尾酒会,不仅每个人都在说话,大厅还放着 BGM。为了让身边的人听清楚你不得不提高嗓门说话,而旁边的人为了让你听清楚也不得不提高自己的音量。

  哥伦比亚工程公司电气工程副教授 Mesgarani 博士说:“助听器会立刻放大所有人的声音,你仍然无法将你的谈话对象和其他人区分出来”

  用脑电波来放大特定声音

  为什么会想到利用脑电波呢?Mesgarani 称他们发现两个人在交谈的时候,讲者的脑电波开始和听着趋同。

  于是该团队将语音分离算法与神经网络、以及模仿大脑自然计算能力的复杂数学模型相结合,开发了一款脑控助听器,使用脑电波来判断哪些声音应该被放大,哪些声音应该被抑制。

  具体实现方式如下:

  首先从一个组中分离出每个说话者的声音。设备自动将多个扬声器分离成单独的流,然后将每个扬声器与来自用户大脑的神经数据进行比对。一旦某人的声音模式与听者的脑电波匹配度最高,他的声音就会被放大。

  其实团队早在 2 年前就发布了这项技术的初代版本,但限于预训练数据集,效果刚开始不是很理想。比如一旦出现不在数据集的声音,比如来个路人问路,系统就凌乱了。

  好在哥伦比亚科技风险投资公司的资助下,团队对原始算法进行了改进,Mesgarani 博士、第一作者 Cong Han 和 James O’Sullivan 博士再次利用深度神经网络,构建了一个更加复杂的模型,从而能够识别任何人声,从而解决了上述问题。

  室内测试显示,效果还不错

  为了测试该算法的有效性,研究人员与 Northwell Health Institute for Neurology and Neurosurgery 的神经外科医生 Ashesh Dinesh Mehta 合作,找来志愿患者听取不同的讲者发言,研究人员利用植入患者大脑的电极直接监测他们的脑电波、

  当患者专注于一个扬声器时,系统会自动放大该声音。当他们的注意力转移到另一个扬声器时,音量水平发生变化以反映这种转变。

  接下里,研究人员希望不用植入大脑这种太过简单粗暴的方式,例如将其置于头皮外部或耳朵周围。

  目前为止只在室内环境中进行了测试,Mesgarani 博士说未来有望在室外环境也实现相同的效果。

  参考链接:

  https://medium.com/predict/can-our-minds-live-forever-29105faf2d80

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注