创新背景
人类的大脑不仅能很好地识别特定的声音,还能判断声音来自哪个方向。通过比较声音到达左耳和右耳的时间和强度差异,大脑可以估计出说话人的位置或汽车靠近的位置等信息。
当我们听到火车汽笛的声音时,声波到达我们左右耳的时间和强度会略有不同,这取决于声音来自哪个方向。中脑的某些部分专门比较这些细微的差异,以帮助估计声音来自哪个方向,这项任务也被称为定位。然而在现实环境中,由于环境会产生回声,我们会同时听到许多声音,因此这个任务就变得更加困难。
长期以来,科学家们一直试图建立计算机模型,使其能够进行与大脑定位声音相同的计算。这些模型有时在没有背景噪声的理想环境下工作得很好,但在有噪声和回声的现实环境中就行不通了。
创新过程
麻省理工学院的神经科学家开发出了一种神经网络模型,可以模拟人耳对声音位置的判断方法。该模型由几个卷积神经网络组成,它不仅能像人类一样完成任务,还产生了与人类十分相似的行为模式。这项研究成果发表在Nature Human Behavior杂志上。
训练模型
为了开发更复杂的定位模型,麻省理工学院的研究团队转向了卷积神经网络。这种计算机建模已经被广泛用于模拟人类的视觉系统, 在这项研究中,麻省理工的研究团队也开始将其应用于听觉。
卷积神经网络可以被设计成许多不同的架构,所以为了帮助他们找到最适合的架构,麻省理工学院的团队使用了一台超级计算机,让他们训练和测试大约1500种不同的模型,并从中确定了10个似乎最适合的基因。研究人员进一步培训了这些基因,并将其用于随后的所有研究。
为了训练模型,研究人员创建了一个虚拟世界,在这个虚拟世界中,他们可以控制房间的大小和房间墙壁的反射特性。所有提供给模型的声音都来自这些虚拟房间中的某个地方。训练中包含400多种训练声音,包括人的声音、动物的声音、机器的声音(如汽车引擎的声音)和自然的声音(如雷声)。
人的外耳或耳廓有许多反射声音的褶皱,会改变声音进入耳朵的频率,这些反射也会根据声音的来源而变化。因此研究人员为确保该模型收到的声音与人耳收到的声音保持一致,在将每个声音输入计算机模型之前,都通过一个专门的数学函数来模拟耳廓对声音的影响。
训练完模型后,研究人员在真实环境中对它们进行测试。他们在一个真实的房间里放置了一个耳朵上装有麦克风的人体模型,播放来自不同方向的声音,然后将这些录音输入模型。当被要求定位这些声音时,这些模型的表现与人类非常相似。
与人耳类似的模式
之后,研究人员对这些模型进行了一系列测试,科学家们过去曾用这些测试来研究人类的定位能力。
除了分析声音到达左右耳的时间差异外,人类大脑还根据到达每只耳朵的声音强度的差异来判断位置。先前的研究表明,这两种策略的成功与否取决于传入声音的频率。而在这项新的研究中,麻省理工学院的研究小组发现,这些模型对频率表现出与人耳同样的敏感性模式。
研究人员还表明,当他们增加定位任务的难度时,通过同时播放多个声源,计算机模型的表现下降的方式与人类在相同情况下的失败模式非常相似。
当添加越来越多的信息源时,人类准确判断现有信息源数量的能力以及对这些信息源进行定位的能力出现了一种特定的下降模式。人类似乎只能同时定位三个声音来源,当研究人员对模型进行相同的测试时,发现该模型与人类具有非常相似的行为模式。
因为研究人员使用虚拟世界来训练他们的模型,因此也能够探索模型在不同类型的非自然条件下学习定位时会发生什么。研究人员在不同的训练条件下分别进行了三次测试。第一次是在没有回声的虚拟世界中进行训练;第二次是在每次只听到一种声音的世界中训练;在第三次实验中,这些模型只能接触到频率范围较窄的声音,而无法接触到自然产生的声音。
实验发现,当非自然声音环境中训练的模型在同样的一系列行为测试中进行评估时,这些模型偏离了人类的行为,并且它们失败的方式取决于它们所训练的环境类型。研究人员认为,这些结果支持了人类大脑的定位能力与人类进化的环境相适应的观点。
下一步,研究团队尝试将这种类型的模型应用于听觉的其他方面,如音调感知和语音识别,并相信它也可以用于理解人类的其他认知现象。
创新关键点
研究团队利用卷积神经网络开发了一个能够模拟人脑对声音的定位的神经网络模型。经过实验证明,该模型不仅能像人类一样完成声音定位工作,还与人类具有十分相似的行为模式。同时,实验结果还支持了人类大脑的定位能力与人类进化的环境相适应的观点。
智能推荐
神经科学创新 | 动物天生的节拍同步创新研究
2022-11-15精确地随着音乐节拍移动被认为是人类与生俱来的技能,研究表明老鼠也有这种能力。
涉及学科涉及领域研究方向神经科学创新 | 在基因中创新引入神经保护蛋白可延缓ALS进展
2022-11-17加州大学圣地亚哥分校开发了一种新型基因治疗方法,在家族性渐冻症(ALS)的人化小鼠和大鼠模型中,明显推迟了疾病的发病时间。
涉及学科涉及领域研究方向神经科学创新思维 | 创新开发“集成神经光子学”实时绘制大脑回路
2022-10-17研究人员开发了新技术“集成神经光子学”,它使用微小的光学微芯片阵列,这些微芯片可以植入大脑内部的任何深度,与荧光分子报告器和光遗传学致动器相结合,分别对神经元进行光学监测并控制其活动。
涉及学科涉及领域研究方向创新利用数学方法发现食物特异性神经元
2022-08-29麻省理工学院的研究团队研究了人们观看各种图像时的全脑功能性核磁共振成像(fMRI)反应,并创新性地应用了一种数学方法,在FFA两侧的两个神经元簇中发现了一种能够对所有食物产生反应的神经元集群。研究人员将其称之为腹侧食物成分(VFC)。此外,研究团队还开发了一个VFC计算模型,避免了收集fMRI数据的麻烦,还能够用来分析更大的数据集。
涉及学科涉及领域研究方向