“这是一张有声音的gif“:我们为什么会给动图脑补配音?

科技工作者之家 2019-04-16

来源:科研圈


你一定在网络上看到过那种“有声音的 gif”,有些人甚至还能从闪光中“听“到声音。一项研究表明,这种体验可能是由于大脑视觉区域和听觉区域之间的联系抑制被解除而产生的。

20190416100324_c22ac0.jpg

图片来源:HappyToast/Twitter

撰文 City University London

翻译 祖玮佳

审校 戚译

一项由伦敦大学城市学院(City, University of London)的研究人员领导的新研究表明,人们之所以能“听见”无声的闪光或动图中的声音(例如网上流行的“有声动图”和表情包之类),这可能是因为大脑视觉和听觉区域之间信号传递抑制的减弱

这种现象又被称为“视觉诱发听觉反应”(visually-evoked auditory response,简称 vEAR),这项研究开拓性地对其进行了深入探索,分析它背后的大脑活动机制。

虽然有理论认为,大脑负责视觉和听觉的两个区域一般处于竞争状态,但这项研究表明,在报告 vEAR 体验的人群中,大脑的这两个区域或许实际上处于合作状态。

研究还发现,与普通人相比,参与研究的音乐家报告 vEAR 的概率要高得多。这可能是因为他们受过的音乐训练改善了他们的注意力,让他们能够同时关注乐队的声音和指挥或其他音乐家的动作。

该研究的首席研究员、伦敦大学心理学高级讲师艾略特·弗里曼博士(Dr Elliot Freeman)说:“我们已经知道有些人能‘听’到他们看到的东西。汽车指示灯、商店闪烁的霓虹灯招牌和人们走路时的动作都可能触发听觉体验。”

20190416100324_c77d0a.jpg

一些人还能在闪光中“听“见声音。图片来源:Pixabay

“我们最新的研究揭示了大脑视觉和听觉相互作用的个体差异。我们发现,报告 vEAR 的人在看到无声动作时可以同时调动视觉和听觉两种感官,也就是能在看到画面同时‘听’到声音;而其他人在观看这种画面时听力会受到抑制。”

一些神经科学家认为 vEAR 可能是一种联觉,类似的案例还有通过音乐、字母或数字感知到颜色。不过,vEAR 似乎是最普遍的,报告有过 vEAR 经历的人多达 20%,而其他类型的联觉报告者只有 4.4%。

最近网上流传很广的“跳跃的电缆塔”和其他描述无声运动的“嘈杂动图”,使得 vEAR 获得了更多的关注。这些动图会唤起一些人非常生动的视觉听觉感受。

为了了解人们在观看这些内容时的大脑活动,研究人员利用一种叫做经颅交流电刺激(transcranial Alternating Current Stimulation,tACS)的技术,在受试者的头皮上施加微弱的交流电流,以了解经历或未经历 vEAR 的人大脑的视觉和听觉区域之间是如何相互作用的。

这项研究的第一个实验包括 36 名健康的被试,其中包括来自伦敦皇家音乐学院(London Royal College of Music)的 16 名古典音乐家。所有参与者都观看了听觉和视觉的“莫尔斯电码”序列,同时研究人员对他们的脑后(大脑的视觉区域)或两侧(听觉区域)用 α 频率进行经颅交流电刺激(tACS)。然后,根据是否报告“听”闪光的声音,参与者被分为 vEAR 和非 vEAR 两组。

研究人员发现,在非 vEAR 组被试中,对听觉区域的 α 频率电刺激显著降低了听觉表现,但改善了视觉表现;而对视觉区域进行同样频率的电刺激则导致了相反结果,视觉表现降低,听觉表现变好。

这种“此消彼长”的模式提示,大脑的视觉和听觉区域之间可能存在竞争性的相互作用,通常会互相抑制对方的表现。

但是,在 vEAR 组被试的大脑中,这些竞争性的相互作用明显缺失,这表明他们大脑的听觉和视觉区域之间不是相互竞争,而是相互合作。

20190416100324_c9c24f.jpg

We ~ will ~ we ~ will ~ ROCK YOU!! 图片来源:giphy.com

第二个实验的目的是观察非 vEAR 组的被试是否有时候也会利用大脑的听觉区域做出纯粹的视觉判断。研究发现,对有些人来说可能确实是这样——作用在大脑听觉区域的刺激对视觉判断准确性的影响,几乎与作用在视觉区域的刺激一样大。

综上所述,这些实验的结果支持一种流行的理论,即某些联觉现象可能依赖于一种去抑制。大脑的不同感觉区域之间原本就存在着一些神经交叉连接,它们通常是不活跃的;当这些交叉连接被去抑制(即抑制消失)时,人们就可能有意识地感受到 vEAR 或其他联觉现象。

弗里曼博士说:“我们同时还发现了一件有趣的事情——一般来说,vEAR 组被试在视觉和听觉任务上的表现都比非 vEAR 组要好。也许他们的视听合作有利于这些表现,因为大脑的更多区域参与了对视觉刺激的处理。”

“这种大脑视听区域的合作也可能有利于音乐表演,这能解释为什么我们测试的许多音乐家都报告说有 vEAR 经历。”

来源:keyanquan 科研圈

原文链接:http://mp.weixin.qq.com/s?__biz=MzA5NDkzNjIwMg==&mid=2651679634&idx=2&sn=77dcf375d6ae919d3f65e704dd564b08&chksm=8bbec677bcc94f619d03cc7630b23c5e1309e6c1e4a60d924a28cebed4a820d8f175aa0e667a&scene=27#wechat_redirect

版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

电话:(010)86409582

邮箱:kejie@scimall.org.cn

听力 听觉神经

推荐资讯