通讯信号的破碎化在自然环境中是常态，例如，森林中目标物体经常被部分遮挡，动物的叫声经常被噪音遮蔽或打断。长期的进化与适应，使人和许多动物具有一定的补全残缺信号的能力。当连续的声音被另一个短暂而响亮的声音（如咳嗽声）掩盖时，我们的听觉系统会积极填充遮蔽部分，仍可将残缺信号感知为一个完整的听觉信号。这种感知修复形式称作听觉诱导（auditory induction）或非模态补整（amodal completion）。非模态补整已在几种动物中被证明，包括一些灵长类和鸣禽（Miller et al., 2001）。在繁殖季节，蛙类的求偶场中充斥着各种遮蔽鸣声信号的声源（同种其他个体鸣叫或异种鸣叫），雌性在选择鸣叫个体作为配偶的过程中面临挑战。目前，关于无尾两栖类听觉诱导的研究较为有限，尚无研究证明无尾两栖类的鸣声通讯具有非模态补整。野外观察发现，锯腿原指树蛙（Kurixalus odontotarsus）在自然条件下偶尔发出部分音节缺失的广告鸣叫（图1），可为探索非模态补整提供理想模型。 
　　当一边播放完整的5音节广告鸣叫，另一边播放第2个音节缺失的广告鸣叫时，约64%的雌蛙选择完整鸣叫（图3a）。当在缺失位置填上白噪音后，雌蛙的选择偏好没有发生改变（图3b），表明锯腿原指树蛙的鸣声通讯不具有非模态补整，即在缺失位置补上噪音无法使缺失鸣叫恢复为完整意义的鸣叫。 
　　在长期复杂的环境压力下，人和动物进化出整合多种感觉系统进行通讯的能力，即多模通讯（multimodal communication）。我们在交流时会使用声音、嘴型和手势等多模信号，人脑可以从面部表情以及嘴型获取视觉信息（“唇读”，lip-reading），这些视觉信息可以帮助我们识别说话内容。许多动物的求偶信号也包含多种感觉信息。蛙类鸣叫时伸缩的鸣囊与我们的嘴唇类似，鸣囊可以作为声音的放大器，也可以传递视觉信息（Starnberger et al., 2014）。 
　　视听多模信号的整合方式影响信号感知的结果，例如，麦克格效应（McGurk effect）表明说话时嘴型提供的视觉线索会影响我们的听觉认知（McGurk and MacDonald，1976）。当一种低吸引力的声音信号和一种低吸引力的视觉信号结合时，雌性泡蟾（Physalaemus pustulosus）会认为这是一种高吸引力的多模信号——“多感觉拯救假说”（the perceptual rescue hypothesis）（Taylor and Ryan，2013）。以往研究表明，蛙类的视听多模信号能增加雌性的工作记忆，利于雌性做出选择（Zhu et al., 2021）。那么，视听整合能否帮助雌蛙识别缺失鸣叫？ 
　　结果显示，尽管视觉鸣囊显著增加了缺失鸣叫的吸引力（图6c），但吸引力仍赶不上完整的广告鸣叫（图6d），结果不支持“多感觉拯救假说”。单纯的视觉鸣囊不能帮助雌蛙识别缺失鸣叫。而当在缺失位置同时呈现白噪音和视觉鸣囊时，缺失鸣叫与完整鸣叫的吸引力相当（图6e），这一结果支持“信号交互作用假说”（inter-signal interaction hypothesis）（Caldart et al., 2021）。 
　　研究还发现，当存在视觉信号时，雌蛙做出选择的时间更短。这将降低雌性在评估配偶过程中被捕食的风险，并暗示视觉线索能够比听觉线索提供更准确的位置信息。 
　　当存在视觉鸣囊时，被噪声遮蔽的缺失鸣叫的吸引力与完整鸣叫一样，表明视觉线索可以弥补声音通讯中的噪声干扰。这与人类在语音暂时被噪声掩盖时，可以通过“唇语”来增强语音识别类似。这种多感官信号交互作用可以帮助动物在噪音环境中识别鸣声信号。该研究对剖析动物视-听觉多模信号的功能、人类和动物非模态补整能力的进化有重要意义。 
　　该研究由中国科学院成都生物研究所动物行为与仿生项目组、海南师范大学与美国得克萨斯大学合作完成。相关研究成果以Multisensory integration facilitates perceptual restoration of an interrupted call in a species of frog为题，发表在Behavioral Ecology上。研究工作得到国家自然科学基金、四川省科技创新项目、中科院青年创新促进会和生态环境部“生物多样性调查与评估”项目的支持。 
　　论文链接 
　　图1.锯腿原指树蛙缺失鸣叫的波形图（上）和窄带语图（下） 
　　图2.三种鸣声刺激：完整5音节广告呼叫（a），第2个音节缺失的广告鸣叫（b），在第2个音节位置填充白噪音后的广告鸣叫（c）
　　图3.雌性的选择比例，左右两边为成对的实验刺激，中间为选择结果 
　　图4.无尾两栖类的鸣囊具有多模态特征（引自文献Starnberger et al., 2014） 
　　图5.视听多模信号回放实验场地示意图。两个视听播放装置与被试呈60°夹角，距离1米。视听播放装置可以单独呈现声音、视觉、声音+视觉刺激。用音箱播放雄蛙鸣声，用液晶显示器呈现视觉刺激（动态鸣囊）。 
　　图6.雌性选择比例，波形图代表声音信号，鸣囊膨大的树蛙代表视觉信号 
　　图7.雌性做出选择所需时间