多感觉模态信息处理的认知神经基础

董晨杰, 王政烨, 李淦棠, 王穗苹

董晨杰, 王政烨, 李淦棠, 王穗苹. 多感觉模态信息处理的认知神经基础[J]. 华南师范大学学报(社会科学版), 2025, (1): 90-105.
引用本文: 董晨杰, 王政烨, 李淦棠, 王穗苹. 多感觉模态信息处理的认知神经基础[J]. 华南师范大学学报(社会科学版), 2025, (1): 90-105.
DONG Chenjie, WANG Zhengye, LI Gantang, WANG Suiping. The Neurocognitive Basis of Multisensory Processing[J]. Journal of South China normal University (Social Science Edition), 2025, (1): 90-105.
Citation: DONG Chenjie, WANG Zhengye, LI Gantang, WANG Suiping. The Neurocognitive Basis of Multisensory Processing[J]. Journal of South China normal University (Social Science Edition), 2025, (1): 90-105.

多感觉模态信息处理的认知神经基础

基金项目: 

广东省重点领域研发计划项目“语言加工中多模态整合的脑机制及其应用” 2023B0303010004

国家自然科学基金面上项目“听觉障碍与跨模态大脑皮层重组: 机制与预后” 32171051

详细信息
    通讯作者:

    王穗苹,Email: wangsuiping@m.scnu.edu.cn

  • 中图分类号: B842

The Neurocognitive Basis of Multisensory Processing

  • 摘要:

    多感觉模态信息处理是人类基本的心智功能,是漫长进化塑造而成的稳健、灵活、高效的信息加工方式,是贯穿感知、注意、记忆、语言、学习的重要特性。解析人脑多模态信息处理的认知神经和计算机制,对理解大脑功能组织原则有重要理论意义,对启发多模态人工智能发展有重要实践价值。然而,人脑的多模态信息处理机制异常复杂,来自神经科学、认知科学等领域的研究者从多种问题视角开展研究,分别提出了不同的多模态信息处理原则、理论、计算模型。系统回顾、梳理人脑多模态信息处理机制,对于准确把握该领域的前沿进展、启发后续研究非常关键。以“视听感知”这一重要多模态信息处理功能为切入点,在神经元、皮层、大脑通路等层面综述了人脑多模态信息处理的认知神经机制。首先,介绍了人脑多感觉神经元的功能特性和响应原则;其次,讨论了初级皮层间跨模态信息调制的关键机制;再次,分析了以多感觉脑区为核心的视听加工大脑网络的主要功能和计算机制;最后,讨论了人脑多模态信息处理机制对多模态人工智能系统开发的启示。

    Abstract:

    Multisensory processing is a fundamental cognitive function that underlies perception, attention, memory, language, and learning. Understanding the neurocognitive mechanisms of this function is of great theoretical and practical significance for understanding the principles of the human mind and for guiding the development of multisensory artificial intelligence. However, the mechanisms of multisensory information processing are extremely complex, and systematic review is essential for accurately understanding the cutting-edge progress in this field and inspiring future research. In this review paper, we first introduced the functional characteristics and response principles of multisensory neurons in the brain. Then, we discussed the mechanisms of cross-modal modulation between primary cortical areas. After that, we focused on the functions and computational mechanisms of multisensory areas and hierarchical multisensory brain networks. Lately, we discussed how studying human multisensory processing can inform the development of multisensory artificial intelligence.

  • 语言是人类最重要的交流工具。随着社会发展,越来越多的人掌握了两种或多种语言。大量存在的双语学习和使用人群已成为推动双语学习加工研究的强大现实动力。目前,心理学家和认知神经科学家使用认知行为和认知神经科学技术,对母语和第二语言加工的认知神经机制进行了大量的探究[1-7]。这些研究以双语者或第二语言学习者为被试,从认知神经机制角度探讨了双语加工和学习的关键问题:母语和第二语言的神经表征、母语和第二语言之间的语言转换(Language switch)机制以及双语学习对其他认知功能的影响。其中,一个最核心的研究问题是第二语言表征如何通过学习获得。已有研究发现,随着第二语言学习经验的增加,语言加工相关脑区的激活变强,而非语言加工相关脑区激活减弱[8-9];同时,第二语言的加工网络与母语加工网络也越来越相似[10-13]。尽管学界对第二语言的学习和加工本身的认知神经机制研究较为充分,但对母语和第二语言之间相互作用的探讨认识相对有限。对于双语者而言,一个大脑需要加工和处理母语与第二语言,那么两者之间势必会相互作用。一方面,第二语言学习通常以母语的学习经验为基础,因此前者的认知神经机制很可能会受到后者的影响;另一方面,经过学习而不断积累的第二语言加工策略也会反作用于母语加工,进而对其认知神经机制产生影响。换句话说,第二语言是在母语和第二语言不断相互作用中习得的。因此,探讨母语和第二语言相互作用机制及影响因素能补充已有关于第二语言学习研究的发现,有助于全面理解第二语言学习的认知神经机制,为人们理解学习与脑可塑性的关系提供一个新的窗口。

    近年来,随着认知神经科学技术(如fMRI、PET、ERP、MEG)在语言心理学领域的广泛应用,研究者已在母语加工与第二语言学习的相互作用机制方面进行了一些尝试性探索。这些研究主要关心三个问题:其一,母语经验如何影响第二语言学习和加工的认知神经机制;其二,第二语言学习如何影响母语加工的认知神经机制;其三,母语和第二语言相互作用的影响因素。据此,本文将从母语经验对第二语言认知神经机制的影响、第二语言对母语认知神经机制的影响、母语与第二语言相互作用的影响因素三个方面对已有研究进行总结,并在此基础上提出未来研究的展望。

    母语经验对第二语言学习和加工的认知神经机制的影响是母语和第二语言相互作用研究的重要问题。对于大多数第二语言学习者而言,第二语言是在掌握母语之后习得的。因而,已有的母语经验可能会影响第二语言的学习与加工。针对该问题,已有研究采用双语研究范式和人工语言训练范式,探讨母语经验对第二语言学习和加工的认知神经机制的塑造作用及其随第二语言学习而动态变化的过程。

    在认知行为研究方面,研究者采用双语研究范式,比较了母语不同而第二语言相同的双语者第二语言加工的异同,进而考察母语经验对第二语言的学习和加工认知机制的影响[14-19]。例如,一项早期的研究比较了母语分别为汉语和韩语的双语者在完成英语词汇阅读任务时的差异。结果发现,韩语-英语双语者处理音似词的错误率较高,而汉语-英语双语者处理形似词的难度更大[19]。该结果提示,两类双语者的母语加工策略(汉语加工更注重字形信息,而英语加工更偏重语音信息)会迁移到第二语言的学习和加工中。与此类似,董洁等人以维吾尔语-汉语-英语三语者为被试,探究不同正字法距离对跨语言神经模式相似性的影响。结果发现,在单词命名任务中,被试对与母语正字法相似性更高的非母语单词反应更快[3]。在语音学习和加工时发现,双语者会将母语的形音对应规则使用到第二语言语音学习和加工中[16, 20]。巴塞蒂(Bassetti)通过比较英语母语者和意大利语-英语双语者阅读词汇的时长发现,英语母语者阅读单辅音字母和双辅音字母的时长没有差异,而意大利语-英语双语者由于受到意大利语拼读经验的影响,其双辅音字母的阅读时长显著长于单辅音字母[16]。研究者还发现,母语经验会影响第二语言的学习效率[20-23]。例如,梅磊磊等人训练汉语母语者和英语母语者分别以图形文字方式(整字与读音的联系)和拼音文字方式(先学习字母读音,然后利用字母读音拼读获取整字读音)学习同一门人工语言。结果发现,与汉语母语者相比,英语母语者由于具有长期的拼音文字学习经验,因而在拼音文字的学习上表现出优势。这些认知行为研究说明,第二语言学习者会将母语加工的认知策略应用到第二语言的学习和加工中,并对第二语言学习的效率产生影响[20]

    在认知行为研究的基础上,脑成像研究通过母语者和第二语言学习者的对比进一步刻画了母语经验对第二语言学习和加工神经机制的塑造作用[10, 15, 24-28]。中田(Nakada)等人率先比较了两组不同双语者母语和第二语言加工的神经活动,探讨不同的母语经验对第二语言加工的影响。结果发现,日语被试和英语被试在加工其母语时脑活动模式存在差异[29]。但是,无论是日语-英语双语者还是英语-日语双语者,他们在加工第二语言时的大脑激活模式都与加工母语时非常相似。该结果得到了汉语-英语双语者研究的支持。通过汉语-英语双语者与英语母语者语言加工神经机制的对比,研究者发现英语母语者在阅读英文时显著激活了左侧额下回、左侧颞顶皮层和左侧梭状回[24, 27-28],而汉语-英语双语者在加工英文时显著激活了左侧额中回区域和双侧梭状回[28],表现出与汉语阅读类似的激活模式[27, 30-31]。以汉语-英语双语者为被试发现的母语经验的作用在其他双语者群体上也得到了验证。例如,一项脑成像研究比较了韩语-英语双语者和汉语-英语双语者的母语与第二语言加工的神经机制差异,发现韩语-英语双语者和汉语-英语双语者在加工第二语言时的神经激活模式与其母语单语者加工母语时的神经激活模式相似[25]。与此类似,孙馨等人比较了汉语-英语双语者、西班牙语-英语双语者和英语单语者在英语字形加工时的大脑活动[15]。结果发现,汉语-英语双语者和西班牙语-英语双语者由于母语经验不同,在加工英语的词缀和派生词时在全脑引起了广泛的激活差异。这些结果为母语经验塑造第二语言加工的神经机制提供了直接的实验证据。

    上述研究采用双语范式,通过静态比较发现了母语经验对第二语言加工的认知神经机制的塑造作用,但这些静态比较的研究无法揭示这种塑造作用如何随第二语言学习而变化。为了刻画第二语言学习过程中母语经验影响第二语言学习的神经机制的动态变化过程,研究者进一步比较了不同第二语言学习阶段的双语者语言加工的神经机制。例如,曹凡等人选取了汉语-英语双语者(分为英语水平高和低两组)、汉语母语者和英语母语者为被试,要求汉语-英语双语者完成英文韵律判断任务,汉语母语者完成中文韵律任务,英语母语者完成英文韵律任务。通过脑激活比较发现,双语者英语加工诱发的脑激活模式与汉语母语者中文加工诱发的脑激活模式相似。进一步分析发现,随着英语水平的提高,双语者在阅读英语时会征用更多的中文神经网络(左侧额中回、右侧顶下回和楔前叶),同时会更少使用英文神经网络(左侧额下回和左侧颞下回)[12]。该结果说明,在第二语言学习过程中,母语经验对第二语言加工神经机制的塑造作用会逐渐增强。该结果进一步得到了人工语言训练研究的支持。梅磊磊等人采用人工语言学习范式和因素设计,并结合fMRI技术,探讨了第二语言学习过程中母语经验对语音提取(Addressed phonology)学习和语音拼读(Assembled phonology)学习神经机制的影响。该研究要求汉语母语者和英语母语者分别以图形文字(语音提取)或拼音文字(语音拼读)的方式学习同一门人工语言。结果发现,汉语母语者和英语母语者分别诱发了语音提取和语音拼读相关脑区的更强激活,反映了两组被试从母语加工策略向第二语言学习的迁移[20]。上述结果表明,母语经验会塑造第二语言学习的神经机制,这一塑造作用是在第二语言学习过程中逐渐实现的。

    双加工模型(Dual-process model)可以解释母语经验对第二语言加工机制的影响[32]。该模型第二语言学习包含同化(Assimilation)和顺应(Accommodation)两种加工过程。同化假设认为,人脑倾向于使用母语的认知加工策略和神经策略学习并加工第二语言[2, 12, 28, 33]。而顺应假设认为,当同化加工无法处理新语言的独特特征时,人脑会征用新的资源进行处理[12, 33-37]。双加工模型为母语经验对第二语言学习和加工认知神经机制的塑造作用提供了很好的理论解释,即母语经验对第二语言的影响主要是通过同化加工实现的。

    综上可知,母语经验会影响第二语言学习和加工的认知神经机制。具体而言,在认知机制上,母语经验会影响第二语言在字形、语音等多个层面的加工,并且在不同语言的双语者被试上有较为一致的发现;在神经机制上,母语经验会塑造第二语言学习和加工的神经机制,该塑造作用主要表现为同化加工,并且在第二语言学习过程中逐渐增强。这些研究发现一方面促进了人们对母语与第二语言相互作用机制的认识;另一方面也为双语者两种语言具有相似神经表征提供了一个可能的理论解释,即母语和第二语言的相似激活模式产生的一个重要原因可能是母语经验对第二语言学习和加工神经机制的塑造[38-43]。尽管如此,已有关于母语经验塑造作用的研究大多是以差异较大的母语和第二语言(如汉语和英语)为研究对象,当母语和第二语言较为相似时(如母语和第二语言同为拼音文字),少有研究从脑机制角度发现母语和第二语言的相互作用。造成该结果的一个重要原因可能是当母语和第二语言差异较小时,两种语言诱发的激活非常相似[9, 44];而fMRI的空间分辨率和传统的激活相减法可能不足以探测母语和第二语言加工的微小差异,进而无法对语言间的相互作用作出有效推论。解决该问题的一种可能途径是使用多变量模式分析(如表征相似性分析),精确探测母语和第二语言在多体素水平的神经表征差异。与此观点一致,研究者采用多变量模式分析方法发现,尽管双语者的母语和第二语言激活了相似的脑区,但是两种语言却在神经表征上存在差异[45-46]。因此,未来研究需要使用多变量模式分析方法为母语和第二语言差异较小时的跨语言相互作用提供直接的实验证据。

    除母语对第二语言学习的影响外,第二语言学习对母语加工的影响也是两种语言相互作用的一个重要表现。双加工模型认为,在第二语言学习过程中,人脑会通过顺应机制来满足第二语言加工的需求,即人脑会征用新的区域来加工第二语言的独特特征[32]。据此可知,随着学习而不断累积的第二语言的独特加工策略也可能会反作用于母语加工,进而影响其认知神经机制。

    已有双语行为研究的结果支持了这一假设,即发现第二语言学习会影响母语的加工机制[47-53]。在词汇和字母层面,研究者发现,第二语言学习经验会影响母语的语音加工。例如,关于加泰罗尼亚语-西班牙语双语者语音加工的研究发现,第二语言(西班牙语)使用更多的双语者区分与第二语言相似的母语(加泰罗尼亚语)元音时的正确率更低、反应时更慢,而且母语元音的发音更像二语元音的发音[54]。类似地,黑尔(Hell)等人比较了以母语为荷兰语、第二语言为英语的个体对母语中同源词(母语和第二语言中语义一致、语音一致或相似的单词)和非同源词(母语和第二语言中语音和语义不同的单词)加工的差异。结果发现,与非同源词相比,个体对同源词的加工速度更快[55]。在句子加工层面,研究者发现双语者母语的句法加工会受到第二语言句法结构的影响[53, 56]。例如,王鑫探讨了汉语-英语双语者的英语原因从句的学习经验对汉语原因从句加工的影响。结果发现,中等熟练程度的双语者由于受到英语句法经验的影响,倾向于在汉语句子任务中将状语从句置于主句之后[53]。此外,研究者发现随着控制需求的增加,使用多种语言的个体表现出更差的行为反应[57]。除长期的第二语言学习经验外,研究者还发现短至5周甚至1小时的第二语言学习也会影响母语的加工[50, 58]。例如,研究者招募法语母语者学习丹麦语和荷兰语,发现即使是1小时的第二语言语音学习,也会影响母语的发音准确性[50]

    与认知行为研究一致,脑成像研究从脑机制角度验证了第二语言学习对母语加工的反作用[59-64]。通过双语者和单语者母语加工的对比,研究者发现,与单语者的母语加工相比,双语者的母语加工引起了左侧前额叶皮层的更强激活[61, 65]。尽管如此,双语者左侧前额叶皮层的更强激活可能是由于其在加工母语词汇时受到第二语言词汇的竞争导致的,而不是因为第二语言学习对母语加工的影响。为了进一步检验第二语言学习对母语加工神经机制的影响,邹丽娟等人比较了汉语单语者和汉语-手语双语者母语加工的脑活动差异。结果发现,在加工汉语时,汉语-手语双语者比汉语单语者更多激活了右侧缘上回、颞上回和枕上回等负责手语加工的脑区,反映了手语经验对汉语加工的影响[64]。与此类似,梅磊磊等人发现,与英语母语者在英语加工时左侧化的梭状回活动模式不同[30, 66],英语-汉语双语者表现出与汉字阅读类似的双侧化活动模式[7, 67]

    第二语言学习对母语加工神经机制的影响在两种语言同为拼音文字的双语者被试那里也得到了验证。诺莎蒂(Nosarti)等人通过对比词汇知识高低不同的意大利语-英语双语者母语加工的神经活动,发现第二语言学习经验会提高母语加工时左侧前额叶皮层的神经活动[68]。类似地,蒂默(Timmer)等人以荷兰语-英语双语者为被试,发现个体在加工母语词汇的同时第二语言的语音系统被激活[62]。这些研究表明,无论是在母语和第二语言差异较大的情况下,还是在差异较小的情况下,第二语言学习经验都会对母语加工的神经机制产生影响。这些结果为第二语言学习经验影响母语加工的神经机制提供了直接的证据。

    上述研究从静态角度考察了第二语言学习对母语加工神经机制的影响。为了进一步探讨第二语言学习对母语加工神经机制的影响随第二语言学习而动态变化的过程,研究者使用人工语言训练范式,考察了短期第二语言学习经验对母语加工认知神经机制的影响[60]。例如,梅磊磊等人以人工语言为实验材料,要求两组被试分别进行形音义整体学习和形音学习。结果发现,整体学习明显减弱了母语加工时阅读网络的激活水平,而形音学习未导致明显改变。该研究提示,第二语言学习对母语的影响可能需要以语义为中介[60]

    综上所述,在第二语言学习过程中,母语经验会对第二语言加工的神经机制产生影响,而第二语言学习反过来也会对母语加工的神经机制产生影响,即第二语言是在母语与第二语言不断的交互过程中习得的。这些研究从母语和第二语言相互作用的角度展示了第二语言学习的认知神经机制,阐明了第二语言学习的过程是母语和第二语言不断相互影响和相互作用的过程。尽管如此,已有关于第二语言学习影响母语加工的研究至少存在两方面的局限。其一,目前有关第二语言学习经验对母语认知神经机制的影响还缺乏明确的理论解释。尽管双加工模型是母语和第二语言相互作用研究领域中广为接受的一种理论模式,并为母语经验对第二语言学习和加工的神经机制的塑造作用提供了很好的理论解释,但是该模型并未明确说明第二语言学习如何影响母语加工的神经机制。因此,在未来研究中,研究者需要提出新的、有效的理论模型,或者对双加工模型进行修正,为第二语言学习对母语加工的影响提供理论解释。其二,已有研究大多是从静态的角度考察母语和第二语言加工的相互作用,但是对第二语言学习过程中母语和第二语言相互作用的动态变化过程知之甚少。尽管有研究使用实验室情境下的人工语言训练范式对短期第二语言学习过程中跨语言相互作用的动态变化进行了一些探究,但是缺乏自然语言情境下跨语言相互作用的长期动态变化过程的探究。因此,未来还需要使用纵向追踪研究,从动态变化的视角对母语与第二语言的相互作用机制进行深入探讨。

    母语和第二语言的相互作用模式不是恒定不变的,而是会受到个体因素、语言因素以及任务因素等影响。个体因素包括第二语言习得年龄和第二语言熟练程度等,语言因素包括母语与第二语言间相似性、词汇具体性等,任务因素包括语音、语义等言语成分的加工深度。这些因素会对母语和第二语言的相互作用模式产生不同程度的影响。

    过往研究发现,第二语言习得年龄和第二语言熟练程度等个体因素会显著影响双语者两种语言的神经表征[69-74]。在第二语言习得年龄方面,一些研究者认为,早期双语者会使用与母语加工相似的神经网络处理第二语言,而晚期双语者两种语言的神经表征存在差异[73-75]。例如,贝尔肯(Berken)等人研究发现,同时学习两种语言的双语者会使用相似的神经网络阅读两种语言,而先学母语后学第二语言的继时双语者在阅读第二语言时左侧额下回和梭状回出现比阅读母语更强的激活[73]。然而,另外一些研究者发现了相反的结果[12, 25]。例如,研究发现英语-印地语双语者的母语和第二语言在背侧和腹侧阅读网络的激活上存在差异,而晚期双语者却表现出相似的激活[76]。与此类似,欧健等人使用表征相似性分析也发现较早习得第二语言的双语者的两种语言神经活动模式差异更大[70]。进一步的研究发现,第二语言习得年龄对于双语者语音和语法加工的神经机制影响较大,而对于语义加工的神经机制影响较小[42, 77]。例如,沃顿博格(Wartenburger)等人通过早期双语者和晚期双语者的对比考察了第二语言习得年龄对双语者语义与语法表征的影响。结果发现,在语义加工上,早期双语者和晚期双语者的母语和第二语言都激活了相似的神经网络;在语法加工上,早期双语者的两种语言表现出相似的激活,而晚期双语者表现出差异[42]。此外,一些行为研究发现第二语言习得年龄会影响母语和第二语言的相互作用[52, 78]。例如,盖瑟科尔(Gathercole)等人采用语义分类任务研究早期和晚期阿拉伯语-英语双语者在其母语和第二语言语义上的相互作用。研究发现,早期双语者母语和第二语言的语义结构之间存在相互影响,而晚期双语者仅存在母语经验对第二语言语义结构加工的影响[78]

    除第二语言习得年龄外,第二语言熟练程度也是影响第二语言神经表征的一个重要个体因素[45, 53, 79-80]。已有研究发现,与第二语言熟练程度较低的双语者相比,高熟练度的双语者母语与第二语言加工诱发的脑活动更加相似[10, 12, 81-82]。关于语言学习的脑成像研究也发现了类似的结果[9, 14, 26]。例如,斯坦(Stein)等人使用fMRI技术考察了英语母语者学习德语的神经机制,发现在学习德语之前,英语母语者的德语加工比英语加工需要征用更多额叶皮层,而在5个月的德语学习后,他们的英语加工和德语加工诱发的脑激活没有差异[9]。与此类似,李会玲等人采用fMRI技术和人工语言范式,通过比较不同的学习阶段中母语与第二语言的神经模式相似性;发现随着第二语言熟练程度的提高,母语和第二语言的神经表征模式越相似[10]。该结果表明,第二语言熟练程度可以调节母语与第二语言神经表征的相似性。更为重要的是,研究者发现第二语言熟练程度可以调节母语与第二语言的相互作用。一方面,第二语言熟练程度可以调节母语经验对第二语言加工神经机制的影响。如前所述,曹凡等人发现,随着英语熟练程度提高,汉语-英语双语者在阅读英语时会征用更多的中文神经网络(左侧额中回、右侧顶下回和楔前叶),同时会更少使用英文神经网络(左侧额下回和左侧颞下回)[12]。与此一致,研究发现,汉语-英语双语者在加工英语时汉语神经网络的参与程度与英语的成绩呈现正相关[25]。该结果说明,第二语言熟练程度能够调节母语网络在第二语言加工中的参与程度。此外,一些研究发现,第二语言熟练程度能够提高第二语言神经网络在第二语言加工中的参与程度,即表现出更多顺应加工[12, 36, 83]。另一方面,第二语言熟练程度也可以调节第二语言学习对母语加工的影响。梅磊磊等人训练汉语母语者学习一门人工语言,并在训练前、训练中和训练后进行fMRI扫描,结果发现随着人工语言熟练程度的提高,母语加工诱发的脑激活表现出先降低后升高的模式。该结果说明,随着第二语言熟练程度提高,第二语言学习对母语加工神经机制的影响程度表现出非线性的变化趋势[60]

    综上可知,个体的第二语言习得年龄和第二语言熟练程度不仅可以影响母语和第二语言神经表征的相似性,还可以影响母语和第二语言的相互作用。未来研究可以使用脑成像技术,结合纵向研究范式,从自然语言发展的角度探讨第二语言习得年龄和熟练程度对母语与第二语言相互作用神经机制的动态调节作用。

    语言因素是影响母语与第二语言相互作用的第二个重要影响因素。已有研究发现, 语言间相似性可以显著调节母语和第二语言之间的相互作用模式[84-85]。行为研究发现,母语与第二语言的相似性会影响语言加工的效率。例如,当第二语言与母语比较相似时(如英语、法语、意大利),第二语言学习经验会提升母语的阅读能力[86-87];而当第二语言与母语差异较大时,第二语言学习经验会降低母语的阅读能力[86]。更重要的是,已有研究还发现母语与第二语言在句法和正字法上的相似性可以显著调节母语与第二语言之间的相互作用模式[88]。在句法方面,当母语与第二语言的句法比较相似时,双语者更可能使用母语的句法规则进行第二语言句法学习[89]。与此一致,脑成像研究发现韩语母语者使用相似的神经网络加工韩语和日语句子,而使用不同的神经网络加工英语句子[90],其原因可能是韩语和日语在句法结构上较为相似,同为“主-宾-谓”结构,而与英语的“主-谓-宾”结构不同。在正字法方面,当第二语言的正字法比母语的正字法更透明时(如汉语-英语双语者),双语者倾向于使用母语的神经网络加工第二语言,即同化加工;而当第二语言的正字法比母语正字法更不透明时(如西班牙语-英语双语者),双语者倾向于征用额外的脑区来满足第二语言加工的特殊需求,即顺应加工[12]。例如,一项三语研究发现,韩语母语者在加工汉语时的大脑激活模式与汉语母语者的汉语加工相似,表现出顺应加工;而他们在加工英语时的大脑激活模式与韩语母语者加工韩语更相似,表现出了同化加工[83]。这主要是因为英语和韩语同为拼音文字,具有相对明确的形音对应规则,而汉语没有明确的形音对应规则,因而英语和韩语在正字法上更为相似。与此类似,董洁等人使用表征相似性分析精确计量了三语者在母语和两种非母语之间的神经模式相似性。结果发现,非母语词汇与母语词汇的正字法距离越近,其跨语言模式相似性越高[3]

    除语言间相似性外,词汇具体性是影响母语和第二语言相互作用模式的另一个重要语言因素。最近的一项汉语-英语双语者的研究发现,词汇具体性会调节两种语言间神经活动模式相似性[91]。具体而言,具体词在右侧缘上回等非言语加工脑区中表现出更高的跨语言神经模式相似性;而抽象词在左侧额下回和颞中回等言语加工脑区中表现出更高的跨语言神经模式相似性。

    上述结果表明,母语和第二语言的相似性以及词汇具体性等语言因素均能够调节母语和第二语言的相互作用模式。当第二语言与母语比较相似时,双语者倾向于使用母语的神经网络学习和加工第二语言(同化加工);而当第二语言与母语差异较大时,个体倾向于征用额外的脑区学习和加工第二语言(顺应加工)。同时,语言的具体性也会影响母语和第二语言的神经表征相似性,具体词和抽象词分别在非言语和言语加工的脑区中表现出更高的跨语言神经模式相似性。

    任务加工需求是调节双语者大脑神经活动的第三个重要因素。实验任务是语言心理学中操纵不同语言成分加工(如正字法、语音和语义)的一个重要因素,会增强相对应成分加工脑区的功能活动[92-94]。例如,对词汇的正字法信息进行加工的任务(如字形判断)会引起颞顶区域和颞枕区域等字形加工相关脑区更强的激活[24, 95];对词汇的语音信息进行加工的任务(如押韵判断和词汇命名)会引起双侧额下回、中央前回、背侧颞顶皮层等语音加工相关脑区更强的激活[3, 96-97];而对词汇的语义加工则会引起双侧额下回、外侧颞叶和角回等语义加工脑区的更强的激活[98-99]。在母语和第二语言相互作用方面,李会玲等人以汉语-英语双语者为被试,通过浅层语义加工任务(即词汇命名任务)和深层语义加工任务(即语义判断任务),探究由任务驱动的语义加工深度对母语和第二语言间跨语言模式相似性的调节作用。结果发现,与浅层语义加工相比,深层语义加工会增强多个语义加工脑区内的跨语言模式相似性[1],该结果提示了语义加工深度是影响母语和第二语言相互作用的一个重要因素。

    上述结果表明,任务加工需求是影响阅读网络神经活动以及母语和第二语言相互作用模式的一个重要因素。尽管如此,多种阅读加工需求如何调节母语和第二语言的相互作用模式仍不清楚,有待研究者使用多种阅读加工需求不同的实验任务进行系统研究。

    综上所述,母语经验会塑造第二语言学习和加工的认知神经机制,第二语言学习也会反作用于母语,进而影响母语加工的认知神经机制。这说明第二语言是在母语和第二语言不断相互作用中习得的,并包含了同化和顺应两个加工过程。同时,母语和第二语言相互作用会受到个体因素、语言因素和任务因素的影响。虽然母语与第二语言相互作用的相关研究已经取得了一些重要进展,但由于跨语言相互作用的神经机制在近些年才逐渐受到研究者的关注,其相关研究还处于起步阶段,因而在研究设计、研究内容、研究技术等方面还存在很多不足。

    首先,在研究设计方面,已有研究大多依赖于双语者和单语者的比较或不同熟练程度双语者的比较从静态的角度探讨母语与第二语言学习的相互作用,而缺乏对第二语言学习过程中母语和第二语言相互作用的动态变化过程的探究。目前,虽然有少量研究使用实验室环境下的语言学习范式,从动态变化的角度考察母语和第二语言的相互作用,但是实验室环境下的语言学习与自然语言学习存在诸多差异。因此,基于人工语言学习范式所发现的结果能否推论到自然语言环境下的第二语言学习并不清楚。尽管行为学研究表明两者存在显著的正向相关[100],但是两者在脑机制上是否相同并不清楚。因此,未来研究可以使用自然语言探究第二语言学习过程中母语加工与第二语言学习相互作用的动态变化过程。

    其次,在研究内容上,已有相互作用研究主要关注词汇水平,通过比较个体在加工母语和第二语言词汇的字形、语音、语义等方面的神经机制差异来探究母语和第二语言的相互影响,而从神经机制角度探讨更高水平语言信息(如句法信息)加工时母语和第二语言相互作用的研究相对较少。因此,未来研究需要从句子和篇章水平考察第二语言学习过程中母语与第二语言的相互作用。

    再次,在相互作用的方向上,过往研究聚焦于母语经验对第二语言学习和加工的认知神经机制的影响,而缺乏对第二语言学习影响母语加工神经机制的探讨,尤其缺乏对学习过程中第二语言学习影响母语加工神经机制动态变化过程的探讨。因此,未来研究应综合使用多种技术(认知行为和脑成像技术),从自然语言学习和实验室语言学习角度系统探明第二语言学习对母语加工的影响机制及其在学习过程中的动态变化过程。

    最后,过往研究大多使用fMRI技术,对母语和第二语言的加工机制及相互作用进行系统探究。fMRI的空间分辨率具有优势,但其时间分辨率相对不高。因此,未来研究需要综合使用具有高时间分辨率的电生理技术(EEG、MEG、sEEG)和具有高空间分辨率的脑成像技术,从时间进程和空间分布两个方面系统揭示母语与第二语言的相互作用机制及动态变化过程。

  • [1]

    JAMES W. The principles of psychology[M]. New York: Henry Holt and Company, 1890: 15-27.

    [2]

    SPENCE C. Multisensory perception[J]. Stevens' handbook of experimental psychology and cognitive neuroscience, 2018, 2: 1-56.

    [3] BARTH F G. Sensory perception: adaptation to lifestyle and habitat[M]//Sensory perception: mind and matter. Vienna: Springer Vienna, 2012: 89-107.
    [4]

    COLAVITA F B. Human sensory dominance[J]. Perception and psychophysics, 1974, 16(2): 409-412. doi: 10.3758/BF03203962

    [5]

    ERNST M O, BÜLTHOFF H H. Merging the senses into a robust percept[J]. Trends in cognitive sciences, 2004, 8(4): 162-169. doi: 10.1016/j.tics.2004.02.002

    [6] 文小辉, 李国强, 刘强. 视听整合加工及其神经机制[J]. 心理科学进展, 2011, 19(7): 976-982.
    [7]

    SHAMS L, BEIERHOLM U. Bayesian causal inference: a unifying neuroscience theory[J]. Neuroscience and biobehavioral reviews, 2022, 137: 104619. doi: 10.1016/j.neubiorev.2022.104619

    [8]

    SHAMS L, KIM R. Bayesian priors and multisensory integration at multiple levels of visual processing: reply to comments on "crossmodal influences on visual perception"[J]. Physics of life reviews, 2010, 7(3): 295-298. doi: 10.1016/j.plrev.2010.07.006

    [9]

    SHAMS L, BEIERHOLM U R. Humans'multisensory perception, from integration to segregation, follows bayesian inference: sensory cue integration[M]. Oxford: Oxford University Press, 2011: 251-262.

    [10] 康冠兰, 罗霄骁. 视听跨通道信息的整合与冲突控制[J]. 心理科学, 2020 (5): 1072-1078.
    [11]

    ANGELAKI D E, GU Y, DEANGELIS G C. Multisensory integration: psychophysics, neurophysiology, and computation[J]. Current opinion in neurobiology, 2009, 19(4): 452-458. doi: 10.1016/j.conb.2009.06.008

    [12]

    WELCH R B, WARREN D H. Immediate perceptual response to intersensory discrepancy[J]. Psychological bulletin, 1980, 88(3): 638-667. doi: 10.1037/0033-2909.88.3.638

    [13]

    MURRAY M M, LEWKOWICZ D J, AMEDI A, et al. Multisensory processes: a balancing act across the lifespan[J]. Trends in neurosciences, 2016, 39(8): 567-579. doi: 10.1016/j.tins.2016.05.003

    [14]

    HOLMES N P, SPENCE C. Multisensory integration: space, time and superadditivity[J]. Currentbiology, 2005, 15(18): R762-R764. http://www.ncbi.nlm.nih.gov/pubmed/15988597

    [15]

    VROOMEN J, KEETELS M. Perception of intersensory synchrony: a tutorial review[J]. Attention, perception, and psychophysics, 2010, 72(4): 871-884. doi: 10.3758/APP.72.4.871

    [16]

    MURRAY M M, THELEN A, THUT G, et al. The multisensory function of the human primary visual cortex[J]. Neuropsychologia, 2016, 83: 161-169. doi: 10.1016/j.neuropsychologia.2015.08.011

    [17] SPENCE C, SATHIAN K. Audiovisual crossmodal correspondences: behavioral consequences and neural underpinnings[M]//Multisensory perception: from laboratory to clinic. Amsterdam: Elsevier/Academic Press, 2020: 239-258.
    [18]

    CHEN Y C, SPENCE C. Crossmodal semantic priming by naturalistic sounds and spoken words enhances visual sensitivity[J]. Journal of experimental psychology: human perception and performance, 2011, 37(5): 1554-1568. doi: 10.1037/a0024329

    [19]

    TALSMA D, SENKOWSKI D, SOTO-FARACO S, et al. The multifaceted interplay between attention and multisensory integration[J]. Trends in cognitive sciences, 2010, 14(9): 400-410. doi: 10.1016/j.tics.2010.06.008

    [20]

    DEROY O, SPENCE C, NOPPENEY U. Metacognition in multisensory perception[J]. Trends in cognitive sciences, 2016, 20(10): 736-747. doi: 10.1016/j.tics.2016.08.006

    [21]

    GAU R, NOPPENEY U. How prior expectations shape multisensory perception[J]. Neuroimage, 2016, 124: 876-886. doi: 10.1016/j.neuroimage.2015.09.045

    [22]

    CHEN Y C, SPENCE C. Assessing the role of the 'unity assumption' on multisensory integration: a review[J]. Frontiers in psychology, 2017, 8: 445. doi: 10.3389/fpsyg.2017.00445/pdf

    [23]

    CANON L K. Intermodality inconsistency of input and directed attention as determinants of the nature of adaptation[J]. Journal of experimental psychology, 1970, 84(1): 141-147. doi: 10.1037/h0028925

    [24]

    BIZLEY J K, MADDOX R K, LEE A K C. Defining auditory-visual objects: behavioral tests and physiological mechanisms[J]. Trends in neurosciences, 2016, 39(2): 74-85. doi: 10.1016/j.tins.2015.12.007

    [25]

    WANG A, SANG H, HE J, et al. Effects of cognitive expectation on sound-induced flash illusion[J]. Perception, 2019, 48(12): 1214-1234. doi: 10.1177/0301006619885796

    [26]

    CHEN Y C, SPENCE C. When hearing the bark helps to identify the dog: semantically-congruent sounds modulate the identification of masked pictures[J]. Cognition, 2010, 114(3): 389-404. doi: 10.1016/j.cognition.2009.10.012

    [27]

    SHAMS L, BEIERHOLM U R. Causal inference in perception[J]. Trends in cognitive sciences, 2010, 14(9): 425-432. doi: 10.1016/j.tics.2010.07.001

    [28] 俞黎平. 猫上丘神经元经验—依赖性多感觉整合可塑性[D]. 上海: 华东师范大学, 2010: 73-80.
    [29]

    MURRAY M M, WALLACE M T. Arebimodal neurons the same throughout the brain? [M]// The neural bases of multisensory processes. Boca Raton, FL: CRC Press/Taylor and Francis, 2011: 48-62.

    [30]

    CLEMO H R, KENISTON L P, MEREDITH M A. Structural basis of multisensory processing[M]//The neural bases of multisensory processes. Boca Raton, FL: CRC Press/Taylor and Francis, 2012: 1-12.

    [31]

    STEIN B E, STANFORD T R. Multisensory integration: current issues from the perspective of the single neuron[J]. Nature reviews neuroscience, 2008, 9(4): 255-266. doi: 10.1038/nrn2331

    [32]

    STEIN B E, ROWLAND B A. Neural development of multisensory integration[M]//Multisensory perception. Winston-Salem, NC: Academic Press, 2020: 57-87.

    [33]

    CHOI I, LEE J Y, LEE S H. Bottom-up and top-down modulation of multisensory integration[J]. Current opinion in neurobiology, 2018, 52: 115-122. doi: 10.1016/j.conb.2018.05.002

    [34]

    GENTILE F, VAN ATTEVELDT N, DE MARTINO F, et al. Approaching the ground truth: revealing the functional organization of human multisensory STC using ultra-high field fMRI[J]. Journal of neuroscience, 2017, 37(42): 10104-10113. doi: 10.1523/JNEUROSCI.0146-17.2017

    [35]

    STEVENSON R A, JAMES T W. Audiovisual integration in human superior temporal sulcus: inverse effectiveness and the neural processing of speech and object recognition[J]. Neuroimage, 2009, 44(3): 1210-1223. doi: 10.1016/j.neuroimage.2008.09.034

    [36]

    BEAUCHAMP M S, NATH A R, PASALAR S. FMRI-guided transcranial magnetic stimulation reveals that the superior temporal sulcus is a cortical locus of the McGurk effect[J]. Journal of neuroscience, 2010, 30(7): 2414-2417. doi: 10.1523/JNEUROSCI.4865-09.2010

    [37]

    NOPPENEY U. Characterization of multisensory integration with fMRI: experimental design, statistical analysis, and interpretation[M]//The neural bases of multisensory processes. Boca Raton, FL: CRC Press/Taylor and Francis, 2012: 302-322.

    [38]

    BEAUCHAMP M S, ARGALL B D, BODURKA J, et al. Unraveling multisensory integration: patchy organization within human STS multisensory cortex[J]. Nature neuroscience, 2004, 7(11): 1190-1192. doi: 10.1038/nn1333

    [39] 刘强. 多感觉整合脑机制研究[D]. 重庆: 西南大学, 2010: 4-32.
    [40]

    MARTUZZI R, MURRAY M M, MICHEL C M, et al. Multisensory interactions within human primary cortices revealed by BOLD dynamics[J]. Cerebral cortex, 2007, 17(7): 1672-1679. doi: 10.1093/cercor/bhl077

    [41]

    LOMBER S G, MEREDITH M A, KRAL A. Cross-modal plasticity in specific auditory cortices underlies visual compensations in the deaf[J]. Nature neuroscience, 2010, 13(11): 1421-1427. doi: 10.1038/nn.2653

    [42]

    ALAIS D, NEWELL F, MAMASSIAN P. Multisensory processing in review: from physiology to behaviour[J]. Seeing and perceiving, 2010, 23(1): 3-38. doi: 10.1163/187847510X488603

    [43]

    DRIVER J, NOESSELT T. Multisensory interplay reveals crossmodal influences on 'sensory-specific'brain regions, neural responses, and judgments[J]. Neuron, 2008, 57(1): 11-23. doi: 10.1016/j.neuron.2007.12.013

    [44]

    GHAZANFAR A A, SCHROEDER C E. Is neocortex essentially multisensory?[J]. Trends in cognitive sciences, 2006, 10(6): 278-285. doi: 10.1016/j.tics.2006.04.008

    [45]

    ROCKLAND K S, OJIMA H. Multisensory convergence in calcarine visual areas in macaque monkey[J]. International journal of psychophysiology, 2003, 50(1-2): 19-26. doi: 10.1016/S0167-8760(03)00121-1

    [46]

    SIEVERS B, PARKINSON C, KOHLER P J, et al. Visual and auditory brain areas share a representational structure that supports emotion perception[J]. Current biology, 2021, 31(23): 5192-5203. doi: 10.1016/j.cub.2021.09.043

    [47]

    CAPPE C, ROUILLER E M, BARONE P. Cortical and thalamic pathways for multisensory and sensorimotor interplay[M]//The neural bases of multisensory processes. Boca Raton, FL: CRC Press/Taylor and Francis, 2012: 12-28.

    [48]

    BAUER A K R, DEBENER S, NOBRE A C. Synchronisation of neural oscillations and cross-modal influences[J]. Trends in cognitive sciences, 2020, 24(6): 481-495. doi: 10.1016/j.tics.2020.03.003

    [49]

    VETTER P, BOLA Ł, REICH L, et al. Decoding natural sounds in early "visual" cortex of congenitally blind individuals[J]. Current biology, 2020, 30(15): 3039-3044. doi: 10.1016/j.cub.2020.05.071

    [50]

    SENKOWSKI D, ENGEL A K. Multi-timescale neural dynamics for multisensory integration[J]. Nature reviews neuroscience, 2024, 25(9): 625-642. doi: 10.1038/s41583-024-00845-7

    [51]

    SENKOWSKI D, SCHNEIDER T R, FOXE J J, et al. Crossmodal binding through neural coherence: implications for multisensory processing[J]. Trends in neurosciences, 2008, 31(8): 401-409. doi: 10.1016/j.tins.2008.05.002

    [52] 张雪, 袁佩君, 王莹, 等. 知觉相关的神经振荡鄄外界节律同步化现象[J]. Progress inbiochemistry and biophysics, 2016, 43(4): 308-315.
    [53]

    WATKINS S, SHAMS L, JOSEPHS O, et al. Activity in human V1 follows multisensory perception[J]. Neuroimage, 2007, 37(2): 572-578. doi: 10.1016/j.neuroimage.2007.05.027

    [54]

    GETZMANN S, LEWALD J. Modulation of auditory motion processing by visual motion[J]. Journal of psychophysiology, 2014, 28: 82-100. doi: 10.1027/0269-8803/a000113

    [55]

    CECERE R, REES G, ROMEI V. Individual differences in alpha frequency drive crossmodal illusory perception[J]. Current biology, 2015, 25(2): 231-235. doi: 10.1016/j.cub.2014.11.034

    [56]

    KARTHIK G, PLASS J, BELTZ A M, et al. Visual speech differentially modulates beta, theta, and high gamma bands in auditory cortex[J]. European journal of neuroscience, 2021, 54(9): 7301-7317. doi: 10.1111/ejn.15482

    [57]

    MÉGEVAND P, MERCIER M R, GROPPE D M, et al. Crossmodal phase reset and evoked responses provide complementary mechanisms for the influence of visual speech in auditory cortex[J]. Journal of neuroscience, 2020, 40(44): 8530-8542. doi: 10.1523/JNEUROSCI.0555-20.2020

    [58]

    LUO H, LIU Z, POEPPEL D. Auditory cortex tracks both auditory and visual stimulus dynamics using low-frequency neuronal phase modulation[J]. PLoS biology, 2010, 8(8): e1000445. doi: 10.1371/journal.pbio.1000445

    [59]

    LAKATOS P, CHEN C M, O'CONNELL M N, et al. Neuronal oscillations and multisensory interaction in primary auditory cortex[J]. Neuron, 2007, 53(2): 279-292. doi: 10.1016/j.neuron.2006.12.011

    [60]

    THÉZÉ R, GIRAUD A L, MÉGEVAND P. The phase of cortical oscillations determines the perceptual fate of visual cues in naturalistic audiovisual speech[J]. Science advances, 2020, 6(45): eabc6348. doi: 10.1126/sciadv.abc6348

    [61]

    MISHRA J, MARTINEZ A, HILLYARD S A. Audition influences color processing in the sound-induced visual flash illusion[J]. Vision research, 2013, 93: 74-79. doi: 10.1016/j.visres.2013.10.013

    [62]

    MÉGEVAND P, MERCIER M R, GROPPE D M, et al. Phase resetting in human auditory cortex to visual speech[J]. BioRxiv, 2018: 405597.

    [63]

    KEIL J, MÜLLER N, IHSSEN N, et al. On the variability of the McGurk effect: audiovisual integration depends on prestimulus brain states[J]. Cerebral cortex, 2012, 22(1): 221-231. doi: 10.1093/cercor/bhr125

    [64]

    AMEDI A, MALACH R, HENDLER T, et al. Visuo-haptic object-related activation in the ventral visual pathway[J]. Nature neuroscience, 2001, 4(3): 324-330. doi: 10.1038/85201

    [65]

    KIM S, JAMES T W. Enhanced effectiveness in visuo-haptic object-selective brain regions with increasing stimulus salience[J]. Human brain mapping, 2010, 31(5): 678-693. doi: 10.1002/hbm.20897

    [66]

    DAHL C D, LOGOTHETIS N K, KAYSER C. Spatial organization of multisensory responses in temporal association cortex[J]. Journal of neuroscience, 2009, 29(38): 11924-11932. doi: 10.1523/JNEUROSCI.3437-09.2009

    [67]

    STEVENSON R A, ALTIERI N A, KIM S, et al. Neural processing of asynchronous audiovisual speech perception[J]. Neuroimage, 2010, 49(4): 3308-3318. doi: 10.1016/j.neuroimage.2009.12.001

    [68]

    YOUNG A W, FRVHHOLZ S, SCHWEINBERGER S R. Face and voice perception: understanding commonalities and differences[J]. Trends in cognitive sciences, 2020, 24(5): 398-410. doi: 10.1016/j.tics.2020.02.001

    [69]

    CSONKA M, MARDMOMEN N, WEBSTER P J, et al. Meta-analyses support a taxonomic model for representations of different categories of audio-visual interaction events in the human brain[J]. Cerebral cortex communications, 2021, 2(1): tgab002. doi: 10.1093/texcom/tgab002

    [70]

    BEAUCHAMP M S. Audiovisual speech integration: neural substrates and behavior[M]//Neurobiology of language. Houston, TX: Academic Press, 2016: 515-526.

    [71]

    DAVIES-THOMPSON J, ELLI G V, REZK M, et al. Hierarchical brain network for face and voice integration of emotion expression[J]. Cerebral cortex, 2019, 29(9): 3590-3605. doi: 10.1093/cercor/bhy240

    [72]

    TSANTANI M, KRIEGESKORTE N, MCGETTIGAN C, et al. Faces and voices in the brain: a modality-general person-identity representation in superior temporal sulcus[J]. Neuroimage, 2019, 201: 116004. doi: 10.1016/j.neuroimage.2019.07.017

    [73]

    DEEN B, SAXE R, KANWISHER N. Processing communicative facial and vocal cues in the superior temporal sulcus[J]. Neuroimage, 2020, 221: 117191. doi: 10.1016/j.neuroimage.2020.117191

    [74]

    GRILL-SPECTOR K, WEINER K S, KAY K, et al. The functional neuroanatomy of human face perception[J]. Annual review of vision science, 2017, 3(1): 167-196. doi: 10.1146/annurev-vision-102016-061214

    [75]

    PITCHER D, PILKINGTON A, RAUTH L, et al. The human posterior superior temporal sulcus samples visual space differently from other face-selective regions[J]. Cerebral cortex, 2020, 30(2): 778-785. doi: 10.1093/cercor/bhz125

    [76]

    SAITO H, YUKIE M, TANAKA K, et al. Integration of direction signals of image motion in the superior temporal sulcus of the macaque monkey[J]. Journal of neuroscience, 1986, 6(1): 145-157. doi: 10.1523/JNEUROSCI.06-01-00145.1986

    [77]

    THOMPSON K G, BISCOE K L, SATO T R. Neuronal basis of covert spatial attention in the frontal eye field[J]. Journal of neuroscience, 2005, 25(41): 9479-9487. doi: 10.1523/JNEUROSCI.0741-05.2005

    [78]

    SAXE R, CAREY S, KANWISHER N. Understanding other minds: linking developmental psychology and functional neuroimaging[J]. Annual review of psychology, 2004, 55(1): 87-124. doi: 10.1146/annurev.psych.55.090902.142044

    [79]

    HEIN G, KNIGHT R T. Superior temporal sulcus—it's my area: or is it?[J]. Journal of cognitive neuroscience, 2008, 20(12): 2125-2136. doi: 10.1162/jocn.2008.20148

    [80]

    DEEN B, KOLDEWYN K, KANWISHER N, et al. Functional organization of social perception and cognition in the superior temporal sulcus[J]. Cerebral cortex, 2015, 25(11): 4596-4609. doi: 10.1093/cercor/bhv111

    [81]

    ISIK C, DOGRU T, TURK E S. A nexus of linear and non-linear relationships between tourism demand, renewable energy consumption, and economic growth: theory and evidence[J]. International journal of tourism research, 2018, 20(1): 38-49. doi: 10.1002/jtr.2151

    [82]

    ZHU L L, BEAUCHAMP M S. Mouth and voice: a relationship between visual and auditory preference in the human superior temporal sulcus[J]. Journal of neuroscience, 2017, 37(10): 2697-2708. doi: 10.1523/JNEUROSCI.2914-16.2017

    [83]

    BEAUCHAMP M S. See me, hear me, touch me: multisensory integration in lateral occipital-temporal cortex[J]. Current opinion in neurobiology, 2005, 15(2): 145-153. doi: 10.1016/j.conb.2005.03.011

    [84]

    ALSIUS A, PARÉ M, MUNHALL K G. Forty years after hearing lips and seeing voices: the McGurk effect revisited[J]. Multisensory research, 2018, 31(1-2): 111-144. doi: 10.1163/22134808-00002565

    [85] 韩海宾, 许萍萍, 屈青青, 等. 语言加工过程中的视听跨通道整合[J]. 心理科学进展, 2019, 27(3): 475-489.
    [86]

    MCGURK H, MACDONALD J. Hearing lips and seeing voices[J]. Nature, 1976, 264(5588): 746-748. doi: 10.1038/264746a0

    [87] 罗霄骁, 康冠兰, 周晓林. McGurk效应的影响因素与神经基础[J]. 心理科学进展, 2018, 26(11): 1935-1951.
    [88]

    JONES J A, CALLAN D E. Brain activity during audiovisual speech perception: an fMRI study of the McGurk effect[J]. Neuroreport, 2003, 14(8): 1129-1133. doi: 10.1097/00001756-200306110-00006

    [89]

    SZYCIK G R, STADLER J, TEMPELMANN C, et al. Examining the McGurk illusion using high-field 7 Tesla functional MRI[J]. Frontiers in human neuroscience, 2012, 6: Article 95.

    [90]

    NATH A R, BEAUCHAMP M S. Dynamic changes in superior temporal sulcus connectivity during perception of noisy audiovisual speech[J]. Journal of neuroscience, 2011, 31(5): 1704-1714. doi: 10.1523/JNEUROSCI.4853-10.2011

    [91]

    NATH A R, BEAUCHAMP M S. A neural basis for interindividual differences in the McGurk effect, a multisensory speech illusion[J]. Neuroimage, 2012, 59(1): 781-787. doi: 10.1016/j.neuroimage.2011.07.024

    [92]

    BAUM S H, MARTIN R C, HAMILTON A C, et al. Multisensory speech perception without the left superior temporal sulcus[J]. Neuroimage, 2012, 62(3): 1825-1832. doi: 10.1016/j.neuroimage.2012.05.034

    [93]

    BOUTON S, DELGADO-SAA J, OLASAGASTI I, et al. Audio-visual combination of syllables involves time-sensitive dynamics following from fusion failure[J]. Scientific reports, 2020, 10(1): 18009. http://www.xueshufan.com/publication/2973388311

    [94]

    RAIJ T, UUTELA K, HARI R. Audiovisual integration of letters in the human brain[J]. Neuron, 2000, 28(2): 617-625.

    [95]

    BENOIT M M K, RAIJ T, LIN F H, et al. Primary and multisensory cortical activity is correlated with audiovisual percepts[J]. Human brain mapping, 2010, 31(4): 526-538. doi: 10.1002/hbm.20884

    [96]

    ERICKSON L C, HEEG E, RAUSCHECKER J P, et al. An ALE meta-analysis on the audiovisual integration of speech signals[J]. Human brain mapping, 2014, 35(11): 5587-5605. http://www.onacademic.com/detail/journal_1000039163214010_bf46.html

    [97]

    LI Y, SEGER C, CHEN Q, et al. Left inferior frontal gyrus integrates multisensory information in category learning[J]. Cerebral cortex, 2020, 30(8): 4410-4423.

    [98]

    CAO Y, SUMMERFIELD C, PARK H, et al. Causal inference in the multisensory brain[J]. Neuron, 2019, 102(5): 1076-1087.

    [99]

    PITCHER D, UNGERLEIDER L G. Evidence for a third visual pathway specialized for social perception[J]. Trends in cognitive sciences, 2021, 25(2): 100-110. http://pubmed.ncbi.nlm.nih.gov/33334693/

    [100]

    SHAMS L, BEIERHOLM U R. Causal inference in perception[J]. Trends in cognitive sciences, 2010, 14(9): 425-432.

    [101]

    KAYSER C, SHAMS L. Multisensory causal inference in the brain[J]. PLoS biology, 2015, 13(2): e1002075.

    [102]

    MIHALIK A, NOPPENEY U. Causal inference in audiovisual perception[J]. Journal of neuroscience, 2020, 40(34): 6600-6612.

    [103]

    ROHE T, NOPPENEY U. Cortical hierarchies perform Bayesian causal inference in multisensory perception[J]. PLoS biology, 2015, 13(2): e1002073. http://pubmedcentralcanada.ca/pmcc/articles/PMC4339735/?report=abstract

    [104]

    LIU H, LI C, LI Y, et al. Improved baselines with visual instruction tuning[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA: IEEE, 2024: 26296-26306.

    [105]

    GIRDHAR R, EL-NOUBY A, LIU Z, et al. Imagebind: one embedding space to bind them all[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver, BC: IEEE, 2023: 15180-15190.

    [106]

    BARRAULT L, CHUNG Y A, MEGLIOLI M C, et al. SeamlessM4T-massively multilingual and multimodal machine translation[J]. 2023, ArXiv preprint arXiv: 2308.11596.

    [107]

    ACHIAM J, ADLER S, AGARWAL S, et al. Gpt-4 technical report[J]. 2023, ArXiv preprint arXiv: 2303.08774.

    [108]

    YIN S, FU C, ZHAO S, et al. A survey on multimodal large language models[J]. National science review, 2024: nwae403.

    [109]

    WEI Y, HU D, TIAN Y, et al. Learning in audio-visual context: a review, analysis, and new perspective[J]. 2022, ArXiv preprint arXiv: 2208.09579.

    [110]

    SONG S, LI X, LI S, et al. How to bridge the gap between modalities: a comprehensive survey on multimodal large language model[J]. 2023, ArXiv preprint arXiv: 2311.07594.

    [111]

    WANG Y. Formal models and cognitive mechanisms of the human sensory system[J]. International journal of software science and computational intelligence, 2013, 5(3): 55-75.

    [112] ROHE T, ZEISE M L. Inputs, outputs, and multisensory processing[M]//Neuroscience for psychologists: an introduction. Switzerland: Springer Cham, 2021: 153-192.
    [113]

    BARCZAK A, O'CONNELL M N, SCHROEDER C E. Thalamic contributions to multisensory convergence[M]//The cerebral cortex and thalamus. New York: Oxford University Press, 2024: 305-315.

    [114]

    PESNOT LEROUSSEAU J, PARISE C V, ERNST M O, et al. Multisensory correlation computations in the human brain identified by a time-resolved encoding model[J]. Nature communications, 2022, 13(1): 2489.

    [115]

    TSILIONIS E, VATAKIS A. Multisensory binding: is the contribution of synchrony and semantic congruency obligatory?[J]. Current opinion in behavioral sciences, 2016, 8: 7-13.

    [116]

    MERCIER M R, MOLHOLM S, FIEBELKORN I C, et al. Neuro-oscillatory phase alignment drives speeded multisensory response times: an electro-corticographic investigation[J]. Journal of neuroscience, 2015, 35(22): 8546-8557.

    [117]

    ENGEL A K, SENKOWSKI D, SCHNEIDER T R. Multisensory integration through neural coherence[M]//The neural bases of multisensory processes. Boca Raton, FL: CRC Press/Taylor and Francis, 2012: 112-128.

    [118]

    ATREY P K, HOSSAIN M A, EL SADDIK A, et al. Multimodal fusion for multimedia analysis: a survey[J]. Multimedia systems, 2010, 16: 345-379.

    [119]

    ZHANG X, HUANG H, JIA X, et al. Multi-stage fusion for event-based multimodal tracker[C]//2024 IEEE International Conference on Multimedia and Expo (ICME). San Jose, CA: IEEE, 2024: 1-6.

    [120]

    ERNST M O, BANKS M S. Humans integrate visual and haptic information in a statistically optimal fashion[J]. Nature, 2002, 415(6870): 429-433

    [121]

    QI D, SU L, SONG J, et al. Imagebert: cross-modal pre-training with large-scale weak-supervised image-text data[J]. 2020, ArXiv preprint arXiv: 2001.07966.

    [122]

    YE H, HUANG D A, LU Y, et al. X-VILA: cross-modality alignment for large language model[J]. 2024, ArXiv preprint arXiv: 2405.19335.

    [123]

    YILDIRIM I, JACOBS R A. Learning multisensory representations for auditory-visual transfer of sequence category knowledge: a probabilistic language of thought approach[J]. Psychonomic bulletin and review, 2015, 22: 673-686.

    [124]

    SADATO N, OKADA T, HONDA M, et al. Cross-modal integration and plastic changes revealed by lip movement, random-dot motion and sign languages in the hearing and deaf[J]. Cerebral cortex, 2005, 15(8): 1113-1122.

    [125]

    BENETTI S, VAN ACKEREN M J, RABINI G, et al. Functional selectivity for face processing in the temporal voice area of early deaf individuals[J]. Proceedings of the national academy of sciences, 2017, 114(31): E6437-E6446.

计量
  • 文章访问数:  90
  • HTML全文浏览量:  48
  • PDF下载量:  26
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-07-09
  • 刊出日期:  2025-01-24

目录

/

返回文章
返回