多感觉整合

• 多感觉整合（multisensory integration）早期研究——三大经验性原理
  • 时间原理（temporal principle）：单模态线索引起的神经元反应越同步，多模态线索引起的神经元反应越大。（不严谨版本：不同模态线索出现的时间越一致，神经元反应越大）
  • 空间原理（spatial principle）：单模态线索在空间上越靠近神经元相应模态的感受野，多模态线索引起的神经元反应越大。（不严谨版本：不同模态线索出现的位置越一致，神经元反应越大）
  • 反效果原理（inverse effectiveness principle）：单模态线索引起的神经元反应越强烈，多模态线索引起的神经元反应增强幅度反而越小。具体来说，当单模态线索引起的神经元反应较小时，多模态线索引起的神经元反应通常大于单模态引起的反应之和，这被称为超加性（superadditivity）；当单模态线索引起的神经元反应较大时，多模态线索引起的神经元反应通常等于或小于单模态引起的反应之和，这被称为加性（additivity）或次加性（subadditivity）。
• 多感觉整合的行为学与生理学研究
  • 基于可靠性的整合（reliability-dependent combination）
• 多感觉整合计算模型：
  • 贝叶斯整合理论
  • 概率群体代码（probabilistic population codes）
  • 除法归一化（divisive normalization）
  • 连续吸引子模型（continuous attractor neural network，简称 CANN）
  • 多感觉相关性检测器（ multisensory correlation detector，简称 MCD）
• 多感觉整合的发育

其它多感觉处理

• 多感觉错觉
  • 橡胶手错觉
  • 麦格克效应（McGurk effect）
• 多感觉分离（multisensory segregation）
• 因果推断（causal inference）：判断不同感觉线索是否有共同来源
• 通感
• 多感觉参考系及其转换
• 多模态机器学习：多模态表示、转化、对齐、融合、协同学习

文献推荐

综述

• 神经科学中的多感觉整合研究
  • 早期的三大经验法则：Stein, Barry E., and Terrence R. Stanford. “Multisensory Integration: Current Issues from the Perspective of the Single Neuron.” Nature Reviews Neuroscience, vol. 9, no. 4, 2008, pp. 255–266.
  • 近期结合心理物理学、神经生理学与计算模型的研究：Fetsch, Christopher R., et al. “Bridging the Gap between Theories of Sensory Cue Integration and the Physiology of Multisensory Neurons.” Nature Reviews Neuroscience, vol. 14, no. 6, 2013, pp. 429–442.
• 机器学习中的多感觉整合研究
  • Baltrusaitis, Tadas, et al. “Multimodal Machine Learning: A Survey and Taxonomy.” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 41, no. 2, 2019, pp. 423–443.

研究

• 多感觉整合的行为模型
  • 贝叶斯整合理论：Ernst, Marc O., and Martin S. Banks. “Humans Integrate Visual and Haptic Information in a Statistically Optimal Fashion.” Nature, vol. 415, no. 6870, 2002, pp. 429–433.（第一次把贝叶斯整合理论应用于多感觉模态整合的行为学研究中，之前贝叶斯整合理论应用于单感觉模态的多种线索的整合行为）
• 多感觉整合的神经生物学研究
  • 结合清醒动物行为与生理学的研究：Gu, Yong, et al. “Neural Correlates of Multisensory Cue Integration in Macaque MSTd.” Nature Neuroscience, vol. 11, no. 10, 2008, pp. 1201–1210.
  • 基于模态可靠性的加权：Fetsch, Christopher R., et al. “Neural Correlates of Reliability-Based Cue Weighting during Multisensory Integration.” Nature Neuroscience, vol. 15, no. 1, 2012, pp. 146–154.
• 多感觉整合的神经模型
  • 概率群体代码：Ma, Wei Ji, et al. “Bayesian Inference with Probabilistic Population Codes.” Nature Neuroscience, vol. 9, no. 11, 2006, pp. 1432–1438.
  • 除法归一化模型：Ohshiro, Tomokazu, et al. “A Normalization Model of Multisensory Integration.” Nature Neuroscience, vol. 14, no. 6, 2011, pp. 775–782.
  • 连续吸引子模型：Zhang, Wen-hao, et al. “Decentralized Multisensory Information Integration in Neural Systems.” The Journal of Neuroscience, vol. 36, no. 2, 2016, pp. 532–547.
  • 多感觉相关性检测器：Parise, Cesare V., and Marc O. Ernst. “Correlation Detection as a General Mechanism for Multisensory Integration.” Nature Communications, vol. 7, no. 1, 2016, pp. 11543–11543.
• 因果推断的行为模型
  • 层次贝叶斯：Körding, Konrad P., et al. “Causal Inference in Multisensory Perception.” PLOS ONE, vol. 2, no. 9, 2007.

参考：https://zhuanlan.zhihu.com/p/273192439