【深度】基于好奇心的类脑脉冲神经网络学习模型

曾毅研究团队将大脑中基于好奇学习的规则与更具生物合理性的脉冲神经网络(Spiking Neural Networks, SNNs)相结合，在达到同等正确率的情况下，极大降低计算能耗。

与该课题组成员张铁林副研究员、曾毅研究员等人开展的前期工作——领域内领先的纯生物合理的脉冲神经网络VPSNN(电压驱动的以塑性为中心的SNN) (发表于AAAI 2018)相比，在MNIST手写数字识别问题上达到同等正确率的情况下，基于好奇心的类脑脉冲神经网络学习模型只用前者54.95%的计算代价。与此同时，在Iris、NETtalk、Fashion-MNIST和CIFAR-10等视觉与语音数据集上也可以得到相近甚至效果更好的结论(如在Fashion-MNIST上仅消耗VPSNN的18.35%的计算代价)。这为SNN的实时应用提供可能。

相关论文发表在国际期刊Frontiers in Computational Neuroscience上。

曾毅研究员表示，学习可以是主动的也可以是被动的，而有动机的主动学习往往更加高效。好奇（curiosity）是促进大脑进行主动探索和学习的重要认知功能和机制之一，正是由于好奇的存在，人类和其他动物得以在纷繁复杂的信息输入的情况下高效而准确地学习并获取新的知识与技能。

传统的学习方法通常从固定批次中获取训练数据的表征，很少考虑随着时间的推移，信息会增量式地变得可用。神经生物学的研究表明，当大脑在面临新颖的刺激或者学习全新的知识时，会激发中脑边缘通路（即奖赏通路）的响应，与此相关的脑区在多巴胺等神经递质的调控下产生动机、注意、学习、记忆调用和存储等行为。因此，基于好奇心的学习机制一定程度上弥补了传统人工神经网络训练中面临的问题。

算法的主要贡献者硕士研究生史梦婷介绍，SNN近年来在许多图像和语音任务中已经在正确率方面逐步具有了良好的表现。然而，神经元层面的耗时计算和复杂的优化方法限制了其实时应用。受基于好奇的学习机制启发，课题组提出了一个基于好奇心的SNN (CBSNN)模型，该模型包含四个主要的学习过程：

进一步的实验和分析证明，这种基于好奇心的学习方法有助于提高SNNs的效率。据了解，这是好奇机制和SNN的第一次实际结合，这些改进将使SNN在冯诺伊曼框架下的实际应用更为可行。

据曾毅研究员介绍，此项工作是团队在基于好奇心的类脑神经网络系列工作的一个初步开端。在这个工作中为了更明确的探索好奇机制对于网络的作用，尽可能减少其他因素的干扰，团队集中于浅层网络的构建和应用中，未来的工作要探索在更为深层的网络上的意义。此外，这里是对好奇机制的非常初步的应用，更关键的是研究团队正在进行的研究工作，即构建好奇的多脑区协同计算模型，深刻融合神经科学的发现与计算建模的作用，从而揭示好奇的本质，并进一步启发新一代类脑自主学习的人工智能模型。

https://www.frontiersin.org/articles/10.3389/fncom.2020.00007/full

往期文章

万众一心 我们终将战胜这一疫情——中国自动化学会致广大理事、会员的一封信
中国自动化学会给大家拜年了！你若安好，便是团圆！
【回首2019，祝福2020】不负韶华，只争朝夕！CAA秘书处给您拜大年！
【喜报】恭喜陈俊龙教授当选IEEE Transactions>主编 
【重磅】2020年度国家自然科学基金项目指南正式发布
【CAC2020】2020中国自动化大会征文通知
【喜报】2019年度国家科学技术奖揭晓，学会会员喜获四项二等奖
【征文启事】第35届中国自动化学会青年学术年会
【新年首发】“我”的2020年工作计划
【新年寄语】中国自动化学会理事长郑南宁院士新年寄语