类脑智能：基于脑启发的智能研究新范式

来源：Bacomics

作者：孙宏泽 郭大庆

当前，以大模型为代表的人工智能呈现出高耗能、训练困难、不可解释的典型特点，并在安全性和伦理对齐方面暴露出明显的短板。为了缓解和规避这些问题，引导人工智能向通用人工智能发展，研究人员开始重新审视脑科学研究对于智能模型的积极意义。由此，以神经元和神经环路为基本要素，受大脑结构和功能启发的类脑智能成为智能概念研究的新风口，有望真正实现低功耗、可解释的通用人工智能。

▲图1：类脑智能研究现状及脉冲神经网络

截至目前，类脑智能研究可以从四个水平进行概括：神经元水平、模型水平、算法水平和硬件水平（如图1）。其中，神经元水平的研究注重对生物神经元复杂机制的挖掘，主要包括动力学复杂的神经形态计算、树突计算等等。模型水平上，研究人员通过从神经环路、脑模拟等不同维度进行智能模型的模拟，或者使用和传统ANN相同的前馈层级结构进行普适性的神经网络构建。而类脑智能模型的算法设计具有相对较为宽泛的理论约束，神经环路的结构、功能，人类智能的行为模式都可以作为启发类脑智能算法的理论依据，并在很多具体智能任务上取得了较好的成果。为了适应类脑智能在具体应用上的部署，面向类脑的芯片设计也成为很多研究人员关注的重点，这其中比较有代表性的包括神经形态芯片和基于第四类电子元器件的忆阻器芯片。通过定制化的芯片设计，类脑智能算法在边缘端和云计算等领域都展现出了优异的性能。为了兼顾神经元动力学复杂性和模型计算的简洁性，现阶段类脑智能的研究通常以LIF（Leaky Integrate and Fire）神经元搭建的脉冲神经网络为基本工具。通过基于代理梯度的时空反向传播等算法，脉冲神经网络可以像传统人工神经网络一样进行参数优化，并实现应用层面的快速部署。凭借脉冲神经网络，大量类脑智能相关研究实现了快速发展。

▲图2：脑启发算法的一些代表性工作

受大脑认知机制原理启发，当前脑启发算法从功能、结构、行为等不同水平对人脑智能模式进行了深入研究。其中，受神经可塑性机制启发，研究人员通过给基础LIF神经元引入可训练阈值、参数化膜时间常数等神经元内源可塑性机制，从而构建了神经元协同学习、神经元动态自适应等脉冲神经网络训练方法，在图像分类、时间信度分配等智能任务上取得了性能的提升[1][2]。同传统的人工智能研究相同，注意力机制在类脑智能当中同样是一个重要的课题。并且因为类脑智能强调更严格的生物约束，因此，脑启发的注意力算法在结构设计上具有更强的解释性，可以为以后的注意力相关研究提供指导[3]。此外，受人类智能行为启发，脑启发算法在缓解灾难性遗忘问题上也展现了较大的潜力。这其中，通过模仿人类睡眠、复习、知识梳理等行为，研究人员使类脑神经网络具备了连续学习的能力[4]。这类研究为GPT等预训练模型在类脑网络上的展开提供了基础，有望成为连接类脑智能和LLAMA模型的桥梁。

▲图3：类脑智能应用示例

考虑到类脑智能模型在低功耗、稀疏表征、可解释性上的优势，研究人员开始尝试在经典的智能场景中，部署类脑智能应用。其中，在多模态目标跟踪、机器人空间定位、多尺度脑模拟、机器人群体控制等任务上，类脑智能模型取得了具有竞争力的结果[5][6]。相较于传统人工智能模型，类脑智能模型在硬件平台上的功耗更低；且受益于LIF模型具有更高的时空动力学复杂性，类脑智能模型的设计通常更简洁，呈现出更好的生物合理性。除了上述已经初步形成规模的类脑智能应用实例外，基于类脑智能的机器人精细控制、人脸检测识别、运动估计等更具有难度的智能场景应用研究也已经逐渐展开，并产生了初步的成效。

▲图4：面向工程的类脑智能优化问题

随着类脑智能模型的成熟和应用场景的复杂化，面向工程的类脑智能优化问题日趋重要。而LLAMA的成功，使预训练大模型逐渐成为新的研究热点，在类脑智能领域，基于脉冲神经网络的类GPT模型也逐渐被提出[7]。因此，为了压缩模型的参数、降低模型的功耗，面向类脑智能的网络轻量化方案变得越来越重要。其中，基于跨模型知识蒸馏的参数压缩方法，可以保证压缩后的学生模型与压缩前的教师模型具有相同的表征空间，并且无需迭代训练[8]。在保证模型性能损失可控的情况下，跨模型知识蒸馏方法可以大幅度压缩模型参数至原始模型的10%以内，展现出优异的效果。而面向边缘端计算的类脑芯片，是类脑智能定制化计算加速的重要手段。除了以IBM TrueNorth和浙大达尔文为代表的神经形态芯片外，第四代元器件-忆阻器因其独有的阈值转换特性，也催生出了一系列高效、低功耗的忆阻器芯片。当前，类脑芯片仍然具有很大的发展空间。但研究人员相信，随着技术的革新和软硬件兼容性的提升，未来类脑芯片将会成为当前芯片解决方案的重要补充力量。

当前，世界主要国家和组织都将脑科学当做本世界最为重要的研究课题之一，为了对人脑智能涌现机制进行深入挖掘，不同规模的“脑计划”正如火如荼的展开。而作为一种基于脑启发的智能研究新范式，类脑智能也有望乘脑科学研究的东风，为面向更复杂场景的智能研究提供一种全新的可能。

参考文献：

[1] Zhang, Anguo, et al. "Event-driven intrinsic plasticity for spiking convolutional neural networks." IEEE Transactions on Neural Networks and Learning Systems 33.5 (2021): 1986-1995.

[2] Sun, Hongze, et al. "A synapse-threshold synergistic learning approach for spiking neural networks." IEEE Transactions on Cognitive and Developmental Systems (2023).

[3] Cai, Wuque, et al. "A Spatial–Channel–Temporal-Fused Attention for Spiking Neural Networks." IEEE Transactions on Neural Networks and Learning Systems (2023).

[4] Tadros, Timothy, et al. "Sleep-like unsupervised replay reduces catastrophic forgetting in artificial neural networks." Nature Communications 13.1 (2022): 7742.

[5] Yu, Fangwen, et al. "Brain-inspired multimodal hybrid neural network for robot place recognition." Science Robotics 8.78 (2023): eabm6996.

[6] Shen, Guobin, et al. "Brain-inspired neural circuit evolution for spiking neural networks." Proceedings of the National Academy of Sciences 120.39 (2023): e2218173120.

[7] Zhu, Rui-Jie, Qihang Zhao, and Jason K. Eshraghian. "Spikegpt: Generative pre-trained language model with spiking neural networks." arXiv preprint arXiv:2302.13939 (2023).

[8] Xu, Qi, et al. "Constructing deep spiking neural networks from artificial neural networks with knowledge distillation." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。