最近,Nature 发表了一篇非常有意思的文章——《A critical initialization for biological neural networks》。这篇文章讨论的并不是传统意义上的“学习算法”,而是在追问一个更根本的问题:为什么生物大脑能够如此高效地学习?为什么动物在出生后几乎不需要大量训练,就能迅速适应环境、形成行为甚至掌握复杂认知能力?
过去几十年,无论是神经科学还是人工智能领域,一个默认前提都是:智能主要来源于后天学习。但这篇文章提出,真正关键的可能并不是后天训练,而是神经网络在出生时是否已经被初始化到一种“适合学习”的状态。换句话说,大脑真正厉害的地方,可能并不是学习本身,而是它在开始学习之前,就已经拥有了一个高度优化的结构基础。
论文概要
项目
内容
论文标题
A critical initialization for biological neural networks
发表期刊
Nature
核心观点
生物神经网络存在“关键初始化”
研究方向
神经科学 × AI × 发育生物学
主要思想
学习效率来源于先天网络结构,而不仅是后天训练
AI启发
当前AI可能忽略了最重要的问题——初始化
这篇文章实际上是在重新定义“学习”本身。作者认为,生物神经系统并不是像当前人工神经网络一样,从随机参数开始慢慢训练。相反,大脑在出生之前,就已经通过发育和演化,被组织成一种非常适合学习的状态,因此后续经验更多是在已有结构上的微调,而不是从零开始构建能力。
![]()
为什么动物学习速度远超AI?
文章一开始提出了一个很经典但经常被忽略的问题:为什么很多动物几乎不需要训练,就能迅速形成复杂行为?比如小鹿出生后几个小时就能站立,婴儿天然偏好人脸,幼鸟能够快速识别危险,而当前人工智能模型往往需要海量数据和长时间训练,才能完成类似任务。
作者认为,这种差异背后的关键,并不在于学习规则,而在于初始网络结构是否正确。当前AI大多采用随机初始化,再通过数据不断优化参数;而生物神经网络则可能在出生前,就已经形成了特定的连接拓扑、兴奋与抑制平衡、动态传播特征以及稳定的信息处理模式。因此,生物学习并不是“从无到有”,而是在一个已经高度组织化的网络中快速适应环境。
文章真正核心:临界状态(criticality)
这篇文章最重要的理论核心,其实是“criticality(临界性)”。这是复杂系统科学中的经典概念,简单来说,就是系统既不能过于稳定,也不能过于混乱,而是需要位于秩序与随机之间的边界状态。
作者认为,大脑在出生时就已经被初始化到了这种“临界状态”。在这种状态下,神经网络的信息传播效率最高,对外界刺激最敏感,同时又能保持整体稳定,因此既具备高可塑性,又不会陷入噪声失控。
文章认为,很多生物智能的本质,都可能来源于这种临界动态结构。因为在过度稳定的网络中,信息很难传播,学习能力会下降;而在过度混乱的网络中,信号又会被噪声淹没,无法形成稳定记忆。只有位于临界点附近,系统才同时具备复杂行为生成能力与快速学习能力。
演化真正优化的,可能不是行为,而是初始化
文章里一个非常高级的观点是:演化真正优化的,也许并不是具体行为,而是神经网络的初始结构。
传统观点通常认为,动物依赖后天经验形成行为;但作者提出,从更长时间尺度来看,真正“学习”的其实是物种演化本身。数亿年的自然选择,并不是直接编码某种行为,而是在不断优化神经网络的初始拓扑和动态特性,使每个个体出生时,就已经拥有一个“适合学习”的大脑。
这其实和当前AI的发展方向非常像。因为现在大模型最重要的部分,并不是后续微调,而是大规模预训练形成的基础模型。作者甚至认为,生物大脑本质上也是一种经过长期演化“预训练”的系统。
![]()
为什么这对AI特别重要?
文章对人工智能最大的冲击在于,它暗示当前AI的发展方向可能存在一个根本问题:大家都在关注更大的模型、更长的训练、更高的算力,但真正被忽略的,可能是初始化本身。
当前深度学习模型通常从随机权重开始训练,因此需要巨量数据和极高能耗;而生物神经网络由于已经被演化优化到接近“临界状态”,所以只需要少量经验,就能迅速形成复杂能力。
因此,作者提出未来AI可能需要一种新的方向:developmental initialization(发育式初始化)。也就是说,AI不应该直接从随机参数开始,而应该先经历类似神经发育的阶段,逐渐形成适合学习的网络结构,然后再进入真正的学习过程。
![]()
发育生物学可能比学习本身更重要
文章还把这个理论进一步连接到了发育生物学。作者认为,胚胎时期的大脑发育过程,其实不仅是在“长出大脑”,更是在完成神经网络的初始化。
包括神经元迁移、轴突导向、突触修剪、兴奋与抑制平衡形成,以及睡眠相关活动等过程,都可能是在把神经网络推向一种适合学习的临界状态。因此,很多所谓“关键发育窗口”,本质上可能是在完成网络动态结构的建立,而不仅仅是简单的生长。
这也能解释为什么儿童时期的大脑具有极高学习能力。因为相比成年人,儿童大脑更加接近临界状态,网络更敏感、更动态、更容易形成新连接,因此语言学习、认知形成和环境适应速度都远高于成年后。
![]()
这篇文章为什么值得关注?
这篇 Nature 最吸引人的地方在于,它并不是单纯讨论“神经网络如何学习”,而是在重新思考:为什么神经网络能够学习。
它把神经科学、复杂系统、发育生物学和人工智能连接到了一起,并提出了一个非常重要的思想:
智能可能并不是训练出来的,而是“初始化”出来的。
真正决定系统是否能够高效学习的,也许不是后天经验本身,而是系统在开始学习之前,是否已经被组织到了正确的状态。
而生物演化,可能早已替大脑完成了数亿年的“预训练”。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.