打开神经网络的“黑箱”：费舍信息揭示深度学习的极限

摘要

在物理测量中，从实验数据中估计连续参数的精度受限于系统所携带的费舍信息（FI）——它刻画了未知参数在观测数据中的可辨识度。随着人工神经网络被广泛引入实验测量与反演分析，理解它们在内部如何处理、传递并保留这些与参数相关的信息，成为一个关键问题。本文提出了一种方法，用于监测费舍信息在神经网络中的流动过程，从输入层到输出层进行追踪。研究表明，当网络达到最优估计性能时，FI传输达到最大；若继续训练，信息反而开始损失，对应过拟合的出现。该工作不仅揭示了神经网络学习的物理机制，还提出了一种基于FI的“无模型早停”准则，为深度学习的高效与可解释训练提供了新思路。

关键词：费舍信息（Fisher Information, FI），人工神经网络（Artificial Neural Networks, ANNs），信息流（Information Flow），无模型的早停准则（model-free stopping criterion），参数估计（Parameter Estimation）

赵思怡丨作者

论文题目：Fisher Information Flow in Artificial Neural Networks 论文链接：https://journals.aps.org/prx/abstract/10.1103/kn3z-rmm8 发表时间：2025年9月16日 论文来源：Physical Review X

费舍信息视角下的神经网络：

信息流动的物理图景

在现代科学研究中，人工神经网络（ ANNs）已成为从实验数据中提取规律、估计参数的重要工具。无论是在光学成像、量子测量，还是复杂材料建模中，神经网络都展现出超越传统算法的强大表现。然而，研究者们提出了一个极具洞察力的问题：

当神经网络学习估计一个物理参数时，信息是如何在层与层之间流动、损失或被压缩的？

近期，来自维也纳工业大学、格拉斯哥大学、鲁尔大学波鸿和法国格勒诺布尔大学的研究团队提出了一种全新的分析框架，利用费舍信息（FI）来定量追踪神经网络中与待估参数相关的信息流动。他们发现，网络的学习过程可被视为费舍信息逐步守恒的演化过程；当信息传输达到最大化时，网络也恰好实现最优的估计性能。相关成果为深度学习提供了一个具有物理意义的解释路径，并提出了无需验证集的“信息早停”准则。

从互信息到费舍信息：

量化信息流的新方法

传统的信息论研究通常依赖互信息（Mutual Information, MI）衡量输入与输出之间共享的信息量，但在高维连续空间中，互信息的计算往往极其困难，并可能在确定性映射中出现发散。相比之下，FI关注的是系统对未知连续参数的响应灵敏度，直接与参数估计的精度极限——克拉美–罗下界（Cramér–Rao Lower Bound, CRLB）相关。

本研究的出发点在于：不仅仅考察网络参数的不确定性，而是追踪输入数据中关于物理参数的信息在网络内部的传输过程。为此，研究团队提出了一个可计算的近似指标——线性费舍信息（Linear Fisher Information, LFI）。LFI只依赖样本的均值与协方差即可估计信息量，无需显式知道数据的概率分布，从而能够在复杂的深度网络中高效计算并逐层追踪信息变化。

实验验证：

在噪声主导的光学成像中追踪信息流

为验证理论框架，研究团队设计了一个具有代表性的物理实验：在光学显微镜下，对一个印有“Space Invader”图案的微小物体进行水平位移测量（如图1）。实验条件被刻意设置为极低信噪比（约 13%），以模拟在噪声主导环境下的极限参数估计问题。

图1：左侧光源发出的光束照射在刻有“space invader”图案的玻璃载片上。透过物镜到达相机的光场强度包含关于目标水平位置 θ 的FI。实验所得图像被输入ANN进行训练，用于预测参数。神经网络需尽可能保留FI，才能实现对 θ 的高精度估计。

在这一任务中，神经网络被训练来预测物体的水平位置参数 θ。研究者在训练过程中实时计算各层的LFI，以监测信息在网络中的传播规律。结果表明：

• 在训练初期，随机初始化的权重导致大量费舍信息在非线性层中损失；

• 随着训练的推进，网络逐步优化内部映射，使得信息传输效率显著提升；

• 当模型性能达到最优时，输出层的FI接近输入层，表明网络几乎保留了输入数据中关于参数的全部有效信息。

在模拟数据中，这种“信息守恒”关系几乎完美成立；而在真实实验数据中，约有80%的信息得以保留，主要受限于实验噪声和参数取值范围（如图2）。

图2：数值模拟数据的LFI最大化过程。曲线显示LFI在连续高维嵌入下的变化趋势。虚线为理论计算的真实FI，用于验证算法收敛性。

信息约束下的最优训练：

无需验证集的早停准则

深度学习中，判断训练何时结束是一项长期存在的挑战。通常做法依赖验证集监控误差变化，但这一经验性方法缺乏理论依据。本文基于FI框架提出了一个物理意义明确的早停判据：当模型的均方误差（MSE）达到由FI决定的克拉美–罗下限CRLB时，网络已提取完全部可用信息。此时若继续训练，网络将开始拟合噪声，导致过拟合现象。

这一条件可通过简单的乘积形式：MSE × I ≈ 1来检验。实验表明，该准则预测的最佳停止时刻与验证集误差最小点高度一致，但无需额外数据集即可实现训练控制，为信息驱动的模型优化提供了实用工具（如图3）。

图3：归一化均方误差（MSE）随训练历元的变化。 (a) 为带高斯噪声的模拟数据，(b) 为实验数据。深色曲线为验证损失，浅色曲线为训练损失。虚线表示 MSE×I=1的位置，对应训练的最佳停止点。

意义与前景：

以信息流为核心的神经网络理解

这项研究为理解深度学习的内部机制提供了新的定量化视角。通过追踪费舍信息在神经网络中的传播路径，研究者揭示了一个可能的普遍规律：神经网络的学习过程可被理解为费舍信息逐步趋于守恒的过程。

这一观点不仅有助于解释网络在不同训练阶段的表现差异，也为模型结构设计提供了新的启发。未来，研究者计划将这一框架扩展至带有残差连接的ResNet结构、物理神经网络（Physical Neural Networks）及更广泛的实验数据分析任务中。

在更宏观的意义上，这项工作展示了信息论与深度学习、实验物理的融合潜力。当信息流动被视为科学系统的共同约束原则，我们或许能够在人工智能与自然智能之间，找到一种更深层次的对应关系。

大模型可解释性读书会

集智俱乐部联合上海交通大学副教授张拳石、阿里云大模型可解释性团队负责人沈旭、彩云科技首席科学家肖达、北京师范大学硕士生杨明哲和浙江大学博士生姚云志共同发起。本读书会旨在突破大模型“黑箱”困境，尝试从以下四个视角梳理大语言模型可解释性的科学方法论：

自下而上：Transformer circuit 为什么有效？

自上而下：神经网络的精细决策逻辑和性能根因是否可以被严谨、清晰地解释清楚？

复杂科学：渗流相变、涌现、自组织等复杂科学理论如何理解大模型的推理与学习能力？

系统工程：如何拥抱不确定性，在具体的业界实践中创造价值？

五位发起人老师会带领大家研读领域前沿论文，现诚邀对此话题感兴趣的朋友，一起共创、共建、共享「大模型可解释性」主题社区，通过互相的交流与碰撞，促进我们更深入的理解以上问题。无论您是致力于突破AI可解释性理论瓶颈的研究者，探索复杂系统与智能本质的交叉学科探索者，还是追求模型安全可信的工程实践者，诚邀您共同参与这场揭开大模型“黑箱”的思想盛宴。

读书会已于2025年6月19日启动，每周四晚19:30-21:30，预计持续分享8-10周左右。

详情请见：

1.

2.

3.

4.

5.

6.