97.63%对97.63%，平铺L2把新任务砸到18%

在 Permuted MNIST 上，一个平铺的 L2 惩罚项可以精确复现 EWC 在任务 A 上的保留数字：97.63% 对 97.63%。代价是同一设置下任务 B 的准确率跌到 18.42%，而 EWC 是 97.43%。同一个头条数字，藏着两种完全不同的成本。

这项对比来自一个预先注册的检验：平铺、均匀的 L2 正则，能否在可比成本下追平 EWC 的 Fisher 加权惩罚。EWC（弹性权重巩固，Kirkpatrick 等人，2016）的做法是惩罚参数偏离任务 A 最优解，偏离的力度由对角 Fisher 信息估计加权——对任务 A 越重要的参数，被拉回得越狠。这份估计本身有计算开销：1000 个样本，每个样本一次前向-反向传播。

要回答的问题是：Fisher 加权本身值这份开销吗，还是任何朝旧参数方向的二次拉回、均匀且不带信息，效果都一样？

闸门是怎么定的

检验方案在跑任何实验之前就固定了规则：扫描一系列 L2 强度，报告其中对任务 B 准确率的成本最接近但不超过 1 个百分点的设置，以对齐 EWC 自身 0.41 个百分点的成本。如果该点上任务 A 准确率落在 EWC 的 3 个百分点以内，那么“Fisher 加权有意义”这一主张就被否决。

结果闸门确实触发了。六个测试强度（0.01 到 1000，对数刻度）中，最便宜的一档 lambda=0.01 拿到 96.77% 的任务 A 准确率，比 EWC 的 97.63% 低 0.86 个百分点，稳稳落在 3 个百分点的门槛内。按预先注册规则的字面意思，Fisher 加权提供可测量优势的假设被否决。

但闸门本该遵守的“公平预算”从未被真正满足。同一个 lambda=0.01 设置让任务 B 准确率付出 2.70 个百分点的代价（97.84% 降到 95.14%），而不是方案里定义的 1 个百分点。更便宜的选项在任务 B 上损失更小，但恢复的任务 A 也更少；更强的选项恢复更多任务 A，任务 B 的代价更陡。整个扫描里没有一个点落在方案定义的“可比”预算之内。

lambda=10 那一档

扫描中有一个点让取舍无处躲藏。在 lambda=10 时，平铺 L2 的任务 A 准确率达到 97.63%，与 EWC 精确到小数点后两位完全一致。只看这一个数字，两种方法像是可以互换。同一设置下任务 B 准确率是 18.42%，EWC 是 97.43%。网络并没有学会在保护任务 A 关键参数的同时保留吸收任务 B 的自由，它几乎完全停止学习任务 B——而冻结一个网络，本来就是保护旧知识最廉价的办法，与知识来自哪里无关。

这正是粗糙对比会漏掉的形状：只挑一个数字，旧任务上的保留率，两种截然不同的机制看起来可以打平。补上那个没人问起的数字，画面完全反转。它也解释了为什么扫描从未找到落在公平预算内的点：随着 lambda 上升，任务 A 准确率平滑逼近 EWC 的数值，但任务 B 准确率在任务 A 追上之前就断崖式下跌。在“弱到不起作用”和“强到冻结网络”之间，至少在这个搜索粒度上，没有中间档位。

Fisher 加权到底重不重要

两个答案，取决于问的是哪个问题。如果问的是“更简单的方法能不能打到 EWC 的保留数字”，这个实验说能，至少在这个温和的 Permuted MNIST 设置下，只要均匀压力足够大。如果问的是“更简单的方法能不能在打到这个数字的同时，还让网络学得动下一个任务”，所有测试设置的答案都是不能。Fisher 加权不是拿到头条数字的硬性要求，它是 EWC 在拿到这个数字之后仍然对后续任务有用的原因。

这个区分不止适用于一个基准。任何只报告“方法 X 保住了 Y% 的旧任务准确率”的结果，都只说了半个结论。另一半——这个方法为此付出了什么——才决定它是一个可用的持续学习方法，还是一个悄悄停止学习的网络。保留数字缺了对应的新任务成本，不算错误陈述，但它是残缺的，而这个实验正是一个缺失的那一半会彻底改变结论的案例。

至于为什么扫描多个 L2 强度而不是直接调一个值去匹配 EWC：在看到结果之后调单个值去对齐已知目标，正是预注册要防的事后诸葛。扫描范围和公平预算规则都在任何运行之前固定，报告出来的选择是那条规则的诚实输出，不是事后挑出来的好看数值。

这个对比由一封来信促成——对方在跟进早前 EWC 实验时直接问，平铺 L2 基线测过没有。答案是没测过。凭直觉回答很容易，而且很可能错得很有意思，lambda=10 的结果就是证明，所以诚实的选择是注册一个方案然后跑它，而不是猜。