贝叶斯神经网络的等变性与增强

Equivariance and Augmentation for Bayesian Neural Networks

贝叶斯神经网络的等变性与增强

https://arxiv.org/pdf/2606.26273

摘要

对称性对于许多深度学习任务很重要，范围从科学中的应用到医学成像。然而，关于是在神经网络架构上施加对称性约束（产生等变神经网络）还是从增强的训练数据中学习它们，目前仍存在持续的争论。尽管等变网络在理论上得到了充分研究，但对数据增强的了解却少得多，因为分析数据增强需要控制训练动态。受最近结果表明增强的无限深度集成（infinite deep ensembles）是完全等变的启发，我们研究了使用变分推断训练的贝叶斯神经网络（BNNs）的数据增强。我们专注于指数族中的变分分布，并推导出达到完全等变性的条件。我们进一步获得了等变误差的界限，并引入了三种新颖的对称化技术，这些技术在此设置下提升了数据增强的效果。我们进行了广泛的数值实验，结果表明我们的一种对称化方法（轨道扩展，orbit expansion）在等变性和整体性能方面均优于基线。我们的代码可在 github.com/dmw1998/augment-BNNs 获取。

1 引言

近年来，对称学习任务已成为一个重要的研究领域。在最初专注于逐层施加对称性约束的专用等变网络[1]之后，最近的注意力已转向从增强的训练数据中学习对称性[2]。这种方法的优势在于，在给定有效的对称变换机制的情况下，它实现起来很简单，并且可以与高度优化且性能良好的架构结合使用[3]。然而，由于对称性仅仅是学习到的而不是被强加的，因此它只是近似实现的。因此，需要新技术来提高从增强训练中获得的对称性收益。

显式的逐层等变神经网络很容易进行理论分析，而数据增强的研究要困难得多，因为它涉及训练动态（参见相关工作部分）。然而可以证明，在对初始化求期望时，数据增强会导致完全的等变性[4, 5]。近似这种期望值的一种实用但成本高昂的方法是训练一个深度集成（deep ensemble）。

这项工作的目的是研究一种更廉价的方法来实现这种“期望中的等变性”：在增强数据上使用变分推断训练贝叶斯神经网络（BNNs）。在这种设置下，从后验预测分布中采样取代了对集成的推理步骤，并产生了贝叶斯不确定性估计。在这种设置下，只需要一次训练运行即可获得变分后验，而深度集成则需要为每个集成成员进行一次训练运行。此外，由于BNN表现出稳定的分布外（out-of-distribution）行为，它们特别适合小数据集，即可以预期数据增强会产生最大影响的情形。

我们的主要贡献如下：

• 我们研究了在增强数据上训练的BNN，其变分分布来自指数族。我们表明，当训练从一个不变先验开始时，在一些温和的假设下，变分分布在训练过程中保持不变。这推广了Nordenfors、Ohlsson和Flinth [6]针对非贝叶斯网络训练的类似结果。

• 如果先验不是等变的，我们推导了变分分布偏离等变性的界限。我们进一步证明了由于有限采样导致的预测中等变误差的界限。这些理论结果通过数值方法得到了验证。

• 我们引入了三种对称化方法（几何平均、投影和轨道扩展），这些方法可以在训练期间应用以改善BNN的等变特性。我们在图像分类的广泛数值实验中测试了这些技术。轨道扩展在模型性能和等变性方面均优于基线。

2 相关工作

等变神经网络。 深度神经网络的对称性问题，即不变性和等变性，已经发展成为一个被称为几何深度学习的完整子领域[1]。等变网络最显著的构造方式是逐层构造。这种策略源于群卷积神经网络（GCNNs）[7]，但迄今为止已几乎被推广至由任何群诱导的任何对称性[8, 9, 10]。还有其他策略，例如从不变量中学习[11]、帧平均[12]、基本域投影[13]和群平均。也有一些工作近似地强制实现对称性，例如通过所谓的权重退火[14]。

数据增强与训练动态。 关于数据增强对神经网络训练动态影响的问题，已在多种简化情境下得到了探讨，例如特征平均模型[15, 16]以及线性神经网络[17, 18, 19]。在这些情况下，通常可以证明数据增强与等变性的等价性。完全非线性网络的研究见于Nordenfors、Ohlsson和Flinth [6]以及Nordenfors和Flinth [20]的工作中，我们在本文中将其结果推广至贝叶斯网络。

关于增强与限制之间差异的经验研究非常丰富。更为系统的探讨见于 Gandikota 等人 [21]、Gerken 等人 [22] 以及 Brehmer 等人 [23] 的工作。

贝叶斯神经网络。 深度学习的贝叶斯方法已被研究多年 [24]，因为它们能够为通常是黑盒模型的神经网络提供不确定性估计（概述可参见 Gal 的博士论文 [25]）。然而，要使 BNN 具有实际可用性，需要将变分推断整合到深度学习的训练方法论中 [26, 27, 28]。关于侧重于实际应用的 BNN 综述，请参阅 Jospin 等人 [29]。

先前的研究中鲜有探讨与 BNN 相关的对称性问题。Ouderaa 和 Wilk [30] 提出了一种针对 BNN 的概率群平均方法，以实现针对数据优化的软对称性约束。与我们的工作最接近的是 Mourdoukoutas 等人 [31]，他们使用了一种特定的先验，该先验结合了不同的权重共享方案，从而也结合了不同的对称性约束。在训练过程中，网络会学习哪种对称性最适合该数据。相比之下，我们考虑在增强数据上使用不强制权重共享的通用先验进行训练。

3 理论

我们要建立一个理论框架，以理解数据增强如何在变分贝叶斯推断中诱导等变性。我们分三步进行：首先，我们刻画指数族在群作用下何时是封闭的（第3.2节）；其次，我们展示数据增强训练如何使 ELBO（证据下界）保持不变，以及这如何影响训练（第3.3节）；第三，我们提出对称化机制并分析其性质（第3.4节）。

3.1 预备知识

在本节中，我们介绍贯穿全文所使用的数学工具。我们首先从指数族开始，它们为我们的理论分析提供了结构骨干，随后回顾变分推断以及形式化对称性所需的群论概念。

3.2 群作用下封闭的指数族

只有当参数空间在群变换下是封闭的时，神经网络才能从增强数据中有效地学习等变性 [6]。类似地，在贝叶斯设置中，我们将变分族限制为在群变换下封闭的那些族。如下定理所示，这对指数族施加了约束。我们在附录 C 中提供了证明。

3.3 数据增强诱导等变性

请注意，定理 3.7 并不直接依赖于增强数据，而仅依赖于不变的似然性（根据命题 3.1，这是由数据增强所蕴含的）。因此，当对称性存在于数据中但未知时，该定理仍然适用。然而在这种情况下，很难保证先验是不变的。下一个定理（我们在附录 E 中证明）表明，随着数据集大小的增加，非不变先验的影响会消失。

3.4 变分后验的对称化

4 实验

在我们的实验中，我们考虑作用于 FashionMNIST [33] 的 90°倍数旋转的循环群
。这种设置使我们能够进行精确的数据增强，并支持广泛的蒙特卡洛采样。在整个实验过程中，我们使用满足定理 3.2 约束的高斯变分分布。在附录 J 中，我们提供了针对其他变分分布的额外消融实验。代码可在 github.com/dmw1998/augment-BNNs 获取。

4.1 定理验证

4.2 图像分类上的对称化

接下来，我们在经验上比较第 3.4 节中的对称化机制。

设置。 我们训练一个卷积贝叶斯神经网络，包含两个分别具有 32 和 64 个通道的卷积层，随后是一个分类层，使用对角高斯变分族和标准的各向同性高斯先验。训练集由 5000 张随机选择的 FashionMNIST 图像组成，每张图像都经过完整的轨道增强（共产生 20000 个训练样本）。

我们注意到，当干预应用得较晚时，所有指标和策略的性能通常会下降。这是自然的，因为较晚的触发时间正好对应于重新初始化后较短的训练时间。几何平均的 OSP 和 Sym.KL 是这一趋势的唯一例外，但与所有其他方法相比，这种下降是从好得多的数值开始的。

轨道扩展产生了最好的结果。我们假设这是因为，与轨道平均技术相比，轨道扩展产生的参数具有额外的对称性，这是由于基滤波器数量受限所致（参见图 3 和图 5）。这些额外的对称性似乎诱导了更多的稳定性。然而，进一步探索此类效应仍是未来的工作。

5 结论与局限性

在我们的整个工作中，我们做出了一些限制结果范围的假设。特别是，我们专注于指数族。尽管这是一大类概率分布，但一些著名的分布并不属于它，例如高斯混合模型。此外，我们将分析（以及相应的实验）限制在有限群上，以便对（有限）增强数据集进行直接的定义。扩展到连续群将需要一种基于从对称群中采样的增强方法。尽管这超出了本工作的范围，但我们没有看到以这种方式扩展我们结果的概念障碍（另见附录 A 中的讨论）。最后一个局限性是相容性假设 (2)。鉴于中间表示选择的灵活性，这一限制是轻微的。

原文链接：https://arxiv.org/pdf/2606.26273