超越常规概率模型

超越常规概率模型

Squared families: Searching beyond regular probability models

https://arxiv.org/pdf/2503.21128?

摘要

我们引入了平方族（squared families），这是一类通过对某个统计量的线性变换进行平方后得到的概率密度函数族。平方族具有奇异性，但这种奇异性可以被容易地处理，使得它们成为正则模型。在处理掉奇异性之后，平方族具有许多良好的性质。

其Fisher信息矩阵是来自Bregman生成函数所诱导的Hessian度量的一个共形变换。这个Bregman生成函数即为归一化常数，并且它在这个分布族上定义了一个统计散度（statistical divergence）。该归一化常数具有一个有用的参数-积分分解形式，这意味着在整个平方族中，所有归一化常数只需要计算一个与参数无关的积分即可，这一点不同于指数族。

此外，平方族的核函数（kernel）是唯一需要计算的积分，它可以用于Fisher信息、统计散度和归一化常数的表达。

接着，我们描述了平方族在更广泛的g族（g-families）中的特殊地位。g族是通过将一个足够光滑的函数g作用于统计量的线性变换所构造出的分布族。在去除特定的奇异性之后，只有正齐次族（positively homogeneous families）和指数族的Fisher信息矩阵是Hessian度量的共形变换，其中生成函数仅通过归一化常数依赖于参数。

偶数次单项式族（even-order monomial families）是唯一既无穷可微又满足正齐次性的分布族，它们也像指数族一样具有自然的参数-积分分解形式。

最后，我们在模型设定正确和错误的情况下研究了平方族中的参数估计和密度估计问题。我们利用一种通用逼近性质（universal approximation property），证明平方族可以以渐近速率学习充分良好行为的目标密度，其中 N 是数据点数量，n 是参数数量，C 是一个与数据无关的常数。

关键词 ：密度估计，信息几何，指数族，通用逼近

1 引言 1.1 概率分布族及其应用

具有可计算性、灵活性和可学习性的概率密度函数族在统计学和机器学习中有着广泛的应用。一个极端但常见的应用是（条件）密度估计，其中我们尝试通过从该分布族中选择一个元素来近似目标密度 q，使得这个元素在某种意义上与从 q 中采样的数据最匹配（Barron 和 Sheu, 1991；Deisenroth 等, 2020；McLachlan 等, 2019）。另一个极端是参数估计，其中已知目标密度 q属于该分布族，我们的任务是找出 q 的可识别参数（Lehmann 和 Casella, 2006）。在这两个极端之间，还存在一系列丰富的问题，例如密度比估计（Sugiyama 等, 2012）、散度估计、聚类（Banerjee 等, 2005）、广义线性建模（包括回归和分类）（McCullagh 和 Nelder, 1989）、参数双样本检验（Lehmann 和 Romano, 2022），以及更一般地，在任何图模型中的推理与估计（Wainwright 和 Jordan, 2008）。所有这些问题的核心都是那些具有良好计算、几何和统计性质的概率密度参数族。

指数族

前一段所引用的许多研究探讨了（混合）指数族的特殊情况。指数族之所以在这些应用中无处不在，主要是因为它们具备良好的几何、统计和某些情况下的计算性质。

几何性质：

每一个指数族都构成了一个由其自然参数索引的流形（Amari, 2016）。在这个流形上，由严格凸的对数归一化常数生成的 Bregman 散度等于概率分布之间的逆 KL 散度。通过对 Bregman 生成函数的凸共轭可以得到对偶参数（期望参数）和对应的散度。黎曼度量是严格正定的 Fisher 信息矩阵。

统计性质：

Fisher 信息恰好是指数族中参数估计的精度，并达到了 Cramer-Rao 下界的等式（在一定正则条件下是唯一的）（Wijsman, 1973；Joshi, 1976）。更一般地，在指数族之外，Fisher 信息描述了围绕真实值的最大似然估计在渐近意义下高斯分布的精度。Fisher 信息在指数族中具有特别优美的形式，它既是 Bregman 生成函数的 Hessian 矩阵，也是模型下充分统计量的协方差矩阵（Wainwright 和 Jordan, 2008）。

计算性质：

指数族也是唯一一类在独立同分布样本数量增加时，其充分统计量的维度保持有界的分布族（前提是分布域不依赖于参数），这被称为 Pitman-Koopman-Darmois 定理。这意味着参数可以通过仅使用一个有限维的统计量进行更新，而无需存储完整的观测数据集。这在图模型中很有帮助，尤其适用于贝叶斯设置，其中有时只需更新有限维的充分统计量即可完成贝叶斯更新（Wainwright 和 Jordan, 2008）。然而，指数族似然的共轭先验必须仔细选择，常常迫使人们使用某种概念上不合适的具体先验。此外，即使在非贝叶斯设定下，除了特殊命名的分布（如高斯分布、拉普拉斯分布、泊松分布、伽马分布、二项分布、瑞利分布等（Nielsen 和 Garcia, 2009））外，一般情况下要计算或逼近归一化常数仍然需要处理复杂的指数积分。

在现代机器学习架构中，保持具有可计算归一化常数的灵活模型（Wilson 等, 2016；Papamakarios 等, 2021）、近似或绕过归一化常数的计算（LeCun 等, 2006；Graves, 2011；Knoblauch 等, 2022）仍然是一个活跃的研究方向，广泛应用于参数估计、推理和预测中。

1.2 贡献

在第 3 节中，我们聚焦于平方族 ，并描述它们所具有的良好性质。设 (X,F,μ) 是一个测度空间，其中 X 是一个集合，F 是一个 σ-代数，μ 是一个参考 σ-有限测度，并考虑关于 μ 的概率密度函数，其形式为：

其中 g 是某个足够光滑的非负函数。我们证明，在具有特定奇异性的情况下，这类 g-族可以被刻画为正齐次族 （positively homogeneous families），偶数次单项式族和平方族都属于此类。我们推导了它们的 Fisher 信息矩阵，并展示了一种去除奇异性的简单方法，还展示了在偶数次单项式族这一特例下归一化常数的一种可计算分解形式。

在去除了奇异性之后，只有指数族和正齐次族的 Fisher 信息矩阵是来自某个 Bregman 生成函数的 Hessian 度量的一个共形变换，而该生成函数仅通过归一化常数依赖于参数。这是一个非常便于计算的性质，因为它允许在 Fisher 信息、归一化常数和统计散度之间重用相同的积分结果。除了指数族之外，偶数次单项式族还额外具备归一化常数的可计算分解形式。各类 g-族之间的比较总结见表 1。

在第 5 节中，我们研究了平方族中的最大似然估计问题。在模型设定正确的情况下，标准的渐近正态性结果适用，其估计精度由 Fisher 信息决定，而 Fisher 信息本质上简化为平方族核。在模型设定错误的情况下，当估计一个任意但具有良好性质的目标密度时，我们证明通过最大似然估计得到的平方族拟合与目标密度之间的 KL 散度接近于该平方族中与目标密度（在 KL 散度意义下）最接近的那个密度之间的 KL 散度。特别地，这两个 KL 散度之间的差值依概率收敛到零的速度为 ，其中 N 是数据点数量。最终，目标密度与平方族中最优密度之间的 KL 散度被限制为，这里利用了神经网络的通用逼近结果，其中 n 是参数数量。

所有证明均给出在附录中。

相关工作
尽管文献中已存在一些类似于平方族的模型，据我们所知（参见第 3 节），尤其在计算性质和相对于其他模型类别的表示能力方面，尚无先前工作分析过此类模型的几何性质及其下游的统计估计性质，也未将其纳入现有的通用逼近结果框架中。我们在文中对相关结构进行了讨论。

2 背景

记号说明
我们假设所有分布 P 和 Q 都关于一个共同的基测度 μ 存在概率密度函数 p 和 q。对于参数空间、分布空间和函数空间中的双参数散度（如 d(a:b)），我们一律使用冒号 : 作为参数分隔符，即使这些散度可能是对称的。表 2 中给出了记号惯例和重要重复使用的符号的总结。

我们并不试图对 Fisher 信息、指数族、统计散度、参数空间散度或函数空间散度提供一个完整的背景介绍。相反，我们假设读者已具备一定的相关基础，并仅列出我们所需的重要的量和性质，在有需要的地方指引读者参考相关文献以获取进一步的背景知识。

2.1 费舍尔信息

我们假设在本文中，费舍尔信息矩阵是有限的且不等于零。

2.2 参数、统计与函数散度

Fisher 信息度量与 f-散度
每一个 f-散度都会在两个无穷小位移的分布之间的统计散度中诱导出 Fisher 信息，表现为一个正定形式（例如，参见 Amari, 2016, §3.5）。Fisher 信息通过 Cramer-Rao 下界描述了任何估计量的方差的下限，并且它对于描述估计方法的极限也非常有用。例如，在较弱的正则条件下，一个设定正确的统计模型的最大似然估计在渐近情况下会趋近于一个高斯分布，其均值等于真实参数，方差等于 Fisher 信息的逆除以样本数量。更一般地，误设模型的最大似然估计也可以使用一个类似于 Fisher 信息的量来进行分析（White, 1982）。

Hessian 度量
根据泰勒定理的均值形式，由函数 ϕ 生成的 Bregman 散度可以表示为沿连接该散度两个参数点连线上的 ϕ的 Hessian 矩阵的积分。因此，Bregman 生成函数 ϕ 的 Hessian 矩阵 给出了参数流形上的一个度量，我们称之为 Hessian 度量 。

f-散度不等式
我们分析中使用的三种 f-散度的例子是 Kullback-Leibler (KL) 散度、平方 Hellinger (SH) 距离和全变差 (TV) 距离。KL 散度定义为：

3 平方族

在本节中，我们引入平方族 并讨论它们的一些良好性质。这些性质是以“正向”的方式展示的：从平方族的定义出发，逐步推导出它们的各类性质。

随后在第 4 节中，我们将以“反向”的方式使用这些性质：从一些理想性质出发，通过特征刻画来导出平方族的结构。

3.3 统计散度与 Bregman 散度

在建立了 Fisher 信息矩阵与归一化常数之间的联系之后，并且归一化常数可以通过参数-积分分解形式进行近似的情况下，我们现在将注意力转向也与归一化常数相关的统计散度。为了实现这一目标，我们引入了两个参数空间：一个是半空间（half space），另一个是椭球的边界（boundary of an ellipsoid）。

因此，它仍然满足一个参数-积分分解形式。当 m=n 时，对参数空间进行限制的合适推广是通过 Cholesky 分解或类似的矩阵分解方式来实现的。

平方高斯过程

在泊松点过程强度估计的背景下，也有若干研究使用高斯过程的平方范数来建模强度函数（McCullagh 和 Møller, 2006；Lloyd 等, 2015；Walder 和 Bishop, 2017；Kim 等, 2022；Sellier 和 Dellaportas, 2023）。

使用平方高斯过程建模强度函数，将原本计算归一化常数的计算或分析难题转化为计算积分强度函数的难题。其频率学派对应的方法是使用 RKHS 中某元素的平方（Flaxman 等, 2017），这类似于用于密度建模的平方核方法，其中 M 被限制为秩 1 矩阵；积分可以通过“等效核”（equivalent kernel）的概念来进行近似（Rasmussen 和 Williams, 2006, §7.1）。

概率电路

类似的平方概率模型也出现在概率电路 （probabilistic circuits）文献中（Choi 等），其中也指出，通过对函数进行平方操作，可以在概率电路中实现可追踪的归一化和组合操作，这类电路被称为平方电路（squared circuits），并已有若干关于其表示能力的研究成果，表明它们可以用其他概率电路的组合来表示（Loconte 等, 2024a, 2023b, 2024b；Wang 和 Broeck, 2024），并已被应用于将知识图谱嵌入模型转化为生成模型（Loconte 等, 2023a）。

边缘分布与条件分布

我们还可以计算平方族密度的边缘分布和条件分布，这一性质推广了 SNEFY 模型的一个特性（Tsuchida 等, 2023, 定理 1 和定理 2）。

4 g-族

我们考虑一类更广泛的模型族，其中平方族 是其特例。引入这类更一般模型的目的，是为了在该类中确立平方族和偶数阶单项式族为唯一满足某些特定性质的分布族。

在这一更广泛的模型族背景下，我们将平方族的良好性质进行推广，并将其归纳为两个理想特性（desiderata）。我们证明第一个理想特性仅被正交奇异的 g-族 和指数族 所满足。此外，我们通过观察发现，该更一般的模型族等价于正齐次族 （positively homogeneous families），而偶数阶族是其中的一个特例。

我们进一步表明，第二个理想特性被偶数阶单项式族 所满足，但不被其他正齐次族或指数族所满足。因此，在某种意义上，平方族是一类具有良好性质的分布族中的优秀代表。

4.1 概率模型族的两个理想性质

归一化常数、Hessian 度量、Fisher 信息与散度之间的关联

如果归一化常数及其梯度和 Hessian 矩阵可以直接以闭合形式用于刻画概率分布流形的几何结构，而无需计算额外的积分，那将是十分便利的。这意味着只需计算一个统一的积分，就可以同时实现对分布族的正确归一化以及对估计过程极限的理解。

在这里，我们给出该性质成立的一个判据。

一个 Hessian 度量 是通过对参数 θ 的凸 Bregman 生成函数 ϕ 取其 Hessian 矩阵构造得到的，它在参数空间 Θ上定义了一个黎曼度量。另一方面，Fisher 信息矩阵 则是概率分布流形上的自然黎曼度量。

我们希望这个凸生成函数仅通过归一化常数 z(θ) 来依赖于参数 θ，并且由此产生的度量等于 Fisher 信息矩阵 G(θ) 的一个共形变换 （conformal transformation）。换句话说，我们要求满足以下条件：

4.2 通过线性模型的非负变换构造的 g-族

鉴于第 4.1 节中提出的两个理想性质（desiderata），以及我们在第 3 节中已经证明平方族 同时满足这两个性质，一个自然的问题是：还有哪些其他分布族也同时满足这两个理想性质？

结果表明，偶数阶单项式族 （其中平方族是一个重要的特例）也同时满足这两个理想性质。而指数族 并不显然满足 Desideratum 2。

更一般地，只有正齐次族 （positively homogeneous families）和指数族 满足 Desideratum 1。

4.2.1 正则性条件

在本节中，我们将使用一些关于函数 g、统计量 ψ 和测度 μ 的温和正则性条件，具体见假设 5 和 假设 6 。其中一些正则性条件在未来的工作中可能可以被进一步放宽。我们首先陈述对函数 g 的正则性要求。

第一个条件是保守而较强的，它避免了需要根据 ψ 的取值范围和参数集 Θ 来定义某些复杂的支撑集（support）。
第二个条件是为了应用概率论中的标准工具所必须的严格要求。
第三个条件使得我们可以应用围绕 Fisher 信息以及估计量渐近正态性的一系列经典工具，尽管使用更高级的“局部渐近正态性”（local asymptotic normality）概念可能可以放宽该条件（例如参见 Le Cam 和 Yang, 2000）。
最后一个条件不失一般性，它对函数 g 的尺度进行了固定，因为将任意 g 乘以一个常数后仍将得到相同的概率密度。

下面我们陈述对统计量 ψ 的正则性要求。

第一个条件排除了那些始终指向同一方向的特征 ψ，即那些其有效信息仅体现在自身范数上的特征。
第二个条件本质上要求对于某个 x∈X，预测值 θ⊤ψ(x) 可以取负值。
最后一个条件类似于神经网络中的偏置（bias）。这一偏置有助于确保模型具有足够的表达能力，以捕捉所有感兴趣的函数。

4.3 正交奇异性与 Fisher 信息

对于形如 (9) 的 g-族，如附录 B.1 所示，Fisher 信息矩阵（见公式 (2)）总是可以分解为一个半正定（PSD）矩阵与一个秩为 1 的半正定矩阵之差，

即使第一项是严格正定的，第二项有时也可能足够大，使得最终得到的 G(θ) 具有零特征值（更一般地，第一项也不一定是严格正定的）。

如果对于所有 θ∈Θ 和 x∈X，g-族 {p(⋅∣θ)}θ∈Θ 满足以下条件：

由于 Fisher 信息矩阵是得分函数（score）的外积的期望，(12) 式意味着 θ 是 Fisher 信息矩阵的一个特征向量，其对应的特征值为 0。

4.3.1 正交奇异的 g-族与正齐次族的关系

我们将正交奇异的 g-族给出了另一种刻画方式：它等价于正齐次族 （positively homogeneous families）。

通过对定理12的证明，我们可以看到，在偏差重新参数化（bias reparameterisation）下，正齐次族（positively homogeneous families）与q-指数族（q-exponential families）之间有非常紧密的联系（Naudts, 2004；Amari 和 Ohara, 2011；Naudts, 2011），因此有必要澄清它们之间的差异。

对于推广指数族的归一化条件，有两种显而易见的方式：
（1）通过定义函数 g g的积分为归一化常数，这正是我们在 g-族（g-families）中所采用的方法；
（2）通过隐式地定义一个广义对数归一化函数 A A，使得的积分为1，这种方式在 q-指数族以及其他变形指数族（deformed exponential families）中被采用（Naudts, 2011）。

然而，这种隐式定义可能会导致对数归一化函数的额外不可解性——也就是说，它不再一定表现为一个显式的（即便可能仍然难以解析）积分表达式。

离散型的 q-指数族具有与 Fisher 信息共形等价的参数度量（Amari 和 Ohara, 2011，第4定理），但它们的共形变换是通过所谓的伴随分布（escort distribution）定义的，而不是仅仅依赖于归一化常数中的参数。

最后我们指出，如果不进行维度扩展，正齐次族始终是奇异的（singular），而 q-指数族则可能不是奇异的。事实上，正是这种受控的奇异性使我们能够超越传统指数族，去寻找那些满足“愿望1”（Desideratum 1）的 g-族，同时仍然允许对估计过程进行分析与估计。

4.4 归一化常数

定理 12 表明，在满足 Desideratum 1 的所有 g-族中，指数族 和经过维度扩展的正齐次族 是特殊的，因为它们是唯一满足该性质的两类模型。

当我们进一步考虑 Desideratum 2 时，就可以将指数族以及许多正齐次族也排除在外。

对于指数族 而言，Desideratum 2 所要求的形式并不显然成立，因为指数函数可以表示为无限单项式级数展开形式。我们目前尚未发现任何满足 Desideratum 2 中所描述的积分-参数分解形式的、具有实际意义的指数族。

同样地，一般的正齐次族 也不具备明显的参数-积分分解结构。

5 参数估计与密度估计

利用我们推导出的平方族的几何结构，我们可以分析统计估计方法的误差。在本文中，我们考察 arguably（可以说）最普遍的估计方法——最大似然估计 （maximum likelihood estimation, MLE）。我们将分别在三种难度递增的情境下进行分析：

• 模型设定正确的情形（well-specified model），

• 模型设定错误的情形（misspecified model），

• 以及一种更具挑战性的情形：我们使用一个通用逼近器（universal approximator）来估计任意的目标密度。

给定数据 xi，我们总可以通过人为地将来自分布 q 的数据 xi 与来自独立标准高斯分布的数据 ai 进行维度扩展 （dimension augmentation），从而构造出这样一个优化目标。值得注意的是，这种维度扩展具有类似正则化的效果：(14) 式中的第二项起到了正则项的作用，它鼓励归一化常数接近于 1，并在其中引入了随机扰动。

众所周知，最大似然估计（MLE）满足渐近正态性 （asymptotic normality），即：

5.2 模型误设下的最大似然估计

当数据所来自的密度函数 q 并不属于我们从中选取最优估计的概率分布族时，这种估计方法被称为拟最大似然估计 （Quasi-maximum likelihood estimation），以区别于标准的最大似然估计 。

5.3 通用逼近

在模型误设的情况下，鉴于某些特征提取器所具有的通用逼近性质 （universal approximating property），我们可以预期：当参数数量 n 足够大时，能够得到一个较小的投影 KL 散度

正如我们接下来所要讨论的，这一预期确实成立。为此，我们首先定义“通用逼近器”的概念。

最早揭示满足假设 9 的网络结构的工作之一是 Barron (1993) 的研究，该工作探讨了具有随机隐藏参数的 Sigmoid 函数的线性组合。然而，当时对于可逼近的函数集合 F 与隐藏参数随机分布之间的关系尚不明确。

最近，Gonon 等人（2023）的研究表明，使用均匀分布的随机参数 以及更广泛的激活函数（包括 ReLU），可以逼近非常广泛的函数类 F。

另一个经典的例子是浅层随机神经网络（Rahimi 和 Recht, 2008，由引理 1 所隐含），为了具体起见，我们也将其包含在下文中。

6 结论

在本文中，我们研究了平方族 （squared families），它作为偶数阶单项式族 （even-order monomial families）的一种独特特例出现；而偶数阶单项式族本身又是正齐次族 （positively homogeneous families）和更一般的 g-族的特例。

正齐次族的特征在于其奇异性 （Lemma 7），但这种奇异性可以通过一种简单的方式——维度扩展（dimension augmentation）来处理（Lemma 10）。一旦处理了奇异性，我们便可以证明：指数族与正齐次单项式族是唯一一类满足如下性质的 g-族：其 Fisher 信息矩阵与某个仅依赖于归一化常数的 Bregman 散度所生成的 Hessian 度量共形等价（Theorem 12）。

这一计算几何性质意味着，对于指数族和正齐次族来说，只需计算归一化常数中的一个积分，即可得到整个 Fisher 信息矩阵。此外，在偶数阶族中还存在一个强大的计算性质——参数-积分分解形式 （parameter-integral factorisation），这大大简化了归一化常数的计算。

近年来，平方族模型的实例出现在机器学习的一些看似不相关的子领域中，包括：

• 核方法与高斯过程（Marteau-Ferey 等, 2020；Rudi 和 Ciliberto, 2021；Marteau-Ferey 等, 2022），

• 神经网络（Tsuchida 等, 2023, 2024），

• 概率电路（Sladek, 2023；Loconte 等, 2023b），

这些模型展现出令人印象深刻的表示能力、估计能力和边缘化性质。尽管如此，令人惊讶的是，此前尚未有人从标准且有力的信息几何和统计框架出发对平方族进行过系统分析。也许阻碍这种分析的最大障碍在于平方模型具有奇异性，因此可能看起来难以进行解析分析。

在本文中，我们展示了通过简单的维度扩展技术，就可以将奇异的平方族转化为非奇异的正则族。对于平方族而言，我们也找到了一个与归一化常数相关联的统计散度。

在平方族的框架下，我们研究了模型设定正确与错误情况下的统计估计问题，并探讨了利用通用逼近性质进行密度估计的表现。

我们认为，平方族为使用深度神经网络进行密度建模提供了一种强有力的新路径。不同于具有神经网络统计量的指数族或基于能量的模型（这两类模型通常具有难以处理的归一化常数），平方族具备强大的参数-积分分解结构，以及归一化常数、散度和 Fisher 信息之间的闭合形式联系，为使用深度学习进行密度估计提供了新的发展方向。

原文链接：https://arxiv.org/pdf/2503.21128?