通过谐波表示实现快速贝叶斯更新

Fast Bayesian Updates via Harmonic Representations

通过谐波表示实现快速贝叶斯更新

https://arxiv.org/pdf/2511.06978

摘要
贝叶斯推理虽为概率推理的基石，却常因后验分布的计算不可行性而受阻，尤其是涉及困难的证据积分。传统方法如马尔可夫链蒙特卡洛（MCMC）和变分推断（VI）在可扩展性与效率方面存在显著局限。本文提出一种新颖的统一框架，通过利用调和分析实现快速贝叶斯更新。我们证明：若将先验与似然表示于合适的正交基中，贝叶斯更新规则将转化为谱卷积。具体而言，后验的傅里叶系数被证明是先验与似然系数的归一化卷积。为实现计算可行性，我们引入一种谱截断方案——对于光滑函数，该方案能提供极高精度的有限维近似，并将更新简化为循环卷积。此形式使我们可借助快速傅里叶变换（FFT），得到一个确定性算法，其复杂度为 O ( N log ⁡ N ) ，远优于朴素方法的 成本。我们建立了该方法适用性的严格数学准则，将其效率与所涉分布的光滑性及谱衰减特性相联系。本工作实现了范式转变，将贝叶斯计算与信号处理相连接，为一大类问题中的实时、序贯推理开辟了新路径。

关键词：贝叶斯推理 · 快速傅里叶变换 · 调和分析 · 谱方法 · 卷积定理

1 引言
1.1 研究背景与动机

贝叶斯框架为在不确定性条件下更新信念提供了一种原则性方法 [1]。然而，其理论上的吸引力常常被一个根本性的实践障碍所削弱：后验分布的计算不可行性。除最简单的模型外，贝叶斯定理中的归一化常数——即边缘似然或证据——涉及一个解析上不可解、数值上也极具挑战性的积分。这构成了贝叶斯推理中的主要计算瓶颈。

当前实践严重依赖两类算法来克服这一瓶颈。马尔可夫链蒙特卡洛（MCMC）方法通过从一个以目标后验为平稳分布的马尔可夫链中生成样本来近似后验 [2, 3]。尽管 MCMC 在渐近意义上是精确的，但在复杂、高维模型中可能极其缓慢，存在漫长的预热期（burn-in）和混合不良（poor mixing）的问题。此外，收敛诊断仍是一项非平凡的任务 [4]。另一种方法是变分推断（VI），它将后验计算问题转化为优化问题，即从一个易于处理的分布族中寻找最佳近似 [5]。虽然 VI 通常比 MCMC 更快，但它引入了由变分族表达能力决定的近似偏差，并且往往需要针对具体问题进行推导，从而限制了其通用性和自动化程度 [6]。

这两种方法在其标准形式下，都会带来显著的计算开销，且随着模型复杂度和数据规模的增长而急剧恶化，从而限制了它们在现代数据密集型场景中的应用 [7]。

本工作提出一种范式转变，通过利用调和分析的工具来应对这一核心挑战。我们引入一个框架，在其中先验与似然被表示于一个合适的谱基（spectral basis）中。其核心洞见在于：在此表示下，贝叶斯更新规则——即函数的逐点相乘——转化为其谱系数之间的简单卷积。这种将函数乘法转化为线性代数运算的变换，为高效计算策略打开了大门。通过利用该卷积的结构，特别是结合谱截断与快速傅里叶变换（FFT）[8]，我们旨在实现后验更新，其计算复杂度远低于主流的迭代或基于采样的方法。

2 预备知识
本章建立我们框架发展所需的基础概念。我们首先对贝叶斯推断问题进行形式化描述，随后介绍调和分析中的关键工具，并以卷积的基本性质作为结尾。

2.1 贝叶斯推断框架
贝叶斯推断的核心在于提供一种概率机制，用于在观测到数据 D 后更新关于未知参数 θ ∈ Θ
的信念。该过程由贝叶斯定理 [1, 9] 所支配：

2.2 调和分析基础

我们的方法论基于将概率密度函数表示为一个精心选择的函数空间中的元素。自然的设置是希尔伯特空间 [10, 11]。

3 贝叶斯更新的调和表示

本章提出了本工作的核心理论贡献：在调和表示框架内重新表述贝叶斯推断。我们首先将概率密度表示为正交基，然后推导出基本结论——贝叶斯更新在谱域中转化为卷积。

3.1 密度函数的正交展开

设 θ 为定义在区域 Ω 上的一个参数，令 为希尔伯特空间 L²(Ω) 的一组完备标准正交基。我们假设先验密度 p(θ) 和似然函数 ℒ(θ) ≡ p(D|θ) 均为此空间中的元素 [10]。

任何函数 f ∈ L²(Ω) 都可唯一展开为如下形式：

3.2 核心定理：后验系数的卷积形式

该定理从根本上重构了贝叶斯更新。原本在计算上具有挑战性的任务——将两个函数相乘再积分以归一化——被转化为一个线性代数问题：对两组系数序列进行卷积。这是一种深刻的简化。在参数域 θ θ 中的非局部、逐点乘法，在谱域中变成了局部的、按索引进行的操作。这一新视角将模型本身的复杂性与更新操作的复杂性解耦，为下一章所发展的快速算法铺平了道路。

4 谱截断与有限维实现
第 3 章导出的调和表示虽然优美，但涉及无穷级数，因此在计算上不可行。本章通过引入谱截断（spectral truncation）的有限维近似，弥合理论与实践之间的鸿沟。我们分析了相应的截断误差，并展示这种截断如何自然地导向循环卷积（cyclic convolution），从而实现高效的计算算法。

4.1 从无穷级数到有限近似
谱截断的动机显而易见：我们必须对无穷展开式进行近似：

该命题强调了我们方法的一个核心原则：谱方法的效率根本上依赖于先验与似然的光滑性。对于光滑且性质良好的函数，其谱系数衰减迅速，因此仅需少量（ N N个）基函数即可实现高精度表示。这使得本方法特别适用于一大类涉及此类函数的推断问题 [11]。

4.2 循环卷积的出现
将截断应用于第 3.2 节的核心定理，我们通过一个有限卷积来近似未归一化的后验系数：

该定义通过将序列 b “环绕”来解决边界问题。操作现在完全包含在保留的 N 个系数内。因此，在由前 N 个基函数 {φₖ}ₖ₌₋ᴷᴷ 张成的有限维子空间中，贝叶斯更新规则在此周期性模型下变得精确：

定理 4.1（有限维贝叶斯更新）。设 a 和 b 分别为先验与似然的谱系数向量，截断至 N 个模态并进行周期化。在此有限维子空间中，未归一化后验的谱系数 c̃ 由循环卷积精确给出： c̃ = a ⊛ b。 (21)

证据为 Z = c̃₀，归一化后验系数为 c = c̃ / Z。

该定理是理论基础的最后一块拼图。它表明，通过转向有限维、周期性的谱表示，原本计算上不可行的贝叶斯更新被简化为一个离散的、有限维的线性运算——循环卷积。这种优雅的表述可直接借助快速傅里叶变换 [8] 加速，我们在下一章中利用这一点以实现我们所设定的快速贝叶斯推断目标。

5 函数适用性的数学准则

谱贝叶斯更新框架的有效性并非普适；它关键取决于先验和似然函数的性质。本章建立了精确的数学准则，以确定哪些推断问题适合此方法。我们考察光滑性与谱衰减之间的关系、基选择的关键作用，并将函数分为理想案例与挑战性案例。

5.1 系数衰减率与函数光滑性

谱展开的收敛速率及其截断的精度由系数 |aₖ| 的衰减速率决定，而该衰减速率又由函数 f 的光滑性所支配 [10, 11]。

定理 5.1（光滑性与谱衰减）。设 f 为定义在 [−π, π] 上的函数，其傅里叶系数为 aₖ。

1. 若 f 是 p 次连续可微的（f ∈ Cᵖ），且其 p 阶导数具有有界变差，则 |aₖ| = O(|k|⁻ᵖ⁻¹)。
2. 若 f 在包含实轴的复平面带域内是解析的（即局部由收敛幂级数给出），则其傅里叶系数呈指数衰减：|aₖ| = O(e⁻ᵞ|k|)，其中 γ > 0。
3. 一个函数是带限的（即当 |k| > K 时 aₖ = 0），当且仅当它是一个指数型整函数。

对于其他基，类似结果同样成立。对于埃尔米特基（Hermite basis），衰减速率与函数的光滑性及其在无穷远处的衰减相关。对贝叶斯推断而言，其启示是直接的：谱方法的成功取决于先验和似然函数是否足够光滑。函数越光滑，达到所需精度所需的谱系数越少，从而带来更高的计算效率 [11]。

5.2 域与基匹配原则

对于给定域和函数类型的基选择不当，可能导致吉布斯现象——在不连续点附近出现持续振荡——以及收敛缓慢，即使对于光滑函数也是如此。指导原则是将基与问题的自然边界条件相匹配 [10]。

5.2.1 周期域与傅里叶基

对于定义在周期域（如 [−π, π]）上的参数 θ，复指数基 {eⁱᵏᵠ} 是自然且最优的选择。如果函数 f(θ) 本身是周期性的，则展开式表现良好。若强行将非周期函数纳入傅里叶基，将在边界处诱发吉布斯现象。

5.2.2 有限非周期域与余弦/多项式基

对于函数非周期的有限区间 [a, b]，能自然满足边界条件的基更优 [10]。

• 余弦基 {cos(πkθ/L)} 隐含地施加了诺伊曼（零导数）边界条件。它是那些在边界处导数消失的函数的最优基，并与函数偶延拓的傅里叶展开密切相关。
• 正交多项式，如勒让德或切比雪夫多项式，在 [−1, 1] 上构成一组基。它们不假设周期性，且能为光滑函数提供谱精度。特别是切比雪夫基，因其与余弦变换的关联及其近最优逼近性质而常被优先选用。

5.2.3 无限域与埃尔米特函数/傅里叶变换

对于定义在 ℝ 上的参数，选择取决于函数的衰减特性 [10]。

• 埃尔米特函数 {ψₖ(θ) = e⁻ᵠ²/² Hₖ(θ)}，其中 Hₖ 为埃尔米特多项式，在 L²(ℝ) 中构成一组标准正交基。它们特别适合于像高斯函数一样衰减的函数，因为权重函数 e⁻ᵠ²/² 已内置到基中。
• 傅里叶变换 是处理无限域最通用的工具。实践中，它要求函数绝对可积（L¹），且在无穷远处衰减得足够快才能在大但有限的区间上进行近似。

5.3 理想与具有挑战性的函数类别

基于上述准则，我们可以根据问题对谱方法的适用性对推断问题进行分类。

5.3.2 具有挑战性的情况

该方法在面对以下情况时会遇到显著困难：

6 快速算法：基于FFT的实现

前几章建立的理论框架最终形成了一种高效的计算算法。通过利用卷积定理和快速傅里叶变换（FFT），我们将贝叶斯更新转化为具有准线性复杂度的过程。本章详细阐述了该算法的推导，给出了其伪代码，并分析了其计算效率。

6.1 算法推导

回顾定理4.2，未归一化后验系数的有限维贝叶斯更新由循环卷积给出：

该定理是我们算法的基石。它表明，原始系数域中计算代价高昂的循环卷积，可以通过执行三个更简单的操作高效完成：两次离散傅里叶变换（DFT）、一次廉价的逐元素乘法，以及一次逆离散傅里叶变换（IDFT）[8]。

6.2 算法描述与流程
我们现在给出快速贝叶斯更新的完整算法。该算法假设先验和似然函数已被投影到所选的标准正交基上，且其系数向量已完成周期化，并按标准 FFT 库的要求索引为从 0 到 N − 1
[8]。

6.3 计算复杂度分析

因此，基于谱FFT的方法为满足第5章所述光滑性准则的问题提供了显著的 超多项式加速 ，使得此前因计算成本过高而不可行的快速、序贯贝叶斯更新成为可能。

7 讨论与未来工作

本研究通过将推断问题重新表述为调和分析的语言，建立了一种贝叶斯计算的新范式。我们在此总结该理论框架，反思其实际意义，并勾勒出若干有前景的未来研究方向。

7.1 理论框架

总结我们构建了一个完整的快速贝叶斯推断数学框架。其基础在于将概率密度表示于一个适当选择的标准正交基中 [10, 11]，例如傅里叶基、余弦基或多项式基。在此谱表示下，我们证明了核心结论：贝叶斯更新规则——即逐点相乘后归一化——转化为先验与似然谱系数的卷积。为实现计算可行性，我们引入了谱截断，该方法对光滑函数具有极高精度，并表明这种有限维近似自然地导向循环卷积。最后，通过利用卷积定理与快速傅里叶变换（FFT）[8]，我们导出了一个后验更新算法，其计算复杂度为 O ( N log ⁡ N )
，显著优于传统方法 [2, 3]。

7.2 优势与局限

所提出的方法具有若干显著优势。其首要优势是速度： O ( N log ⁡ N ) 的复杂度使得在许多场景中实现快速、序贯更新成为可能，而朴素方法或基于采样的方法对此无能为力。其次，该算法是确定性的：对于给定输入，它始终产生相同输出，避免了 MCMC 方法固有的随机波动，并消除了对马尔可夫链收敛性的担忧 [4]。第三，该方法在数学上优雅，提供了一种深刻而统一的视角，将贝叶斯推断与调和分析及信号处理联系起来 [12]。

然而，这些优势也伴随着特定局限。该方法的效率高度依赖于先验与似然函数的光滑性。涉及不连续性或重尾分布的问题，若无重大修改，则难以适用此方法 [10]。此外，该框架在基本形式下在高维空间中面临“维度灾难”，因为张量积基所需的系数数量随维度呈指数增长 [14]。

7.3 未来研究方向

本工作为若干激动人心的未来研究开辟了道路。

首要方向是开发自适应基选择算法。若能建立一种自动程序，根据先验与似然自动选择最优基与分辨率 N N，将极大提升该方法的鲁棒性与可用性，使其从专用工具转变为通用算法。

应对高维挑战至关重要。一个有前景的策略是将谱框架与张量分解技术（如张量列格式，Tensor-Train）相结合。这可高效表示并操作具有低秩结构的高维分布，从而缓解指数级扩展问题 [7]。

另一引人注目的应用在于序贯贝叶斯滤波。我们算法的速度使其特别适用于实时滤波问题 [12]。它可作为新型粒子流或基于网格的滤波器的核心更新机制，高效传播整个状态分布，而非仅传播一组样本。

最后，探索与非参数贝叶斯模型的融合提供了重要机遇。为函数空间上的分布（如高斯过程 [15]）开发谱表示，可能为这一重要模型类带来全新且高效的推断算法。

总之，贝叶斯更新的调和表示提供了一个强大而灵活的框架。尽管存在某些约束，但其卓越的计算性能与坚实的数学基础，为一大类推断问题提供了极具吸引力的替代方案，并为未来算法创新提供了肥沃土壤。

原文链接：https://arxiv.org/pdf/2511.06978