多模态回归的高效解析不确定性量化

Efficient Analytic Uncertainty Quantification for Multi-Modal Regression

多模态回归的高效解析不确定性量化

https://arxiv.org/pdf/2606.25188

摘要

高效的不确定性量化（UQ）对于可信的大规模学习至关重要。现有的针对回归任务的 UQ 方法主要在条件标签边缘分布满足单峰参数模型（例如高斯分布）的假设下运行，其中负对数似然函数简化为均方误差。然而，这种单峰假设在具有多峰分布的回归任务中会失效。另一方面，在多峰分布上实现强大回归性能的半参数方法通常缺乏对其预测方差的高效量化。在这项工作中，我们将基于变分贝叶斯推断（VBI）的 UQ 技术扩展到两种广泛使用的半参数回归模型，这两种模型能产生条件标签密度的类似直方图的重建：分位数回归（QR）和分类恢复（CR）。我们的方法引入了一个统一的、与分布无关的框架，该框架同时实现了对复杂条件分布的准确估计和高效的 UQ。理论上，我们的方法建立在 VBI 框架内对 QR 和 CR 的新颖公式化之上，产生了分析证据下界（ELBO）以简化训练，并提供了用于高效推断的闭式或解析近似的预测密度。经验上，我们在三个具有多峰标签分布的大规模回归基准上评估了我们的方法。我们的框架优于最先进的多峰回归基线，甚至匹配了计算昂贵的集成模型的预测性能。此外，通过利用认知不确定性估计，我们的方法实现了高度数据高效的主动学习策略。

1 引言

预测不确定性量化（UQ）——即估计模型对其自身预测的置信度的过程——对于高风险应用（如网约车和推荐系统）中的可信机器学习至关重要 [Kendall and Gal, 2017]。UQ 的主流方法之一依赖于变分贝叶斯推断（VBI）。特别是，限制性地将 VBI 应用于最后一层（例如，变分贝叶斯最后一层，或 VBLL）[Harrison et al., 2024]，由于其与基于昂贵集成学习的更基础的 UQ 方法相比具有卓越的计算效率而脱颖而出。对于连续回归问题，该框架内的经典方法是假设条件标签服从简单的高斯分布。这种单峰参数假设受到青睐，因为它允许对对数似然损失的证据下界（ELBO）进行数学上简单的解析推导，从而实现严格的 O(1) 每样本推断和训练成本。

然而，在高不确定性的现实世界应用中，条件标签分布往往偏离简单的高斯行为，转而表现出依赖于输入的、复杂的多模态特性。例如，在视频推荐系统中，由于用户参与模式的离散性，经验发现观看时间分布具有多模态性，这在 [Zhao et al., 2025] 中进行了详尽讨论。简单的参数化假设从根本上无法捕捉这种多模态性的全部复杂性。当模型使用假设高斯条件分布的对数似然目标进行训练时，训练损失简化为均方误差（MSE），迫使模型在真实标签分布的条件期望处近似拟合一个高斯分布。然而，在以离散簇为特征的多峰分布中，这个期望均值通常位于不同簇之间的“谷值”处，那里的数据条件密度接近于零。我们将此称为“幽灵值”（Ghost Value）病理：模型拟合的分布其密度峰值位于数据密度较低的区域。因此，模型被迫产生膨胀的预测方差，以维持对实际、遥远的数据模态的数据覆盖。这种结构性失效随后导致严重校准错误的认知不确定性以及显著退化的预测质量（例如，图 1 A）。

为了在此类设置中实现更可靠的 UQ，我们的结构性创新是一个与分布无关的框架，它将 VBI 从简单的高斯假设推广到更复杂的半参数方法——具体是分位数回归（QR）和分类恢复（CR）。我们的方法同时实现了 (1) 在多模态回归中重建复杂的条件分布，以及 (2) 以解析形式进行高效的 UQ，匹配确定性网络的 O(1) 训练和推断成本。

在经验上，我们在多样化、大规模的多模态领域展示了两个优势。首先，在标准训练下，我们的框架在密度估计和分布外（OOD）敏感性方面与最先进的基线相比具有竞争力的性能。其次，我们的解析认知不确定性实现了高度数据高效的主动学习；通过可靠地将认知不确定性与偶然不确定性分离，它在显著减少标签的同时实现了更好的预测准确性，同时在大规模上保持计算上的可行性。

1.1 相关工作

不可行。

多模态回归与密度估计。 混合密度网络（MDNs）[Bishop, 1994] 对多模态目标进行建模，但受困于优化不稳定性且缺乏解析形式的认知不确定性量化（UQ）。像 CREAD [Sun et al., 2024] 这样的分布性方法利用分类恢复（Classification Restoration）来绕过幽灵值，但缺乏认知 UQ 和一致性保证。在连续域中，共形分位数回归（CQR）[Romano et al., 2019] 产生的连续区间在不相交支撑集（disjoint supports）上会失效，且缺乏认知分解。此外，先前的贝叶斯分位数回归 [Abeywardana and Ramos, 2015, Yang et al., 2016] 依赖于高斯尺度混合表示，需要辅助参数或昂贵的基于蒙特卡洛采样的近似。

感知不确定性的主动学习。 虽然基于不一致性的贝叶斯主动学习（BALD）[Houlsby et al., 2011, Gal et al., 2017] 是一个主流范式，但将基于采样的获取应用于大规模回归会引入严重的计算瓶颈。深度集成（Deep Ensembles）[Lakshminarayanan et al., 2017] 和 MC-Dropout 需要针对每个候选者进行多次随机前向传播，导致大规模池评估和重训练循环停滞——这一问题在批量设置中尤为加剧 [Kirsch et al., 2019]。像 DER [Amini et al., 2020] 这样的确定性方法提供了的效率，但在不相交数据上会失效；非贝叶斯启发式方法 [Yoo and Kweon, 2019, Sener and Savarese, 2018] 则将认知无知（epistemic ignorance）与偶然数据噪声（aleatoric data noise）混淆。

2 问题表述

3 模块化分布无关框架

我们的框架同时实现了准确的密度估计与高效的不确定性量化（UQ）。在技术层面，它集成了三个模块化组件：一个距离感知骨干网络、一个共享的变分贝叶斯推断引擎，以及针对分位数回归（QR）或分类恢复（CR）的任务特定输出头。

3.1 组件 1：保距骨干网络

3.3 路径 A：变分贝叶斯分位数回归 (QR-VBLL)

因此，期望对数似然可以解析地计算，并且可以用自动微分库中通常可用的函数来表示。变分后验和神经网络权重可以通过该损失函数进行反向传播训练。 将公式 (3) 中的解析期望代入变分目标，得到 QR-VBLL 需要最小化的损失函数：

3.4 路径 B：变分贝叶斯分类恢复 (CR-VBLL)

4 框架属性与效率

我们提供框架的理论保证。

高效 UQ 我们推导出了不确定性的解析分解，使得单次传递推断成为可能，从而绕过了基于采样的方法的高昂计算成本。

5 实验

我们在三个大规模基准测试上评估我们的框架：微信（短视频推荐）、KuaiRec（短视频推荐）和 Uber（网约车共享）。如图 3 所示，这些数据集表现出高度非高斯、多模态的目标分布，标准的基于均方误差（MSE）的方法在这些分布上容易失效。我们使用粗体字来指示每个方法类别下的最佳性能。

为了确保在离散（CR）和连续（高斯/QR）范式下的方法进行严格且公平的比较，我们标准化了评估指标。(1) 离散化 NLL：我们将目标空间划分为 10 个均匀区间（buckets）。对于连续模型（高斯、QR-VBLL），我们在每个区间上对预测的概率密度函数（PDF）（或累积分布函数 CDF 的差值）进行积分以获得概率质量。然后，我们计算这些质量相对于离散化真实值的 NLL。(2) 离散化 ECE：同样地，我们使用这 10 个固定区间计算 ECE，以衡量预测概率质量与目标落入每个区间的实证频率之间的一致性。(3) CRPS 保持为基于完整 CDF 计算的连续指标。(4) RMSE 是基于预测条件均值和标签计算的。详细定义见附录 D。

由于篇幅限制，微信、KuaiRec 和 Uber 数据集的简化结果展示在表 2 中，标准差包含在附录 D 中对应的完整表格（表 7、8 和 9）中。

微信数据集（图 3a）具有高度离散的目标分布（0.0 对 1.0 的观看比例）和尖锐的密度峰值。CR-VBLL 在单次传递方法中凭借最佳的 NLL 实现了“模态精度”，有效地匹配甚至击败了计算昂贵的除 CR-Ensemble 以外的方法。QR-VBLL 在单次传递方法中凭借最佳的 CRPS 在全局保真度方面表现出色。

KuaiRec 数据集（图 3b）表现出更平滑的条件标签分布且具有重尾特征。虽然 MDN 在单次传递方法中实现了最低的 NLL，但这是以牺牲全局保真度为代价的，其产生的 CRPS (0.2117) 高于 QR-VBLL (0.1964)。同时，QR-VBLL 在单次传递方法中实现了最佳的 CRPS 和 ECE，在其他数据集上的表现也比 MDN 更一致，甚至在 NLL 和 ECE 上优于计算昂贵的 QR-Ensemble。

Uber 数据集（图 3c）包含稀疏数据，具有双模态但连续的目标分布。同样，QR-VBLL 针对单次传递和集成基线给出了令人信服的表现。

此外，在稀疏数据上，CR-VBLL 和 QR-VBLL 都从“安全网”效应中获得了更大的优势幅度（如图 1 B 与 C 的对比）。

5.1 感知不确定性的主动学习

验证认知信号。 我们验证了预测的认知方差正确反映了真实的模型无知。如图 4 所示，微信数据集上的平均认知不确定性在交互历史极少的冷启动用户中最高，并随着其历史增加而单调递减。这证实了我们的架构成功识别了稀疏数据体制下的“已知的未知”，提供了可靠的、膨胀的方差，以防止对代表性不足的用户做出过度自信的预测。

将不确定性应用于数据获取。 既然已经确定这种认知信号是忠实可靠的，我们接下来展示如何利用它来解决工业应用中的一个关键瓶颈：获取标注数据的高昂成本。因为我们的框架可靠地将认知无知与固有的偶然噪声分离开来，从而实现了高效的主动学习。

6 结论

我们引入了首个模块化、分布无关的框架，以同时实现 (1) 准确的多模态分布估计和 (2) 高效的不确定性量化。我们的框架分支为针对连续形状的分位数回归（QR）和针对不相交模态的分类恢复（CR）。关键在于，我们提出了用于训练这两类模型的无采样目标，包括针对解析变分 QR 的新颖结果。通过将保距骨干网络与变分贝叶斯最后一层（VBLL）相结合，我们的架构将经过校准的认知不确定性注入到预测中，且仅需单次前向传播。我们提供了理论和数值证据，表明我们的框架为可信的多模态回归提供了稳健且高效的解决方案。

局限性与未来方向。 我们的方法目前依赖于特定于数据集的启发式方法，用于在 QR/CR 路径之间进行路由；开发完全自适应、数据驱动的路由模块是一个关键的未来方向。此外，为完整的 VBLL 框架建立紧密的有限样本误差界，并扩展到多变量目标，仍然是重要的开放性挑战。此外，我们目前使用一种相对朴素的方法，通过在变分后验上进行集成，利用 QR 重建预测 PDF/CDF。开发更有效的重建方法不仅是可能的，而且也是令人感兴趣的。

原文链接：https://arxiv.org/pdf/2606.25188