范畴共形预测的乐趣 THE JOYS OF CATEGORICAL CONFORMAL PREDICTION∗

THE JOYS OF CATEGORICAL CONFORMAL PREDICTION∗

范畴共形预测的乐趣

https://arxiv.org/pdf/2507.04441

摘要：

保形预测（Conformal Prediction, CP）是一种不确定性表征技术，可为任意底层机器学习模型提供有限样本校准的预测区域；然而，其作为不确定性量化（Uncertainty Quantification, UQ）工具的地位在概念上长期模糊不清。本文采用范畴论方法处理CP——将其建模为两个新定义范畴之间、嵌入于交换图中的一个态射（morphism）——从而带来三重喜悦：
第一，在极弱假设下，我们证明：CP本质上是一种不确定性量化机制，其UQ能力是该方法的结构性特征；
第二，我们表明：CP架起了贝叶斯、频率学派与非精确概率（imprecise probabilistic）三大预测性统计推理路径之间的桥梁——甚至可能将其统一或涵盖；
第三，我们证明：一个保形预测区域（Conformal Prediction Region, CPR）乃某一协变函子（covariant functor）的像。该观察对人工智能隐私具有重要意义：它意味着——在局部添加的隐私噪声并不会破坏覆盖率（coverage）。

1. 引言

范畴论（CT）可被视为一种关于数学结构及其关系的通用理论。近期，从CT视角研究机器学习（ML）的兴趣激增，旨在利用后者的统一力量（从而整合看似无关的ML子领域），并获得更深刻的理论成果。

例如，Stehlík (2012) 和 Song (2024) 探讨了如何将统计学习模型纳入CT框架。Shiebler 等人 (2021) 对基于梯度的方法、概率方法以及不变与等变学习做了类似工作。此外，Cornish (2025) 通过研究沿群同态对神经网络进行对称化的问题，拓展了后者的研究。也就是说，给定两个群 H 和 G，他们研究了一种将 H-等变神经网络转换为 G-等变神经网络的程序。更广泛地说，CT在概率与统计领域的应用（这在现代ML中扮演着核心角色）是活跃的研究领域，参见例如 Fritz 等人 (2025)；Bohinen 和 Perrone (2025)；Ensarguet 和 Perrone (2024)；Ackerman 等人 (2024)；Matache 等人 (2022)，并在 nLab 和 n-Category Café 中被广泛讨论。

保形预测（CP，于第2.1节正式介绍）是一种流行的ML预测工具。假设我们得到一个大小为n的可交换训练数据 yⁿ = (y₁, ..., yₙ)，其中每个观测值 yᵢ 属于状态空间 Y，置信水平 α ∈ [0,1]，以及一个非一致性得分 ψ（即，衡量新观测值相对于训练集中观测值“有多不同”的函数）。那么，CP 返回一个预测集，称为保形预测区域（CPR），该区域以高概率 1−α 包含“真实值” yₙ₊₁ (Vovk 等人, 2005; Shafer 和 Vovk, 2008; Vovk, 2013; Angelopoulos 等人, 2024)。¹ 在 Caprio 等人 (2025a, 第5.1节) 中，作者展示了CP如何可被视为一种对应关系（即，集合值函数），从而突显了ML与泛函分析（FA, Aliprantis 和 Border (2006)）之间的联系。文献中还探讨了其他此类联系，参见例如 Korolev (2022)。

本文基于“CP作为对应关系”的直觉，发展出一种CP的范畴论方法，使我们能够扩展对无分布不确定性量化的结构基础的理解。² 我们将CP视为嵌入在一个交换图中的两个新定义范畴之间的态射，并且我们也能将CPR框定为一个函子的像。

贡献。这种范畴论方法赋予我们三重喜悦，简要总结如下：

• CP不仅是一种不确定性表征工具，也是一种不确定性量化工具：那些曾错误地将CP称为不确定性量化（UQ）方法的学者，其实一直都是正确的。

• CP架起了贝叶斯、频率学派和非精确概率方法在预测性统计推理上的桥梁，从而形式化了Martin (2022) 首先提出的直觉。

• 将保形预测区域视为协变函子的像，直接有益于人工智能隐私 (Fang 等人, 2025)：(i) 任何局部添加的隐私噪声均不会破坏覆盖率保证；(ii) 在联邦学习 (Liu 等人, 2024) 中，每个代理只需共享一个摘要对象（我们在下文段落中引入的凭证集 M），而非原始数据。

正如我们所见，我们的范畴保形预测方法展现出诸多益处，而几乎没有任何弊端（对Y、ψ的选择及α的假设极少）。

为使本文基本自洽，我们在第2节提供了CP所需的背景知识。在那里，我们也提供了一些来自非精确概率（IP）文献的概念。非精确概率（Walley, 1991; Augustin 等人, 2014; Troffaes 和 de Cooman, 2014）是允许学者在存在不确定性（如经典概率）和模糊性（即，对“真实”数据生成过程的完全或部分无知）的情况下进行推理的数学模型。³ 它们在ML中的应用形成了一个充满活力的研究领域，参见例如 Caprio 等人 (2024a); Sale 等人 (2023, 2024); Caprio 等人 (2024c); Lu 等人 (2024); Dutta 等人 (2024); Chau 等人 (2025)。泛函分析与范畴论概念分别在附录A和B中简要回顾。本文结构总结如下：

在第3和第4节，我们分别引入两个范畴，UHCont 和 WMeasᵤ꜀。对于两者，对象均为拓扑空间；态射则分别为上半连续对应和弱可测对应。我们研究这些范畴是因为连续性和可测性是泛函分析中的基本——但通常不等价——概念。在对状态空间Y、可信度水平α以及非一致性得分ψ的类别 F 的极小假设下，我们证明CP是这两个范畴的态射。

将CP视为态射而非独立算法，使得ML工程师可以将其插入函数式风格的库（例如 JAX 或 PyTorch Functorch）中，并自动获得批处理、JIT编译以及得分映射的可微性，同时覆盖率保证在数学上保持完整。

CP对应关系不仅是这些范畴的态射，也是某个交换图的一部分。正如我们将在（特别是例1及后续讨论中）看到的，这一发现暗示了CP固有的UQ能力。

在第5节，我们表明，在极小假设下，一个编码贝叶斯CP (Fong 和 Holmes, 2021)、经典CP以及受CP启发的非精确概率理论生成α水平预测区域的方式的图表是可交换的。这是CP构成贝叶斯、频率学派和非精确概率方法之间桥梁——甚至可能包含它们——的一个有力指标 (Martin, 2022)。

第6节扩展了范畴论的非精确概率理论 (Liell-Cock 和 Staton, 2024)。我们形式化了“非精确最高密度区域”（Coolen, 1992）的概念——可视为考虑分布不确定性的“稳健版本”置信区间——作为一个（协变）函子 IHDRα, α ∈ [0,1]，其定义域为Y上有限可加概率的闭凸集范畴，陪域为Y的子集范畴，两者均带有包含态射。反过来，保形预测区域（CPR）可被视为该函子在与CP程序关联的概率集 M 上的像 IHDRα(M) (Cella 和 Martin, 2022)。这具有以下有前景的推论：如果我们有许多产生凭证集 Mⱼ 的来源，任何应用于每个凭证集 Mⱼ 的局部单调、可测或保护隐私的操作都会通过该函子自动传播。由此产生的预测区域仍满足全局覆盖率保证，而只需共享（可能已私有化的）摘要对象 Mⱼ，无需共享原始数据。

最后，第7节研究 UHCont 和 WMeasᵤ꜀ 的性质。特别地，我们证明（在稍作限制前者后）它们都是幺半范畴，并找到它们之间的忠实函子。此外，我们确定哪些子范畴承认幺半结构，给出CP在这些子范畴中成为态射的充分条件，并找到它们之间的忠实函子。第8节总结我们的工作，并讨论一些开放的研究问题。

1. 背景

在本节中，我们介绍（完整）保形预测（第2.1节），以及非精确概率理论的一些基本概念（第2.2节）。熟悉这些概念的读者可以跳过相应部分。

2.1 完整保形预测。本节是 Caprio 等人 (2025a, 第2.1节) 的扩展复述。其基础是 Cella 和 Martin (2022, 第4.1节)，后者总结了 Shafer 和 Vovk (2008) 与 Vovk 等人 (2005) 关于传递性（完整）保形预测的工作。

算法1的输出是一个依赖于数据的函数 ỹ ↦ π(ỹ, yⁿ) ∈ [0,1]，该函数可被解释为在给定数据 yⁿ 的前提下，断言 Yₙ₊₁ = ỹ 的合理性度量。Vovk 等人 (2005) 将函数 π 称为保形转换器（conformal transducer）。保形转换器 π 在保形预测区域（CPRs）的构建中起着关键作用。对于任意 α ∈ [0,1]，α-水平 CPR 定义为 (Vovk, 2013, 公式(2))

1. 保角预测作为上半连续态射

本节介绍了UHCont类别，并表明，在最小假设下，保角预测对应关系κ是UHCont的态射，嵌入在一个交换图中。以下内容受到Perrone（2024，例1.1.14）的启发。

保形区域支持序数比较（“更大”与“更小”），但不支持基于方差的方法所提供的期望长度型校准所需的基数算术。因此，将区域宽度直接解释为概率质量的代理是具有误导性的，就如同将一个排序当作概率分布来对待。

然而，交换图揭示了一个隐藏的层面：计算一个CP区域等价于（i）形成凭证集 M(Π̅) 以及（ii）提取其IHDR。因为 M(Π̅) 存在于概率测度的空间中，现有的度量——例如 Abellán 等人 (2006); Hüllermeier 和 Waegeman (2021); Javanmardi 等人 (2023); Hofman 等人 (2024) 中提出的度量——赋予它一个能够量化（不同类型）不确定性的基数尺度，特别是可约的（认识论的）和不可约的（偶然的）不确定性 (Javanmardi 等人, 2024, 2025; Cabezas 等人, 2025; Stutts 等人, 2024; Hanselle 等人, 2025)。这将是“边际不确定性”，从而反映了保形预测区域的边际保证（参见公式(2)）。我们推测，分析师控制的选择——显著性水平 α（它固定了容许误差）以及非一致性得分 ψ ∈ F（它体现了建模假设）——主要与认识论不确定性相关。另一方面，偶然不确定性源于我们所研究的可交换过程的内在变异性，该变异性编码在 P 中。

因此，保形预测进行预测性不确定性量化的功能并非一个附加功能，而是由定理5的交换图所产生的范畴分解的内建结果。那些一直称保形预测为UQ方法的学者（在所述假设下）一直都是正确的，而定理5解释了其中的原因。这扩展了 Cella 和 Martin (2022, 2023); Caprio 等人 (2025a) 开创的工作，他们通过非精确概率路径发现了CP方法的UQ能力。

接下来，我们提出一个备注，表明条件(i)-(iv)不能被削弱。

备注 1（假设 (i)–(iv) 的极小性）：我们证明，为保证三个对应关系 κ、CRED 与 IHDR 同时具备上半连续性（u.h.c.），每一条假设均不可或缺。针对每一条假设，我们在保留其余假设的前提下将其移除，并证明至少有一个对应关系不再具备上半连续性。

对 UHCont 的某些性质的深入研究在第 7 节中进行。相反，在下一节中，我们证明，对于一个态射为弱可测对应关系的范畴，也可以推导出与定理5类似的结果。

1. 作为弱可测态射的保形预测

本节介绍了范畴 WMeasᵤ꜀，并表明在极小假设下，（完整）保形预测对应关系 κ 也是一个 WMeasᵤ꜀ 的态射，嵌入于一个交换图中。以下内容同样受 Perrone (2024, 例1.1.14) 启发。

事实上，完整的保角预测图在WMes_uc中是可交换的，这是Caprio等人（2025a，命题5）的一个直接结果。

我们在第3节中对定理5重要性的考虑同样适用于定理8。

定理5和8告诉我们，当我们关注保角预测对应关系κ的连续性或可测性方面时，完整的保角预测图是可交换的。这进一步证明，在我们的假设下，不确定性量化是保角预测方法的一个内置特征。

以下评论表明，定理8中的条件确实是真正最小的。

备注2（假设(i’)、(ii’)、(iii’)、(iv’)的最小性）。类似于备注1，我们证明每个假设对于同时均匀紧值化和弱可测性的三个对应关系κ、CRED和IHDR是不可或缺的。

1. 统一贝叶斯、频率学派与非精确推理

在本节中，我们展示了涉及贝叶斯、保形和非精确概率预测方法的图表如何在范畴 UHCont 中交换。我们关注后者而非 WMeasᵤ꜀，因为其对象和态射的要求限制更少。

由于图表交换是定理5中完整CP图表的扩展，我们保留假设(i)-(iv)。

设 (Θ, Σ_Θ) 为一个可测参数空间，并称 λ_Θ 为 Θ 上一个固定的σ-有限博雷尔测度。称 Δ_Θ^dens 为 Θ 上允许关于 λ_Θ 存在密度的有限可加概率测度的空间 (Bell 和 Hagood, 1988)。⁸ 为 Δ_Θ^dens 赋予 L¹(λ_Θ) 拓扑。现在考虑以下条件，

定理11是我们分类处理的核心成果，因此也是从分类角度看待保角预测的最大乐趣（到目前为止）。它证实了Martin（2022）和Caprio等人（2025a，第5.2节）提出的直觉，即CP是贝叶斯、频率论和不精确方法与预测统计推理之间的桥梁。在UHCont类别中，基于模型的贝叶斯和不精确方法，以及无模型的保角构造，产生了相同的α水平预测区域，从而展示了这三种表面上相距甚远的预测机制之间非常深刻的联系。

还要注意，定理11使我们能够将CP与e-后验的概念联系起来（Grünwald, 2023），从而进一步证明CP在现代机器学习中的核心作用。

1. 保形预测区域作为“非精确最高密度区域”函子的像
   

   
   本节中，我们将看到对应关系如何被视作两个熟知范畴之间的函子；由此，保形预测区域（CPR）便可被理解为该函子的像。

据我们所知，定理14首次将诸如IHDR这样的不精确概率概念作为两个类别之间的函子进行框架化，从而为类别论不精确概率理论领域做出了贡献（Liell-Cock and Staton, 2024）。

将保形预测映射 IHDRα 视为一个协变函子，可立即带来实用的AI隐私效益。假设我们拥有许多产生凭证集 Mⱼ 的来源。首先，任何应用于每个站点凭证集 Mⱼ 的差分隐私或其他加噪变换，都会通过该函子传播，而不会破坏覆盖率保证，因此统计有效性得以“免费”保留。

其次，协作可以以严格的联邦方式推进：每个代理只需传输其（可能已私有化的）摘要对象 Mⱼ——绝非底层数据——从而在最小化暴露的同时，仍能使联盟构建出一个全局有效的预测区域。

1. 我们范畴的进一步性质

在本节中，我们自问是否能进一步刻画我们在第3和第4节中引入的范畴。在整个本节中，如果需要对范畴的对象或态射施加限制，我们将分别将其报告为相应子范畴的上标和下标。

7.1 幺半范畴。第一个自然问题是它们是否为幺半范畴。

遗憾的是，UHCont 并不是，因为上半连续性通常在乘积下不被保持，除非对应关系是紧合的。然而，我们可以定义 UHCont 的一个稍强版本，它是幺半的。

定理18中的函子 F “忘记”了可测结构，但保留了拓扑结构。弱可测性条件确保了像 Φ 在两个类别中仍然是一个有效的态射。

还值得一提的是，一般来说，中没有极限（Perrone, 2024, 定义3.1.5）。这是因为可表示性条件失败：通过 F 丢失可测性信息阻碍了上半连续锥的普遍提升。

这是基于连续性和基于可测性结构之间不兼容的结果，正是这种结构性差距使得最初定义的函子 F 变得非平凡。

现在，让成为一个类别，其对象是波兰拓扑空间，其态射是具有解析图的上半连续、均匀紧值的对应关系。那么，以下结论成立。

然而，反向没有忠实的函子。弱可测对应关系比上半连续对应关系表现出更多的病态行为。任何尝试在上半连续形态中编码所有额外信息的尝试都必须必然地将不同的可测映射折叠在一起，从而破坏忠实性。

1. 结论

此外，研究CP作为不同类别的态射是否允许我们在特定状态下完全消除对假设的需求，特别是在状态空间 Y 的紧致性方面，还有待进一步探讨。

最后，未来还需要展示我们的结果是否扩展到分裂保角预测（Split Conformal Prediction），以及机器学习研究人员近年来引入的任何其他经典保角预测的扩展。

原文链接：https://arxiv.org/pdf/2507.04441