无分布假设下对条件量的可能性推理

无分布假设下对条件量的可能性推理

Distribution-free possibilistic inference on conditional quantities

https://proceedings.mlr.press/v290/cella25a.html

摘要
对条件量（即与给定协变量下响应变量的条件分布相关的未知量）进行不确定性量化是一个基本问题。现有方法通常依赖于严格的参数假设或光滑性条件，并且通常仅提供未知量的集合估计。本文引入了推断模型（Inferential Models, IMs），用于对条件量进行可能性（possibilistic）不确定性量化，超越了仅提供集合估计的简单做法。与传统方法不同，所提出的 IMs 完全无需分布假设（distribution-free），并能同时处理随机和固定的条件量。此外，它们满足一种边缘有效性（marginal validity）准则，确保在对协变量分布取平均时，所有 IM 输出均得到恰当校准。本文通过实例展示了该框架在随机和固定条件量上的应用——具体而言，分别针对一个未来响应值和条件中位数。

关键词：推断模型，无分布假设，预测，条件中位数

1. 引言

考虑一个常见的情境，其中一项研究涉及 p+1 个变量，(X, Y) ⊆ ℝᵖ × ℝ，其中 Y 是响应变量——主要关注对象——而 X 中的 p 个协变量用于预测或理解 Y。具体而言，给定观测到的配对 (X₁, Y₁), ..., (Xₙ, Yₙ) 和一个新的协变量向量 Xₙ₊₁，目标要么是根据给定 X = xₙ₊₁ 时 Y 的条件分布预测下一个实现值，要么是通过分析其矩或分位数等来深入了解该条件分布。

假设 (X₁, Y₁), ..., (Xₙ, Yₙ) 和 Xₙ₊₁ 独立地从同一分布 P = P_Y|X × P_X 中抽取，在大多数应用中是合理的。然而，这通常伴随着一个更强、更难以辩护的假设，即 P 遵循特定的参数模型。在这种情况下，对与 Y | X = x 条件分布相关的未知量进行不确定性量化成为一个两步过程：首先，对模型参数进行不确定性量化，然后将这种不确定性传播到所关注的量上。

如果参数模型被错误设定，这种间接方法可能会出现问题。因此，在几乎没有理由假设参数模型的情境下，能够在不施加分布假设的情况下量化不确定性的能力尤其宝贵。

对下一个响应值 Yₙ₊₁ 的不确定性进行量化通常是应用中的首要目标。一种成熟的解决方法是共形预测 [2, 18, 27, 28]，它构建具有有限样本覆盖保证的预测集合，且完全不依赖于对 P 的分布假设。然而，在许多应用中，希望将不确定性量化扩展到简单的集合估计之外。一个更细致的视角涉及为关于 Yₙ₊₁ 的特定断言分配（可能不精确的）概率。

例如，考虑一所大学正在评估一位高中 GPA 为 2.5 及其他相关特征的申请者。该机构可能不仅限于预测其未来大学 GPA 的范围，而是特别关心以概率方式评估某个具体断言——例如，该学生的大学 GPA 是否会低于 2。由于此类评估会影响重要决策，因此概率赋值必须得到恰当校准，以确保错误结论保持可控的稀有性 [26]。

推断模型 (IMs) [20, 23, 24] 提供了一个针对未知量的不确定性量化的可能性框架。它们的关键特征是对可能性赋值进行校准，确保低可能性（或高必然性）测度以受控的比率被赋予真实（或虚假）断言。早期的 IM 发展集中在假设有参数模型的情形，但近期进展已将其构造扩展到无分布假设的情形 [4–10, 22]。特别是，本文所考虑的条件预测问题此前已在 Cella 和 Martin [9] 中探讨过。

当焦点从对 P_Y|X 下一个实现值的不确定性量化转移到对 P_Y|X 函数的不确定性量化时，挑战会增加。传统的无分布假设方法旨在不仅为特定数据点 xₙ₊₁ 构建集合估计，而且为所有 x ∈ ℝᵖ 构建集合估计。然而，实现适当的覆盖通常需要额外的假设。非参数回归 [12, 29]，例如，施加了光滑性条件，并假设在估计条件均值时 P_Y|X 具有足够轻的尾部——这反映了为其构建非平凡置信区间的基本困难 [1]。即使是像条件分位数这样稳健的函数，也需要对 x ∈ ℝᵖ 上的分位数函数施加额外的连续性假设，正如分位数回归方法 [17] 所示。同样的限制也适用于 Cella [5] 提出的用于条件分位数的无分布假设 IMs 构造，虽然它提供了经过校准的可能性不确定性量化，但也依赖于连续性假设。

这就引出了一个问题：能否在不施加任何额外假设的情况下，实现对 P_Y|X 至少某些函数的有意义的不确定性量化？该领域的最新进展由 Medarametla 和 Candès [25] 以及 Barber [3] 做出，二者都专注于通过集合估计进行不确定性量化。这些发展的一个核心要素是他们采用的有效性概念。类似于共形预测，所提出的集合估计的覆盖范围被认为是边缘性的，而不是以特定的观测值 xₙ₊₁ 为条件。换句话说，目标是在以边缘分布 P_X 加权时覆盖未知关注量的值。由于未对 P 所属的分布类做任何假设，寻求针对单个数据点的校准集合估计比试图在整个 x ∈ ℝᵖ 上实现逐点覆盖更为可行 [25]。

在这些进展的基础上，我们的目标是在 IM 框架内扩展这些思想，使条件量的不确定性量化无需分布假设，且超越集合估计。在第 4 节中，我们将上述讨论的边际有效性概念置于概率不确定性量化的更广泛背景下进行形式化，并提出一种满足此标准的具体无分布假设 IMs 构造。这种构造相当通用，能够容纳随机和固定的条件量。具体而言，我们呈现两个例子：一个是针对随机量 Yₙ₊₁，另一个是针对固定量——条件中位数。前者此前已在 Cella 和 Martin [9] 中考察过，但在这里，我们通过新框架的视角重新诠释它。后者是一项新颖的贡献，从 Medarametla 和 Candès [25] 的工作中汲取了重要启发。

本文其余部分组织如下。在第 2 节，提供了关于参数化 IMs 的简要背景，以使读者了解 IMs 背后的基本推理、其构造逻辑以及它们满足的关键性质。第 3 节介绍了（无条件的）无分布假设 IMs，其中 Cella [5] 的发展（最初设计用于固定的关注量）被推广以同时容纳固定和随机量。这种推广很重要，因为第 4 节中提出的用于条件量的 IMs 遵循类似的逻辑。最后，第 5 节提供了一个简明的总结、关键评论以及对开放问题的讨论。

1. 参数化IMs的背景

推理模型（IMs）大约在十五年前出现，旨在在统计学中两种主要思想流派之间取得平衡：频率主义和贝叶斯方法。换句话说，IMs被开发出来是为了提供关于未知数的概率不确定性量化，类似于贝叶斯框架，同时确保这些概率陈述经过校准并获得，而无需事先指定，这符合频率主义的观点。实现这种“两全其美”的关键——Efron称之为统计推断中“最未解决的问题”——在于IMs概率陈述中使用不精确概率。特别是，这些陈述通过必要性和可能性度量来表达。

换句话说，推断模型（IMs）将小的可能性（≤ α）赋予真实断言的频率（作为数据 ⁿ 的函数）也很小（≤ α）。
对于 IM 的必然性测度，也有相应的陈述，但我们在本文此处及后续部分均省略。关于这两种测度在 IM 框架中各自所起的重要作用的讨论，参见 Cella 和 Martin [11]。
这些校准性质的基础是 IM 轮廓函数（contour）所谓的有效性（validity）性质，其形式如下：

若干其他关键性质可直接由此有效性条件推出。为避免重复，我们将其讨论推迟到后续章节。

IM 构造背后的推理如下：相对似然自然地量化了未知参数 Θ 的某个候选值 与观测数据 ⁿ 之间的相容性。然而，它本身并不能保证我们所追求的经过校准的概率性不确定性量化。为解决这一问题，相对似然需经过公式 (1) 中所述的“可能性到概率”的变换，Martin [21] 将该过程称为“有效化”（validification）。这种“相容性函数 + 有效化”的组合将在下文构建无分布假设的 IMs 中起到关键作用。

1. 无分布假设的IMs

第2节回顾的参数化IMs功能强大，可以说为统计学中长期存在的频率学派与贝叶斯学派之争提供了一个有吸引力的解决方案。然而，如同所有参数化方法一样，它们也存在一个主要缺点——需要为数据指定一个参数化分布。在许多现代应用中，此类假设往往缺乏依据，使得无分布假设的方法更为可取。因此，任何严肃的统计推断框架都必须能够适应无分布假设的情形，而IMs也不例外。

考虑一个感兴趣的随机量 Z，它在样本空间 Z 中取值，并服从某个分布 P，但关于该分布 P 不做任何假设。可观测数据 Zⁿ = (Z₁, ..., Zₙ) 由来自 P 的 n 个独立同分布的实现构成。目标是在给定观测数据 Zⁿ = zⁿ 的情况下，对一个未知量 Θ 进行不确定性量化，该量 Θ 在空间 T 中取值，并与分布 P 相关联。为了尽可能保持一般性，我们考虑两种情况：未知量是固定的（例如，作为底层分布的一个函数 Θ = Θ(P)，如 P 的分位数），或是随机的（例如，从 P 中抽取的一个未来实现值 Θ = Zₙ₊₁）。在本节余下部分，当 Θ 是固定时，ℙ 将表示对 Zⁿ 取的概率；当 Θ 是随机时，ℙ 将表示对 Zⁿ 和 Θ 两者取的概率。

第2节中参数化IMs的一个关键特征是其有能力对任何感兴趣的断言做出经过校准的概率赋值。针对 Θ 的一个无分布假设IM 应该保持类似的性质。更具体地说，

目标是构建一个无分布假设的IM，它将小的可能性赋予那些具有小 ℙ-概率的真实断言。以下定义形式化了这一要求。

在构建针对 Θ 的无分布假设 IM 时，由于未假定模型，似然函数（以及相应的相对似然）不复存在。因此，无法通过公式 (1) 中的概率–可能性变换来获得轮廓函数（contour）。然而，我们认为第 2 节中提出的核心思想仍然适用：对一个实值函数进行“有效化”（validification），只要该函数能够度量 Θ 的候选值与观测数据 ⁿ 之间的相容性，就足以用于构建无分布假设的 IM。关键区别在于，在当前设定下，该相容性函数不能再基于相对似然，而需要一种新的策略。

除了确保对所关注断言赋予的可能性测度具有校准性之外，(5) 还带来另外两个重要推论。首先，它意味着由 IM 轮廓函数导出的集合估计具有频率学派的错误率控制保证。

(5) 的第二个重要推论涉及 IM 不确定性量化的整体可靠性。具体而言，它表明定理 3.1 中所推导的校准性不仅适用于关于 Θ 的某些预先指定的断言，而且在所有此类断言上是一致成立的（uniformly）。关于这一点的进一步讨论将在定理陈述及证明之后给出。

定理 3.2. 无分布假设 IM 的可能性测度具有一致校准性，即

(6) 中的事件“存在某个满足 ∋ Θ 的集合 ”可被视为所有包含 Θ 的断言 的并集。这显然比与任何一个固定的、包含 Θ 的集合 相关的事件要宽泛得多，这意味着 (6) 中的概率界比 (3) 中相应的界更强。这种更强的校准概念确保了：即使数据分析人员没有遵循在数据收集之前预先设定感兴趣断言的推荐做法，而是让数据影响其对断言的选择，错误的结论仍然能被控制在罕见的范围内。

为了说明上述无分布假设 IM 的构造，我们考虑两个例子。在这两种情况下，Z₁, ..., Zₙ 均为独立同分布的连续定量变量。第一个例子考察一个固定的未知量 Θ，具体指 P 的中位数。第二个例子则关注一个随机的未知量 Θ，即 P 的下一个实现值 Zₙ₊₁。

例 1. 考虑感兴趣的未知量为 P 的中位数，即满足 P(Z₁ ≤ Θ) = 0.5 的确切点 Θ。正如 Cella [5] 中所讨论的，在此情境下，一个自然的选择是相容性-枢轴（compatibility-pivot）为

图1的底部面板以灰色显示了该轮廓函数，其对应于顶部面板直方图中所示的数据。由于 ₙ₊₁ 基于 ₙ 的中位数，因此该轮廓函数在样本中位数处达到峰值。同样值得注意的是，在例1中推导出的针对分布 中位数的轮廓函数具有更高的精确度。这是合理的，因为对像 ₙ₊₁ 这样的随机量进行不确定性量化，本质上比对像中位数这样的固定量进行量化更为复杂；但请参见第4.4节。

1. 用于条件量的无分布假设IMs

4.1 设置与目标。在本节中，我们处理本文的核心问题：数据 ⁿ = (₁, ..., ₙ) 由 = (, ) ⊆ ℝᵖ × ℝ 的 n 个独立同分布实现构成，其中 表示协变量， 表示定量响应变量。对 的分布 = _Y|X × _X 不做任何假设。关注点是一个与 _Y|X 相关的未知量 Θ。更具体地说，在观测到数据 ⁿ 和一个新的协变量向量 ₙ₊₁ 后，所关注的未知量与分布 | ₙ₊₁ = ₙ₊₁ 相关。类似于第3节，Θ 可以是随机的（例如条件分布的下一个实现值 ₙ₊₁），也可以是固定的（例如其中位数）。

为了为这些与条件分布相关的 Θ 构建一个 IM，我们首先需要明确我们希望达成的有效性类型。观测数据由 ⁿ 中的 n 个协变量-响应配对以及第 (n+1) 个协变量向量 ₙ₊₁ 组成。我们将此组合数据记为 ₙ₊₁，即 ₙ₊₁ = {ⁿ, ₙ₊₁}。以下定义指定了基于 ₙ₊₁ = ₙ₊₁ 的针对 Θ 的无分布假设 IM 的轮廓函数应满足的理想有效性，而后续定理则概述了具有此类轮廓函数的 IM 所具备的性质。在本节中，当 Θ 是固定时，ℙ 表示对 ₙ₊₁ 取的概率；当 Θ 是随机时，ℙ 表示对 ₙ₊₁ 和 Θ 两者取的概率。

4.2. IMs的构建

对于 Θ 的无分布假设 IM，其轮廓函数按 (12) 定义，保留了定理 4.1 中建立的所有性质。然而，一个关键挑战是识别一个合适的相容性-枢轴 ρ，它在所提出的构造中起着至关重要的作用。这一挑战与第 3 节中（无条件的）无分布假设 IM 构造中的挑战类似。尽管特定应用允许识别该枢轴（如下文示例所示），但一种广泛适用的策略仍难以捉摸。事实上，此类相容性-枢轴可能并不总是存在——详见第 5 节的进一步讨论。

4.3 用于条件预测的 IMs

作为说明，考虑图2第一个图中 n=200 的数据集 zⁿ。图中的直线代表为拟合数据 zⁿ 而选定的三次中位数回归模型。然而，我们关注的是 Yₙ₊₁，而所展示的三次中位数回归模型正是我们在上述构造中将用作 m̂ 的模型。假设观测到 Xₙ₊₁ = 7。图2底部的图显示了式 (13) 中的轮廓函数。

水平线确定了由式 (11) 导出的 Yₙ₊₁ 对应的 95% 集合估计。

4.4 用于条件中位数的 IMs。我们现在将焦点转移到一个固定的 Θ，具体而言即条件中位数。记 m(x) 为给定 X = x 时 Y 的条件分布的中位数。在给定观测数据 wⁿ⁺¹ 的情况下，目标是为 Θ = m(xₙ₊₁) 构建一个无分布假设的 IM。

为实现此目标，必须识别一个合适的相容性-枢轴。虽然人们可能会想从第3节中的（无条件）中位数示例中汲取灵感，但该方法在此处并不适用，原因很简单：当 X 包含至少一个定量变量时，对于给定 X = x 的 Y 将没有重复观测值。在 Cella [5] 中，这一问题通过创建 X 的邻域得以解决，从而能够在对中位数函数在 x ∈ ℝᵖ 上附加连续性假设的前提下，构建用于条件中位数的无分布假设 IM。由于本文不愿假设连续性，因此必须开发一种新策略。

如果我们能获得 i = 1, ..., n₂ 时的 m(Xᵢ)，我们就可以直接应用前述结果来定义我们的相容性-枢轴，并完成条件中位数的无分布假设 IM 构造。然而，这种方法在实践中不可行，因为对于 i = 1, ..., n₂，m(Xᵢ) 是不可观测的。对于我们数据集 Zⁿ² 中的每个 Xᵢ，唯一可获得的量是其对应的响应值 Yᵢ。于是定义：

Tᵢ = -|Yᵢ - m̂(Xᵢ)|, i = 1, ..., n₂, (14)

并令 r*(Mₙ₂₊₁) 表示 Mₙ₂₊₁ 相对于 T₁, ..., Tₙ₂ 的秩。由于 T₁, ..., Tₙ₂ 是可计算的，确定 r*(Mₙ₂₊₁) 的分布并验证其独立于任何未知量，使我们能够使用此秩作为相容性-枢轴。以下引理对于推导 r*(Mₙ₂₊₁) 的分布至关重要，该分布将在后续定理中正式给出。

再次考虑图2顶部面板中 n=200 的数据集 zⁿ。异方差性显而易见，因为 Y 的离散程度随 X 变化显著。这表明，对于给定 X 时 Y 的条件分布，中位数是一个合适的中心趋势度量。现在，假设 Xₙ₊₁ = 7。为应用上述针对 Θ = m(xₙ₊₁) 的无分布假设 IM 构造，我们首先将数据 zⁿ 随机分为两半，其中 zⁿ¹ 由图3顶部面板中的黑色数据点表示。同一图中的直线代表为 m̂ 选定的三次中位数回归模型。图3底部面板以黑色显示了由式 (16) 得到的轮廓函数。作为对比，Θ = Yₙ₊₁ 的轮廓函数以灰色显示。重要的是要注意，这是一个不同于图2底部面板所展示的轮廓函数。为确保公平比较，此处的轮廓函数是使用第4.3节中所述构造的一个修正版本推导出来的。该方法依赖于数据分割，并利用了由式 (14) 定义的 T₁, ..., Tₙ₂ 的可交换性。

该轮廓函数被证明比条件中位数的轮廓函数精确得多，这与第3节中的例子形成了鲜明对比，在那些例子中观察到的是相反的趋势。此外，将上式右侧与式 (16) 的右侧进行比较可以发现，前者确实小于后者。关于这一点的进一步讨论见第5节。

1. 结论

   本文提出了一种新颖的无分布假设推断模型（IMs）构造方法，专门用于对条件量（即与给定协变量下响应变量的条件分布相关的量）进行可能性推理（possibilistic inference）。所提出的方法具有通用性，能够处理随机和固定的未知量，并且如定理 4.1 所示，其有效性可被严格证明。此处采用的有效性概念是边缘性的（marginal），这与更常被讨论的条件有效性（conditional validity）性质不同，且弱于后者。在无分布假设的背景下，若不引入额外假设，要在整个条件分布上实现逐点有效性（pointwise validity）极其困难。此外，基于 Lei 和 Wasserman [19] 等人的结果来看，似乎任何非平凡的 IM 都不可能满足条件有效性。

本节最后提出一些评述与未来研究方向。首先，尽管我们提出的构造方法具有广泛的适用性，但其实施高度依赖于识别一个合适的相容性-枢轴（compatibility-pivot）。目前尚无普适策略可用于此任务，这意味着每个具体问题都需单独处理。此外，并不能保证总能找到合适的枢轴，尤其当所关注的量受分布尾部影响时更是如此。一个自然的未来研究方向是将我们的方法应用于其他条件量，只要在这些情形下有可能识别出相容性-枢轴。例如，用于条件中位数的方法可推广至条件分位数。其他潜在目标包括条件四分位距、截尾均值和比例等。还需指出的是，使用相容性-枢轴构造无分布假设 IM 并非唯一途径；其他策略也存在，且可在几乎不损失或完全不损失有效性的前提下加以应用；参见 [10, 22]。

其次，针对条件中位数所提出的解决方案依赖于数据分割（data splitting），这对于近似所选相容性-枢轴的分布至关重要。然而，类似于在构建针对 Yn+1的 IM 时可以选择是否使用数据分割，此处所提出方法的替代版本或许能在条件中位数的情形下消除对数据分割的需求。这为未来研究提供了一个有前景的方向。

最后，我们在第 4.4 节的示例中观察到，针对条件中位数所提出的 IM 比针对 Yn+1的 IM 效率更低，这初看似乎违反直觉，可能暗示我们的方法并非最优。一方面，需注意我们的解决方案依赖于所选相容性-枢轴真实分布函数的一个上界，因此确实存在改进空间。另一方面，Medarametla 和 Candès [25] 已证明：以概率 1−α/2包含 Yn+1的置信区间，必然以概率 1−α包含条件中位数。这表明我们在示例中观察到的现象并非完全出乎意料。这些发现将在不精确概率（imprecise probabilities）的框架下进一步探索，并在本文的后续扩展中予以报告。

原文链接：https://proceedings.mlr.press/v290/cella25a.html