概率性推理模型：综述

Possibilistic inferential models: a review

概率性推理模型：综述

https://arxiv.org/pdf/2507.09007

摘要
推断模型（IM）是一种用于构建可证明可靠的、数据驱动的不确定性量化与未知量推断的框架。IM 与费希尔的可信推断（fiducial argument）目标相似，但根本区别在于：IM 不要求不确定性量化必须是概率性的，从而获得更大灵活性，并能严格证明其可靠性。近期的重要进展部分得益于与不精确概率（imprecise probability）文献——尤其是可能性理论（possibility theory）——的新联系。本文所研究的这类可能性型 IM 构造简单，具有极强的类频率学派可靠性，并支持完全条件化的、类贝叶斯式的（不精确）概率推理。本文综述了这些关键的最新进展，阐述了新理论、新方法及计算工具。此外，还提出了一种对基本可能性 IM 的推广，意外地建立起与现代统计学和机器学习中若干思想（如自助法和保形预测）的新联系。

关键词与短语：贝叶斯；置信分布；可信推断；频率学派；不精确概率；可能性理论；有效性。

1 引言
推断模型（IM）是一种用于数据驱动的不确定性量化与关于相关未知量的归纳推断的模型。这些未知量可能是所设定统计模型中的参数或其函数，但也可能涉及其他情形；详见第6节。更具体地说，IM 提供一种数学上严谨、完全条件化的、类贝叶斯式的不确定性量化——无需先验分布或贝叶斯定理——且在类频率学派意义上可证明可靠，即其输出在重复抽样下自然校准。至少在高层次上，这让人联想到费希尔可信推断的目标，因此有必要从一开始就阐明 IM 的新颖之处：在缺乏真实先验信息的情况下，概率性不确定性量化存在可靠性极限；而 IM 框架并非通过放松“可靠性”来规避这些限制，而是通过放松“概率性”，转而在一个更灵活（但仍数学严谨）的框架中工作，该框架不要求为每个关于未知量的命题赋予单一或精确的概率值。后续章节将深入探讨这些细节。目前只需指出，正是这种在统计推断中创新性地运用不精确概率理论的概念与工具，促使 Cui 和 Hannig（2024）将 IM 描述为“2010 年代最具原创性的统计创新之一”。

自专著《推断模型：不确定性推理》（Martin and Liu, 2015b）出版至今已约十年，此后在基础、理论、方法和计算等各方面均取得了诸多令人振奋的进展。推动这些近期进展的一个动因在于认识到：尽管 IM 偏离常规概率论使人进入陌生领域，但这一新领域并非无人涉足——整个不精确概率理论研究社群及其丰富文献蕴藏着重要的洞见、理解以及数学与计算工具。这些努力也激发了其他发展（例如 Caprio et al. 2025；Williams 2023；Xie and Wang 2022），并为重新理解和改进贝叶斯推断、可信推断、自助法、保形预测等提供了新机遇。本文旨在综述这些与前述专著相关但又有所不同的最新进展，并呈现一些新的洞见、方法和结果。希望本综述能使这些激动人心的发展更易于理解，并吸引新一代研究者关注这些基础性进展与开放问题。

为此，本文其余部分安排如下：第2节通过回顾概率性不确定性量化并指出其缺陷来铺垫背景。特别是，第2.4节对“虚假置信定理”（Balch et al., 2019）提出了新视角，表明任何依赖数据的后验概率分布——无论是采用何种先验的贝叶斯方法，还是（广义）可信推断等——在本文所考虑的先验信息为空的情形下，往往会赋予某些错误假设很高的概率或置信度。这一结论有双重含义：概率性不确定性量化存在固有的不可靠性；要纠正这一点，必须借助不精确概率世界中更灵活的工具来量化不确定性。第3节深入探讨可能性型 IM 的构造细节，之所以强调“可能性型”，是因为这一新视角——类似于 Martin and Liu（2015b）中提出的观点——高度依赖于可能性理论的解释、演算、计算工具和数学结构。随后介绍了 IM 的关键性质，包括有限样本有效性（finite-sample validity），该性质确保其不精确概率输出得到恰当校准，特别是由此导出的检验和置信集具有频率学派的错误率保证。同时也讨论了效率问题，包括一个新的可能性型 Bernstein–von Mises 定理，该定理保证 IM 的输出在渐近意义下呈可能性高斯分布，且效率与经典情形一致（即渐近方差达到 Cramér–Rao 下界）。但 IM 并非纯粹的频率学派方法——它也提供完全条件化的不确定性量化；第3.4节综述了此前工作中较少关注的相关类贝叶斯性质。IM 的计算并不平凡，第3.5节简要回顾了一项令人振奋的新进展，该进展促进了基于抽样的蒙特卡洛计算，用于评估 IM 的非概率性输出。第4节阐释 IM 提供的远不止是频率学派与贝叶斯学派的“统一”——IM 框架实际上弥补了两种范式的缺陷！第5节处理消除冗余参数这一重要实践问题，并由此引出第6节所呈现的一些新发展，这些发展帮助 IM 实现超越统计模型情形的更高层次不确定性量化。该节还探讨了该思想在风险最小化推断和（保形）预测中的应用。第7节以简要总结收尾，提及本综述未涵盖的相关主题及未来研究的若干开放问题。附录/补充材料提供了支持性技术细节和额外示例。

有人或许会认为此类基础性工作不切实际，但我持不同看法。多年来，我们一直听到统计学作为一门学科在数据科学浪潮中面临“错失良机”的风险；参见 He 等人（2025）的近期报告。统计学家普遍认同统计学是数据科学的重要组成部分，那为何如此担忧？船长从不担心错过自己的船，大副和二副亦然；只有辅助船员和乘客才会忧虑赶不上船。这种对错失数据科学之船的恐惧，暴露了我们社群深层的不安全感——害怕自己只是辅助船员——这显然并非因为我们参与的应用项目不够多，或证明的一致性定理不够多。其根源必定在于某种更深层、更重大的缺陷，例如：“一门对科学和批判性思维至关重要的学科，为何拥有两种方法论、两种逻辑、两种常常对同一问题给出截然不同答案的路径？”（Fraser, 2011b）。只要这类根本性问题悬而未决，我们的学科就无法对其贡献充满信心。通过解决这些基础问题来为学科定向，将证明我们拥有独特的专业能力，从而让我们确信：船，不会抛下我们。

2 背景与动机

2.1 问题设定与符号

由于先验信息为空白，我们所能依赖的仅有针对数据 Z Z 及其实现 z z 的模型/似然函数。根据 Hacking（1976）的观点，“统计学家希望获得数据支持假设程度的数值度量”，在我看来，这听起来像概率性不确定性量化（见第2.2节）。因此，尽管存在完全空白的先验信息（这使得恰当的贝叶斯推断无法实现），目标仍然是为关于未知量 Θ Θ的假设分配数据依赖的概率（或类似的东西）。为此，我将追随费希尔——“量化不确定性的世界大师”（Pearl 2018）——以及杰弗里斯、邓普斯特、伯格、瓦利及其他先驱者的思想。

2.2 概率性不确定性量化

重要的是，必须区分对未知且不可观测的 Θ Θ（如本文所考虑的情形）进行概率性不确定性量化，与对未知但可观测的对象（例如，未来的一个数据点）进行量化之间的区别。在后一种情况下，所涉及的概率模型可以直接根据观测结果进行检验：如果模型声称某个预设事件具有（实际上）零概率，而该事件却发生了，则模型必然是错误的。这就是库尔诺原理（Cournot’s principle），参见 Vovk (1993)、Shafer (2007) 以及 Shafer and Vovk (2019, 第10章)。然而，在前一种情况下，真实参数 Θ Θ 通常永远不会被揭示，因此关于 Θ Θ 的概率性不确定性量化无法直接对照现实进行检验。但它可以通过间接方式接受可靠性审查：

即使未将经验频率观点作为推断的基础，如果一种表示不确定知识的程序……在反复使用时会系统性地得出误导性结论，那也是不可接受的。（Reid and Cox 2015）

2.3 现有方法

默认先验贝叶斯方法（Default-prior Bayes）在缺乏真实信息时，采用相等概率作为默认的做法有着悠久历史。这一思想最早出现在贝叶斯（Bayes, 1763）的原始工作中，并被拉普拉斯（Laplace, 1812）及其同时代学者所采纳，最终被称为“不充分理由原则”（principle of insufficient reason）（例如 Stigler 1986, 第127–129页）。凯恩斯（Keynes, 1921, 第4章）后来将其更名为“无差别原则”（principle of indifference），并描述如下：

“无差别原则断言……若没有正面理由赋予若干命题以不相等的概率，则必须对它们分配相等的概率。”（Keynes 1921, 第45页）

一方面，该原则至少在初步考虑时似乎普遍可接受，并已被广泛应用于各种场景，且以多种方式得到推广（例如 Jaynes 2003）。另一方面，包括凯恩斯和费希尔在内的许多作者对该原则提出了严厉批评。

杰弗里斯（Jeffreys）以不同视角回应了费希尔的批评。他并未试图对“无知”进行概率性描述——这是一项不可能完成的任务（见第2.4节）——而是专注于构建其他方面合理、可辩护的默认先验：

“…找到一种方式来表达一个参数的大小未知，而其所有可能取值都不需要特别关注。”（Jeffreys 1998, 第117页）

他的努力催生了如今广为使用的杰弗里斯先验（Jeffreys priors, Jeffreys 1946），后续研究证明这些先验所产生的后验分布在大样本下具有优良性质（例如 Datta and Ghosh 1995；Welch and Peers 1963）。目前，杰弗里斯公式已在多个方向上得到实质性推广（例如 Berger et al. 2024）。然而，尽管取得这些进展，学界仍未能就哪一种（如果有的话）默认先验是“正确”的达成普遍共识，因此根本问题显然仍未解决；参见第20页埃夫龙（Efron）的引述。

可信推断及其类似方法（Fiducial and the like）费希尔（Fisher, 1930, 1933, 1935a,b）提出了一种新颖的、非贝叶斯的概率性不确定性量化方法——萨维奇（Savage, 1961）曾著名地将其描述为“试图不打破贝叶斯之蛋而做出贝叶斯煎蛋卷的大胆尝试”。此处我不展开细节，读者可参考 Zabell (1992) 和 Savage (1976) 了解费希尔的思想，以及 Xie and Singh (2013)、Hannig et al. (2016)、Schweder and Hjort (2016) 获取关于现代可信类推断的视角。

粗略而言，费希尔的可信推断将模型赋予可观测数据事件的、依赖于参数的概率，重新解释为关于未知参数的（依赖于数据的）断言，然后将这些事件原先的概率“翻转”为给定观测数据下关于未知参数的主观概率。费希尔选用“fiducial”（意为“基于信念或信任”）一词来描述其解法，清楚表明他意识到自己的论证并非百分之百数学严谨。费希尔心中必定存在某种支撑其对可信概率之“信念/信任”的原则，但据我所知，他从未明确陈述过此类原则。邓普斯特（Dempster, 1963, 1964）将其描述为一种“继续视作”（continue to regard）的操作；汉尼格（Hannig）等人（例如 Hannig et al. 2016；Murph et al. 2024）则称之为“切换原则”（switching principle），即随机与固定的角色发生互换。无论如何，可信推断融合了数学推理与原则应用，因此与默认先验贝叶斯方法并无本质区别。

由于费希尔的声望及其所提方案的神秘性，可信推断获得了大量关注——同时也遭遇了严厉审视。林德利（Lindley, 1958）、邓普斯特（Dempster, 1963, 1964）以及布勒与费德森（Buehler and Fedderson, 1963）对费希尔的构想给予了致命打击。尽管这些批判极具洞见，但基本上仅证实了可信推断在数学上并不严谨。费希尔所提供的解法缺乏数学严格性，并不意味着该问题本身不切实际、无关紧要或不可解；因此，可信推断对统计学家而言仍是一种“圣杯”：

2.4 概率论是否适合这项任务？

在统计学文献中，几乎普遍默认不确定性量化必须使用概率论来表述。但值得追问的是：概率性不确定性量化能否实现第2.2节所描述的可靠性目标？剧透警告——答案是“否”。

这相当于一个假设：回归函数的根大于 -1。假设真实参数 Θ Θ 为 (0.3, 0.1, 1)，因此上述假设实际上是错误的。图1展示了基于1000个大小为 n = 25
的数据集，该贝叶斯后验分布所对应的虚假置信率 α ↦ F C R ( α , H )（的一个下界）的图像。请注意，即使这个下限在整个 α 范围内也相当高。这种贝叶斯后验倾向于赋予错误假设相对较高概率的趋势，正是导致系统性误导性结论风险的原因。

以概率论来表述统计不确定性量化的风险并非新问题。例如，Fraser (2013) 写道：

[Xie and Singh (2013)] 因此建议我们忽略对置信集的限制或等价物，允许自由地生成参数分布。当然，分布更容易思考，大体上符合费希尔最初的提议，且更贴近贝叶斯方法的自由度，但它们确实忽视了固有的风险……

这些风险主要涉及在进行边缘化时所产生的不可靠性（例如 Balch et al. 2019；Dawid et al. 1973；Fraser 2011a）。当 Schweder and Hjort (2013) 警告说“我们认为不应寻求联合[置信分布]，因为它们可能轻易使统计学家迷失方向”时，他们担心的是用户会无法抗拒进行熟悉的概率性边缘化的诱惑，从而制造出不可靠性的风险。造成虚假置信或这种不可靠性风险的根本原因，目前仍是一个开放性问题。当前的猜想是：当假设涉及模型参数的非线性函数时，虚假置信往往更容易发生（Martin 2024b），例如上述假设 H 是关于比率的假设；Fraser (2011a) 和 Fraser et al. (2016) 的分析也给出了类似的警示信息。

2.5 若非概率论，那又该是什么？

统计推断中概率性不确定性量化不可靠的问题具有普遍性，并非某种特定概率方法所独有。因此，要解决这些问题，就必须超越概率性不确定性量化，转向其他框架。这种“其他框架”应当具有类似概率的性质，使得不确定性量化仍有意义，但它不能满足可加性（additivity）。

Choquet（1954）引入的容度（capacities）是非可加的集函数，下文我将展示：一种特殊类型的数据依赖容度能够实现普通概率所无法达到的理想可靠性性质。

粗略地说，不精确概率（imprecise probabilities）是经过归一化的容度，并具备额外性质，使其适合作为不确定性量化的模型。统计学家可能熟悉的一些例子包括：

• 信念函数（belief functions），最初由 Dempster（1966, 1967, 1968）提出，后由 Shafer（1976）形式化，属于无穷单调容度；
• 在稳健性研究中出现的二阶单调容度（2-monotone capacities）（例如 Berger 1984；Huber 1973, 1981；Wasserman 1990b；Wasserman and Kadane 1990）；
• Walley（1991）提出的基于下预视（lower previsions）的广义贝叶斯框架。

在接下来的讨论中，我们并不需要上述不精确概率具体形式的细节。此处我关注的是不精确性本身及其作用。

在教科书中，普通的或精确的概率论通常置于机会实验（chance experiment）的背景下介绍——例如，掷一枚均匀的六面骰子——其中实验的具体设定完全明确，但结果无法确定预测。此时，概率用于量化人们对实验不可预测结果是否满足某个性质的不确定性。这类不确定性称为偶然不确定性（aleatory uncertainty）。

但若实验的具体设定并未完全明确呢？假如关于即将掷出的骰子存在模糊性——例如，可能有一半的面都标着“3”，或者骰子不对称地偏向“6”等——那么显然不存在一个单一的概率能准确刻画对结果的不确定性。这种模糊性就是认知不确定性（epistemic uncertainty）的一个例子，而普通概率论无法容纳此类不确定性。

在对骰子完全无知的极端情形下，应用无差别原则并假设各面概率相等是不可接受的：在“对骰子一无所知”与“确信骰子公平”这两种几乎正交的情境下，评估结果怎么可能相同？问题不在于假设公平性本身，而在于相信单一概率可以同时刻画偶然不确定性和认知不确定性。

不精确概率旨在直接处理认知不确定性，即模型设定中的模糊性。因此，不精确性并非源于评估粗糙的缺陷，而是为了诚实地、忠实地捕捉所有不确定性的努力。

这对本文所讨论的关于未知量 Θ Θ 的不确定性量化目标具有重要意义，因为在“先验无知”（a priori ignorance）的情况下，认知不确定性占主导地位。从这一视角看，“数据足够信息充分，足以将空白的、不精确的先验——即完全无知——映射为既完全精确又可靠的后验”的想法是完全不现实的。不精确性是必要的。事实上，Walley (1991) 提出的广义贝叶斯规则应用于完全空白先验时，返回的仍是一个空白后验，这意味着当一个人在先验上无知时，不可能以贝叶斯方式学习；另见 Kyburg (1987)、Walley (2002)，以及近期的 Gong and Meng (2021)。非贝叶斯式学习方法不会受到此类批评，但这种“上手”方法显然要付出相当高昂的代价——即必须彻底放弃概率论，转而采用没有自然固定数据不确定性量化解释的程序；参见第6页 Zabell 的引述。

然而，我的主张是：许多这些非贝叶斯学习策略实际上对应于不精确概率性或更具体地说，可能性性（possibilistic）不确定性量化，只是此前无人意识到这一点。尽管费希尔活跃的时代尚无不精确概率理论，但在他的著作中存在一些段落暗示他可能预见到了一种不精确或不准确的概率理论：

• “[p 值] 比任何关于该命题的精确概率陈述更原始、更基本，且不能证明其合理性。”（Fisher 1973, 第46页）
• “然而，显然，任何精确的概率陈述都不能基于[置信限]。”（同上，第74页）

推测起来，非贝叶斯主义者并不反对固定数据不确定性量化的解释，他们只是不知道如何在不走贝叶斯路线的前提下加以论证，而这可能会危及可靠性。下文所述的发展展示了如何获得既可靠又高效的可能性性不确定性量化。

3 可能性推断模型

3.1 视角

关于基于随机集合的构造，有一个技术要点需提供背景知识以支撑后续内容。Martin and Liu (2015b) 中的定理 4.3 指出，用于量化未观测值 u u 不确定性的唯一可接受的随机集合是嵌套的，即：对于随机集合的任意两个实现，其中一个必为另一个的子集。虽然随机集合的分布通常可用信念函数描述，但嵌套随机集合的分布对应于一种特殊类型的信念函数，即相容信念函数（consonant belief function）；参见 Shafer (1976, 1987)。相容信念函数对应于可能性测度（possibility measures）（例如 Dubois 2006; Dubois and Prade 1988），而这些测度类似于统计学家所熟悉的概率分布。鉴于前述定理表明高效的 IM 必须采用 T T 上的可能性测度形式，我将专注于可能性型 IM；另见 Liu and Martin (2024)。对可能性理论基础不熟悉的读者，请参阅附录 A 以了解与下文统计发展相关的背景知识。

3.2 构造

我将始终假设，对于几乎所有 z z，分母是有限的。相对似然可以直接赋予一种不精确概率性（实际上是可能性性）的解释，且这一点已被广泛研究（例如 Denceux 2006, 2014；Shafer 1982；Wasserman 1990a）。但基于原始相对似然的可能性性不确定性量化存在与上述讨论的概率性不确定性量化类似的问题——显然无法控制虚假置信率。然而，相对似然扮演着一个重要的角色，即根据参数值与观测数据 Z = z
的相容性对其进行排序，这正是费希尔所设想的角色。可以说，上述相对似然函数 θ ↦ R ( z , θ ) 是“最佳”的此类排序函数，因为它是极小充分统计量；另见附录 C 中的注释1。但这并非唯一可考虑的排序函数；参见第5–6节。

可能性型 IM 构造的第二步是“验证”（validifying）（Martin 2022a）相对似然（或其他排序函数）。这相当于应用一种“概率到可能性变换”（probability-to-possibility transform）的版本（例如 Dubois et al. 2004; Hose 2022），并返回可能性型 IM 的等高线函数：

3.3 基于抽样的可靠性性质

3.3.1 有效性（Validity）

可能性型 IM 的核心可靠性性质是强有效性（strong validity）。

定理2。可能性型 IM 具有强有效性，其含义是：

这对应于 p 值的熟悉结果，是基础数理统计课程中所教授的概率积分变换的直接推论。尽管这一结果以及下文部分（但非全部）结果在 p 值的语境下可能为人所熟知，但重要的是要记住：p 值通常仅用于孤立的显著性检验，而非作为构建广泛、数学上严谨的可靠不确定性量化框架的基础模块。此外，此处的结果之所以与熟悉的 p 值考量一致，仅仅是因为我假设了先验信息为空白；更一般的情形已在 Martin (2022b) 中讨论，并在第7节简要提及。

强有效性具有若干重要推论。首先，式（4）立即意味着可能性等高线的上 α 水平集是一个 100(1−α)% 置信区域。请注意，贝叶斯可信集和可信推断的置信集通常只能在样本量趋于无穷时渐近地达到置信集的地位。图2展示了上水平集 C α ( z ) ，其中 α = 0.1 。

那么，正如对式（6）的解释一样：IM 将较大的下概率赋予一个错误假设，这是一个小概率事件。

一个自然的问题是：为何同一个量 α 会同时出现在上述两个表达式的花括号内外。原因在于，数值概率的解释是与语境无关的。也就是说，尽管“小”和“大”概率的具体含义可能因人而异，但像“概率为0.1”这样的陈述，对于某个特定个体而言，无论主题是明天的天气还是关于未知量 Θ 的数据驱动不确定性量化，其含义都是相同的。因此，用于解释关于 Θ 的概率的尺度，与用于解释关于 Z 的模型驱动概率的尺度完全一致。于是，同一个 α——代表任何被解释为“小”的值——在式（6）的概率陈述的花括号内外均会出现。

推论2。可能性型 IM 在式（6）的意义上是有效的。因此：

最后，尽管有效性与强有效性在例如 Martin and Liu (2013, 2015b) 中曾被或多或少视为等价性质，但必须强调的是：强有效性（4）确实比有效性（6）更强。这一点首次在 Cella and Martin (2023) 中得到确立，其中证明了式（4）中的强有效性与式（6）的一个关于假设的一致版本是等价的。有关进一步解释，请参见附录 C 中的注释2。

3.3.2 效率

此处的问题是基础性的，与19世纪初勒让德和高斯发展出的关于最小二乘法的基本概念相关，更一般地说，也涉及观测值组合（例如 Stigler 1986），以及后来20世纪发展的充分统计量、费希尔信息、Cramér–Rao 下界等。

在早期 IM 发展中，Martin and Liu (2015a) 通过手动操作连接数据 Z Z、参数 Θ Θ 和辅助变量 U U 的关联关系，处理了跨不同来源的信息整合问题。他们“重新发现”了经典的降维技术，如充分性和基于辅助统计量的条件化；他们还发展了一些新见解，超出了本综述的范围。虽然他们的手动方法提供了更大的灵活性，并进而具有更高效率的潜力，但通常难以实施。当前的构造基于相对似然排序，自动以一种“最优”的方式整合观测值（至少在某些情况下），无需任何手动操作。下文将回顾 Martin and Williams (2025) 的结果，表明上述有效的可能性型 IM 在熟悉的含义下是渐近高效的。因此，IM 的精确有效性（通过不精确性实现）在效率方面没有任何代价。

以下总结的是一个著名的 Bernstein–von Mises 定理的可能性理论版本，该定理出现在贝叶斯和（广义）可信推断文献中，它确保输出是渐近高斯分布，其协方差矩阵与 Cramér–Rao 下界一致。Bernstein–von Mises 定理对贝叶斯和可信推断至关重要，因为它保证了可信集是渐近置信集。对于可能性型 IM，其等高线水平集自动成为置信集（推论1），因此下面的定理3严格关注 IM 的渐近效率。

3.4 条件性、固定数据性质

虽然考察 IM 输出的抽样性质是自然且重要的，但（不精确）概率性不确定性量化常被忽视的一个优势在于：它提供了完全条件化、针对固定数据的解释。这一角度在默认先验贝叶斯、（广义）可信推断、IM 等文献中往往未被充分讨论。遗憾的是，本文篇幅有限，无法对此进行细致阐述，详见附录 D。

3.5 计算

直到最近，计算 IM 等高线的方法仍仅限于朴素且相对低效的策略。具体而言，主流方法是通过以下方式近似 π z
：

Martin (2025b) 最近开发了一种新颖且高效的 IM 计算策略。该方案用一种从 IM 输出中专门导出的“后验分布”（而非通过贝叶斯定理）进行蒙特卡洛抽样，取代了（大部分）式（7）中的朴素等高线评估。这些发展的起点是所谓的“可信集”（credal set）（例如 Levi 1980, 第5章），它与 IM 输出相关联。一般而言，可信集就是被给定上概率所支配的一组精确概率；在我们当前的记号下，其定义为：

3.6 示例

4 对频率学派与贝叶斯学派的启示

4.1 对频率学派而言

频率学派有充分理由放弃概率主义（probabilism）。这些理由包括上文第2.4节所述的可靠性警告、Mayo（2018）详述的基础性问题，以及概率主义缺乏灵活性所带来的实际相关问题，例如：“认为统计问题不必作为一个统一整体来解决，这种想法对贝叶斯学派而言是不可接受的，但对频率学派却是一种解放”（Wasserman 2008）。然而，仅仅因为概率主义存在缺陷就彻底抛弃形式化的不确定性量化，实属极端之举——无异于“把婴儿和洗澡水一起倒掉”。事实上，这种抛弃既无必要，又有害处。

我先说明为何“无必要”。频率学派对其经典问题已有偏好的解决方案，因此自然不愿考虑那些对同一经典问题提出不同解法的新框架。但上文所述的基于似然的可能性型推断模型（possibilistic IM）通常恰好与经典解法一致（必要时模去适当的边缘化处理；见第5节）。此外，该基于似然的框架易于推广（第6节），从而在可能性型 IM 解法与常用频率学派解法之间实现更大的灵活性和更广泛的吻合。更一般地，附录 G 中正式陈述并证明的结果大致如下：对于关于完整参数 Θ 的任意特征 Φ = f(Θ) 的任何具有频率学派错误率保证的检验或置信程序，都存在一个有效的可能性型 IM（即提供完整的不确定性量化！），其所导出的关于 Φ 的检验/置信程序至少与给定程序一样好。这一结果推广了 Martin and Liu（2014）和 Martin（2021a）中的类似结论，具有重要推论：没有任何真正的频率学派解法——无论是经典教科书中的，还是尚未被构想出来的——超出了可能性型 IM 框架的能力范围。因此，频率学派实际上已经在使用可能性型 IM，故而他们对本文所提出的不确定性量化方式不应有任何异议；但他们尚未充分利用可能性型 IM 所能提供的全部优势，这一点我将在下文讨论。

频率学派若放弃形式化的不确定性量化，其危害已被广泛记录；《美国统计学家》（The American Statistician）近期多期专刊均聚焦于此。其中所述的混乱源于教科书一方面强调 p 值和置信区间没有概率解释，另一方面又不提供替代性解释。缺乏解释会导致至少两种后果：一些研究者会自行构建解释，但多种不同的解释只会造成混淆；另一些研究者则干脆接受“不存在有意义的解释”这一观点，使统计分析沦为盲目遵循的规程，即所谓“统计显著性的崇拜”（Ziliak and McCloskey 2008）。这种混淆和/或盲目信任导致统计工具的误用，或许更重要的是，它促使研究者只关注那些他们认为可用简单教科书规程回答的、相对狭窄的科学问题。

幸运的是，这种混淆是可以克服的，因为频率学派方法与 IM 之间的联系为 p 值和置信区间提供了一种简单且数学严谨的解释。费希尔曾正确指出，p 值和置信区间不能对 Θ 作出“精确的概率陈述”，但这并不意味着完全不能作出任何陈述。借用 Shafer 将上概率描述为“合理性”（plausibility）度量的说法，上述联系立即意味着：p 值可被解释为在给定数据 z 下零假设 H₀ 的合理性，而置信集可被解释为在给定数据 z 下所有个体均具有足够合理性的参数值集合。这正是实践中 p 值和置信集的实际用法，如今这一用法获得了数学上严谨的正当性。这正是我在课程中（包括入门级课程）教授 p 值和置信集的方式——无需涉及不精确概率等技术细节——并受到学生们的广泛欢迎。

4.2 对贝叶斯学派而言

与频率学派不同，贝叶斯学派坚定地信奉概率主义（probabilism）。当真实先验信息可用时，这种承诺是合理的；但在缺乏先验信息的情况下，这种承诺就值得质疑。由于不存在能够忠实表达“无知”的先验概率分布，因此任何默认先验的贝叶斯后验分布都不可能在任何意义上是“正确”的——“[贝叶斯定理] 无法从假设的概率中创造出真实的概率”（Fraser 2014）。此外，即使务实的贝叶斯主义者并不关心其后验分布是否“正确”，也必须接受“虚假置信定理”所揭示的可靠性缺失问题。基于这些（或许还有其他）原因，Efron（2013）写道：

“……在缺乏先验信息的情况下使用贝叶斯定理，或许是统计推断中最重要的未解问题。”

坚持概率主义是对不确定性量化质量与可靠性的限制。为强调这一点，不精确概率理论与应用学会（Society for Imprecise Probability: Theories and Applications）有一句座右铭：“不确定性远不止概率。”IM 框架坦然接受概率主义的这一局限，并承认：在缺乏先验信息时，虽然不存在单一“正确”或完全可靠的后验概率分布，但存在一个可被合理辩护的后验概率集合，而该集合可由一个可能性测度来刻画。

读者对不精确概率感到不适是可以理解的，出于简洁性考虑，或许仍倾向于熟悉的（尽管有缺陷的）概率性不确定性量化。但构造概率的方式多种多样，若仅局限于“先验 × 似然”这类构造，同样会限制不确定性量化的质量。Martin（2025c）提出的新思路是：用一个概率分布去近似 IM 的可能性型输出。下文简要概述这一方法。

尽管内层概率近似通常不是任何先验下的贝叶斯后验，但在某些情形下仍可建立直接的贝叶斯联系。特别地，对于所谓的不变统计模型（invariant statistical models）（参见 Eaton 1989；Schervish 1995, 第6章），基于右哈尔先验（right Haar prior）的贝叶斯后验正是该可能性型 IM 的一个内层概率近似（例如 Martin 2023a, 2025c）。

综上所述，在缺乏先验信息时，概率主义的局限性与上述可能性主义（possibilism）的优势共同表明：应放弃前者，转而采用后者。但即便有人坚持概率主义，“似然 × 先验”这一贝叶斯式构造本身也有其局限：如果真存在一个能解决 Efron 问题的神奇默认先验，那它早就该被发现了。因此，该问题的解决方案很可能来自一种全新的视角——其中后验并非通过贝叶斯定理获得。或许，正是那个“不打破贝叶斯之蛋却做出煎蛋卷”的解法，从而解决了 Efron 所称的“最重要的未解问题”？

5 消除冗余参数

Basu (1977) 曾写道：“从模型中消除冗余参数被普遍认为是统计学的一个重大问题。” 自 Basu 时代以来，情况并未有多大改变——频率学派的不可能性结果（例如 Gleser and Hwang 1987；Dufour 1997）以及上文讨论的贝叶斯推断的普遍不可靠性表明，边缘化推断具有挑战性，需要谨慎处理。本文所采用的可能性理论视角提供了一些新的洞见，我将在下文进行讨论。

在（不精确）概率推断中执行的一种通用操作是“扩展”（extension），即利用不确定性量化框架的演算，将对一个未知量的不确定性量化扩展到相关的另一个未知量。在可能性理论中，相关演算是优化（optimization），因此这是用于执行扩展的操作。遵循 Zadeh (1975, 1978)，可能性型扩展原则的基本构件是一种基于优化的边缘化规则：使用当前记号和术语，若 Θ 是未知的，其不确定性由带有等高线 π_z 的可能性型 IM 给出，且若 Φ = g(Θ) 是 Θ 的一个特征，则对应的基于扩展的边缘 IM 等高线定义为

尽管通向式（12）的正式推导可能令人陌生，但所执行的操作却是统计学家无需多想就会使用的：为了检验一个复合假设，可以在其包含的所有简单假设上最大化 p 值。

该策略的简洁性和普适性是其优势。但若不对特定问题或感兴趣的特征进行任何定制化调整，人们应预期相应的基于扩展的边缘 IM 会相当保守。

这并非完全由 ϕ ϕ 决定。与之前一样，容易证明强有效性在此基于轮廓的边缘 IM 构造下得以保留。在排序步骤中包含优化的合理性，在效率方面通常优于在验证后进行优化，但这一点较为微妙，我建议感兴趣的读者参阅 Martin (2022b)。在特定应用中，轮廓法往往比扩展法更高效是显而易见的；详见下文。Martin and Williams (2025) 表明，虽然基于扩展和基于轮廓的边缘 IM 构造都享有大样本可能性型 Bernstein–von Mises 定理，但后者极限高斯分布的方差通常更小，因此效率更高。

伽马例子（续）。此处我重新分析 Hamada 等人 (2004) 中的数据。关注点在于推断伽马分布的均值 2。可以执行两种边缘化——基于扩展和基于轮廓——两者均在图5(b)中展示。如前所述，基于扩展的等高线（可从图4(b)中的联合等高线导出）结果更宽泛，缺乏基于轮廓解法的效率。图5(b) 还展示了基于“暴力搜索”策略的“精确”基于轮廓的边缘 IM 等高线（灰色线）。

我称其为“精确”，是因为该策略能产生对等高线的逐点无偏估计。我在这里展示这两条曲线是为了突出第3.5节简要描述的 Martin (2025b) 的基于抽样的蒙特卡洛策略的准确性：图5(b)中的两条实线几乎无法区分。

关于基于轮廓似然的 IM 解法的进一步讨论和示例见附录 F。尽管它相比基于扩展的边缘化具有优势，但必须强调的是，基于轮廓的边缘化并非普遍适用，即存在轮廓法次优的情形。正如预期的那样，当存在许多冗余参数时会出现问题，例如著名的 Neyman and Scott (1948) 和 Stein (1959) 例子；参见 Martin (2023b, 第3.6节)。更具体地说，基于轮廓的边缘 IM 始终有效，但随着冗余参数数量的增加，其效率会下降。原因是，当冗余参数数量发散时，最大似然估计量倾向于不一致；由于基于轮廓的边缘 IM 等高线的峰值位于最大似然估计量处，若该峰值偏离目标，则需要更宽的等高线才能覆盖相关范围。补救方法是用其他东西（例如边缘似然或条件似然）替换相对轮廓似然排序（例如 Severini 1993, 1994, 1998），但迄今为止，这仅在个案基础上得到解决（Martin 2023b）。值得再次提及的是，前述 IM 始终有效——不同于贝叶斯和可信推断，它们在冗余参数问题上可能具有误导性——因此问题是如何恰当地对兴趣参数值进行排序，以使推断高效。

技巧1。一个简单且通用的消除冗余参数的策略是条件化。费希尔精确检验就是一个熟悉的例子，其中 p 值是通过给定零假设下充分统计量的观测值所对应的条件分布获得的。根据定义，给定充分统计量的数据的条件分布不依赖于参数，因此冗余参数被消除了。当前的目标并非获得用于检验假设的 p 值，但相关计算相似，因此可以采用相同的策略。

技巧2。严格来说，式（13）外层的上确界并非必要。事实上，一个实际上难以达到的等高线定义为

6 在更一般情境下的 IM

6.1 关键技术扩展

上述提案的一个明显局限在于，其对相对似然的强调隐含地假设了一个统计模型 { P θ : θ ∈ T }是可用的。例如，机器学习应用往往倾向于避免此类模型假设。一个简单但重要的观察——已在各种情境中应用（包括上文第5节）——是：验证步骤并不要求排序必须基于相对似然。也就是说，虽然所设定模型的似然函数决定了相对于该模型的“最优”排序选择（附录 C 中的注释1），但可能存在其他因素建议采用不同的选择。以下是几个关键实例：

• 如果数据来自多个来源，例如在元分析或分治策略中（Hector et al. 2025），或者以汇总统计量的形式出现，可能无法计算完整似然。
• 更一般地，所设定的模型可能无法为感兴趣的参数确定一个似然函数，例如在分位数回归中。
• 如果关于 Θ 存在部分/不完整的先验信息——参见 Martin (2022b) 和下文第7节——或者如果问题背景暗示某些假设比其他假设具有更高优先级（例如 Liu and Williams 2025；Yang et al. 2023），那么就有理由修改基于似然的排序函数。

在此，我将简要描述这一简单但重要的技术扩展，然后将其应用于一些相关问题；另见附录 H。

关于这一通用 IM 构造的更多细节见附录 H。可以预期，Martin 和 Williams（2025）为基于似然的可能性型 IM 所建立的 Bernstein–von Mises 定理，可推广至此处所述的一些更一般情形，但具体细节仍有待完善。

当然，挑战在于如何计算式（14）中的上确界，而这归结为对排序函数 ρ ρ 的策略性选择和/或应用第5节中所述的边缘化技巧。接下来将讨论这两种情况下的若干有趣且实用的例子。

6.2 对风险最小化者的推断

诚然，上述解决方案并不完全令人满意，因为有效性仅在样本量趋于无穷时近似成立，而非在有限样本中精确成立。但我认为这里仍有很大的改进空间，因此我在此综述中提出这一不够完美的解决方案。事实上，我猜想上述描述的渐近有效性具有更高阶的精度，即 π Z n ( Θ ) 收敛到均匀分布的速度比通常的根号 n 速率更快。更一般地，我确信对上述提案的若干变体，至少能达到“更接近精确有效”的程度，是触手可及的。我希望本综述能激励他人贡献自己的想法，共同解决这一重要且富有挑战性的开放问题。

6.3 预测

7 结论

本文综述了可能性推断模型（possibilistic inferential models, IMs）的一些最新进展。最重要的是，IM 提供了类贝叶斯的、完全条件化的不确定性量化，同时具备类频率学派的校准性质，这意味着由 IM 输出导出的检验和置信程序能够控制频率学派的错误率。主流统计推断方法均无法同时实现类贝叶斯与类频率学派的目标，而 IM 框架的独特之处在于其依赖不精确概率，特别是可能性理论。

费希尔曾暗示：显著性检验和置信区间“不支持任何精确的概率陈述”，但他并未为此提供数学解释。通过明确不精确性所扮演的角色，我现在能够修正 Efron（1998）戏称为“费希尔最大失误”的可信推断（fiducial inference）。我必须再次强调：接受不精确性并不会降低推断与不确定性量化的质量——可能性理论在数学和哲学上都是健全的，且这种不精确性可防止虚假置信，使我们保持诚实。此外，新的可能性型 Bernstein–von Mises 定理确保，至少在渐近意义上，可能性型 IM 解是高效的。

本文及所引文献的讨论大多聚焦于统计模型参数的不确定性量化，但第6节描述了将 IM 推广至这一相对狭窄情形之外的初步步骤，并与文献中的其他基础思想建立了关键联系。

遗憾的是，本综述未能涵盖所有近期进展。以下是几个未被讨论的重要主题：

第一，不确定性量化有诸多用途，其中一个重要应用是决策制定。遵循冯·诺依曼–摩根斯坦纲领，贝叶斯框架从损失函数出发（该函数评估给定参数值下某行动的质量），然后寻求最小化期望损失的行动（对后验分布下的参数值取平均）。可信推断框架也采用类似方式（例如 Taraldsen and Lindqvist 2013）。而基于 Choquet 积分的可能性型 IM 则提出了一种新方法：以上期望损失（upper expected loss）来评估行动质量，其对应的决策理论框架提供了贝叶斯与可信推断所不具备的可靠性保证（Martin 2021b, 2025a）。

第二，本综述聚焦于特定统计模型参数的不确定性量化。但现实中模型本身往往也是不确定的，这对应于一种极端的边缘推断情形——所有模型特异性参数均为冗余参数。Martin and Liu（2015b, 第10章）和 Martin（2019）已就此开展了初步工作。然而，这些早期 IM 尝试缺乏对模型复杂度的惩罚机制。贝叶斯方法通过先验分布实现复杂度惩罚，而可信推断则通过人工方式控制复杂度（例如 Han and Lee 2022；Hannig and Lee 2009；Lai et al. 2015；Shi et al. 2021；Su et al. 2022；Wei and Lee 2023；Williams and Hannig 2019；Wu et al. 2021）。我认为，对模型复杂度的惩罚源于一种（先验）信念，即真实模型相对简单；尽管用概率论难以形式化此类模糊、不完整的信念，但用不精确概率理论却很容易做到。因此，即将发表的工作将展示如何将“稀疏性”等模糊信念视为不完整先验信息，将其表述为不精确概率，并纳入 IM 构造中，从而对模型本身实现可证明可靠的不确定性量化。

第三，本文假设先验信息为空白。尽管这在统计文献中是标准设定，但研究者对其欲推断的量“一无所知”的情况实际上极为罕见。问题在于，可用信息通常也不足以合理地指定一个用于贝叶斯分析的先验分布。上述模型复杂度惩罚就是一个典型例子——研究者可能相信“稀疏性”等结构假设，但对结构相关参数一无所知。若仅有两个选择：要么夸大已知信息以构造精确先验，要么忽略已知信息并假设先验空白，那么后者是更安全的选择。但本文所采用的放松视角提供了一条替代路径：将无论多么模糊或不完整的可用先验信息，精确地编码为不精确概率并纳入分析。这会诱导出一种特殊类型的正则化，在保持有效性的同时提升效率。Martin（2022a,b；2023b）的一系列工作论文正在发展这些细节。

有待解决的开放问题太多，无法在此一一列举，但以下几点尤为引人关注，涉及理论、方法、计算与应用：

问题：哪些统计假设会受虚假置信影响？现有理论与实证强烈支持“虚假置信由非线性引起”的观点，即它是通过全模型参数的非线性函数进行概率边缘化所导致的后果。但这些假设的具体特征及其受影响程度仍不清楚。

问题：基于从训练数据中学得的模型构建的 IM 如何？IM 文献通常假设模型形式已给定，这在现实中略显不切实际。机器学习中常利用训练数据学习数据生成过程的某些方面，再将部分训练好的模型用于推断与预测。在此背景下，排序和/或验证步骤均可依赖训练数据。这类 IM 的可靠性如何？

问题：如何扩展到高维情形？第3.3.1节的有效性结果对所有样本量和参数维度均成立；唯一假设“低维”的是关于效率的定理3。因此，高维扩展问题归结为计算与统计效率。高维问题中的统计效率需通过适当正则化实现（如上所述），相关工作正在进行。从计算角度看，需结合优化与蒙特卡洛积分的前沿策略。我不认为需要全新思路，良好的起点应是不同思想的创新组合。公平而言，贝叶斯与频率学派已在高维问题上耕耘多年，相关计算挑战仍未真正“解决”——我们通常知道如何在高维中尝试优化与抽样，但通常无法证明这些尝试确实有效。

问题：因果推断、差分隐私等方向如何？当前令人兴奋的应用涉及因果推断（例如 Imbens and Rubin 2015；Pearl 2009）和数据隐私（例如 Awan and Wang 2024；Garfinkel 2025）等。IM 在这些方向并无根本障碍，尤其考虑到第6节的扩展。这只是细节问题。

最后，我想就 IM 及其在人工智能（AI）中可能扮演的角色谈些高层次思考。AI 关注具备执行人类智能典型任务能力的计算系统，如学习、推理、问题求解、感知与决策。将其归入“数据驱动的不确定性量化”这一宽泛范畴并非不合理。事实上，一些心理学家（例如 Gigerenzer and Murray 1987；Juslin et al. 2007）将认知过程建模为（直觉性的）统计推断：提出问题、收集相关数据，并基于数据与假设模型做出判断。目前 AI 与 IM 的联系尚难看清，很大程度上是因为本文讨论的 IM 构造专为统计应用量身定制。但其核心思想——具有可靠性保证的不确定性量化——更具普遍性，适用范围更广。现代 AI 所用的深度学习模型，本质上只是“复杂的非参数回归模型”，因此第6节及补充材料中讨论的 IM 细节显然相关。无论如何，正如 Shafer 早年独立于 Dempster 早期工作的概率语言与统计焦点，发展出后来被称为“Dempster–Shafer 理论”的框架，并在1980年代找到了真实的 AI 应用，我也乐观地认为，存在一种足够通用的 IM 形式，能够满足现代 AI 对“可靠不确定性量化”的需求。

https://arxiv.org/pdf/2507.09007