无先验可能性推断的高效蒙特卡洛方法

An efficient Monte Carlo method for valid prior-free possibilistic statistical inference

无先验可能性推断的高效蒙特卡洛方法

https://arxiv.org/pdf/2501.10585

摘要

推断模型(IMs)提供了一种无需先验、类似贝叶斯后验的信度，专为统计推断设计，其特点是具有类似频率派的校准性质，确保了所述推断的可靠性。关键在于，IM的信度是可能性的而非概率性的，并且由于常见的蒙特卡洛方法近似的是概率量，因此将该框架付诸实践面临着巨大的计算挑战。本文通过开发一种新的、专门设计用于近似可能性IM输出的蒙特卡洛方法，克服了这些挑战。该提议基于对可能性IM信度集的一个刻画，该刻画将IM的“最佳概率近似”识别为一个可以方便地近似并从中采样的混合分布。然后，这些样本可以转化为对可能性IM的近似。数值结果展示了所提出近似方法的准确性和计算效率。

关键词：置信分布；信度集；高斯可能性；推断模型；内部概率近似。

1 引言
多年来，人们为推动费希尔的信仰推断愿景做出了许多努力。在这些努力中，可以说“2010年代原创性的统计创新之一”(Cui and Hannig 2024)是Martin and Liu (2013, 2015a,c)提出、后经Martin and Liu (2015b)综合的推断模型(IM)框架。IM框架的独特之处在于其输出采用了一种不精确概率的形式——具体来说，是一种可能性测度——因此，推断基于可能性推理：被赋予小可能性的假设被数据反驳，而其补集被赋予小可能性的假设则被数据确证。这种从概率论到可能性论的转变有其原则性的动机：IM的可能性满足一种频率派风格的有效性性质，而贝叶斯/信仰概率不满足该性质，即赋予真实假设的IM可能性倾向于不小，因此，数据驱动的IM输出反驳真实假设或确证错误假设是一个可证明的罕见事件。关于IM及其性质的更多细节将在下面的第2节中提供；关于可能性论的一些基本背景在附录A中给出。尽管IM框架提供了诸多优点，但其推广速度一直很慢，主要原因是计算上的挑战。事实上，正如Jacob等人(2021)最近所示，用于近似普通概率的常见蒙特卡洛方法不足以近似不精确概率；需要更多的东西。本文的目标就是为可能性IM识别上述“更多的东西”，并开发相应的计算机制，使IM框架能够易于在应用的日常使用中访问。

本文的出发点是这样的事实：所有（连贯的）不精确概率，包括可能性IM的输出，都对应于一组成非空的普通或精确概率，称为信度集。不同种类的不精确概率有其自身的数学性质，而这种区别的一种体现方式就在于对其相关信度集施加的约束类型。可能性测度是最简单的不精确概率之一，反过来，它们的信度集具有相对简单的刻画。特别是，像下面的定理1中的结果使得相对容易地识别信度集中“最佳近似”IM可能性输出的概率分布。这种最佳近似在数学上相对简单，但可能难以计算；幸运的是，可以进行进一步的近似。这种第二层次的近似可以采取多种形式，但受Martin and Williams (2025)中渐近结果的启发，这里我将采用Cella and Martin (2025)中提出的一系列高斯近似。正如Cella和Martin所承认的，这些单个的高斯近似本身并不完全令人满意，因为它们仅能确保有限意义上的准确性。如果这些单个的近似能够被恰当地拼接起来，那么将给出一个整体准确的近似——但Cella和Martin未能提供合适的拼接程序。在这里，利用定理1，我提出了一种实现相关统计和计算需求的拼接程序，从而填补了Cella和Martin留下的关键空白，并为IM输出提供了一种有原则的概率近似。我还展示了如何将这个概率近似转换回一个既易于计算又能准确近似目标IM输出的可能性测度。

本文的其余部分安排如下。第2节提供了关于可能性IM的必要背景，强调了现有的计算瓶颈。信度集刻画和提议的蒙特卡洛策略在第3节中介绍。第4节中展示了三个说明性示例，包括逻辑斯蒂回归和一个涉及删失数据的半参数问题。在这些例子中，直接但朴素的IM计算代价高昂但并非不可及，因此可以评估所提出近似方法的准确性。第5节通过实证表明，与标准的贝叶斯和基于似然的解相比，所提出的IM近似表现良好。第6节考虑了一个更高维的逻辑斯蒂回归例子，其中所提出的IM近似可以在几秒钟内轻松解决一个在IM文献中以往努力几乎无法触及的问题。本文的见解和成果构成了为实践者创建IM工具箱所需的一系列发展中的重要第一步。第7节的 concluding remarks 描述了我的愿景，即这些发展能够且需要走向何方。相关的技术细节在附录/补充材料中给出。

2 背景

最初的IM发展依赖于随机集及其相应的信任函数。Martin (2022b)在Martin (2015, 2018)的基础上进行的最新发展，通过将概率到可能性的变换应用于模型的相对似然，定义了可能性IM。这一转变在哲学上很重要，但本综述侧重于该可能性IM的细节、性质和计算。

这种纯粹由似然驱动的可能性具有许多理想的性质，这里我不打算深入探讨。然而，它所缺乏的是，为何赋予关于 Θ 的假设的这些“可能性”具有形成信念的推断权重，对此缺乏合理性依据。在空无先验信息的情况下，这些可能性赋值背后没有贝叶斯依据，因此合理性只能来自类似频率派的校准性质——即赋予真实假设小的可能性是一个可证明的罕见事件——但纯粹基于似然的可能性赋值无法以实际有用的方式满足这一要求。因此，虽然相对似然在模型拟合方面提供了一种自然的、数据驱动的参数排序，但这对于有原则且可靠的统计推断来说是不够的。

然而幸运的是，在概念上，通过应用 Martin (2022a) 所称的“validification”——一种概率到可能性的变换（例如，Dubois et al. 2004; Hose 2022）——来实现所需的校准是直接的。具体来说，对于观测数据 Z = z ，可能性IM的轮廓定义为

3 用于IM的蒙特卡洛方法 3.1 对可能性IM的概率近似

原文链接：https://arxiv.org/pdf/2501.10585