网状Meta分析系列文章（四）：不一致性检验

作者：石清阳；审稿：武珊珊

网状Meta分析的内容到这里已经基本完成核心模型的构建和结果的估计，回顾最开始我们强调说网状Meta分析的最终目的是得到一致估计的结果（）。对于一个闭环网状结构，网状Meta的结果即是将它们的直接比较与间接比较合并，从而生成一致的网状结果，并以此进行决策。但这样做基于的假设是认为闭环结构中的直接比较和间接比较可以得到一致的结果，也称为“一致性假设”。

严格来说，对于网状结构中的每一个研究i，无论它实际比较的干预是什么，对于干预Y和X比较的效应在固定效应模型中均相同或在随机效应模型中可交换，我们称之为可交换性假设，通过这个假设可以推导出一致方程组（见）。一致方程组的成立意味着网状结构的一致性成立。因此，网状Meta分析中的假设实质上只有一个可交换性。

但是，从网状估计的来源进行划分，可以将可交换性假设分为三部分：1）同质性假设，即针对直接比较中的研究是否存在异质性来判断。2）传递性假设，即针对间接比较中组成的直接比较之间的连接节点是否同质（即是否可传递）。3）一致性假设，即网状闭环结构中，直接比较和间接比较之间是否一致。

事实上，上述第2、3点可以合并为广义一致性假设，其中第3点称为可检测（testable）一致性假设。因此，本章节重点在于第3点，如何检测一致性（或不一致性）。此外，异质性和不一致性之间也有很强的联系。异质性是直接比较中不同研究间的差异，而不一致性是网状比较中不同比较间的差异。本质上，不一致性可以称为异质性在网状结构上的一种类型。同样的，不一致性的原因也是由于效应修饰（或交互作用）在直接比较和间接比较中的分布不同。因此，不一致性也可通过Meta回归或Bias adjustment等方法处理。如所述，不一致性的检测同样离不开网状Meta的核心框架，因此也同样适应任何形式的数据类型。

网状结构

如上述，本节讨论的是第3点可检测的不一致性，所以首先此处的网状结构是闭环结构（loop），闭环结构中的网状估计是由直接比较和间接比较合并而来，同理也可以拆分成单独的直接比较和间接比较。因此，检测不一致性首先需要确定网状结构，此处分为两点：1）有多少个独立的闭环结构存在，2）其中多少是由多臂研究组成的。需要注意的是当存在多臂研究时，同样可以形成闭环结构，但是多臂研究本身从定义上不可能存在不一致性。

闭环结构的数量通常可以通过确定模型自由度来判断。假设此处是一个简单的三角网状结构，并由A、B、C三个干预组成，当A为对照基准时，在一致性模型中有两个参数，即dAB和dAC，但数据的来源有三个即AB、AC、BC。而第三个参数dBC在模型中完全取决于前两个参数，因此，剩下的这个参数即是检测不一致性时所使用的自由度，称为不一致性自由度（inconsistency degrees of freedom，ICDF）。此时，ICDF可以由研究数量N和参数数量S来定义。当所有研究均为两臂研究时，ICDF=N-(S-1)。当网状结构很复杂时，这个方法可以轻松的算出有多少个独立的闭环结构需要去检测不一致性。

当存在多臂研究时，问题会变的比较复杂。多臂研究虽然可以组成闭环结构，但是并不存在不一致性，因此无需检测。然而更多的情况是，同时存在两臂和多臂研究，此时ICDF的计算是存在问题的，它代表的是最大可能的不一致结构数量，但并无法精确计算。更重要的是，当它们同时存在时，不一致性的定义本身就是复杂的，目前为止还没有一个满意的答案。但可以知道的是，随着三臂研究的增加，不一致性必然会减少。因此，如果存在相当比例的三臂研究时，检测不一致性变的不再重要，更重要的是模型拟合优度的检测和异质性的检测。

闭环结构的不一致性检测

最简单的场景则是仅存在一个闭环的结构，此时可以分别计算直接比较的结果和间接比较的结果，然后不一致性即可以表示为直接比较减去间接比较的结果，即

则此时可以通过点估计及其标准误来构造置信区间或假设检验。注意在闭环的结构中，无论基于哪一对比较作为直接比较与间接比较进行不一致性检测，结果都是一样的，因为间接比较也是由闭环中其他直接比较组成的。因此，一个闭环中仅存在一个不一致性。除此之外，此方法随着闭环结构中的研究增多，统计功效越低，因为方差不可避免的会增加，不一致性会越难以检测出来。

更复杂一点的情况是在网状Meta中，一个直接比较对应着多个不同的间接比较来源，自然的上述方法可以拓展为一个卡方检验。即将直接比较和间接比较参数进行加权合并，然后计算各自参数和合并参数的差的加权，此时得到统计量Q，且服从自由度为ICDF的卡方分布。

然而，卡方检验要求不同参数间彼此独立，当这种情况不满足时，需要更一般的方法来检测不一致性。

不一致性检测的一般方法

反向计算法（Back-Calculation Method）

检测不一致性的根本原则是比较直接比较和间接比较之间的差异，对于直接比较是很容易找到并计算的，因此，难点在于如何找到并估计所有相对于直接比较的间接比较。在前述的方法中，分别计算直接比较对应的每一对间接比较，但随着网状结构的复杂化，计算每一对间接比较也变得复杂化。而更大的问题是当我们单独计算每一对间接比较时，忽略了其他直接比较组成的间接比较对此间接比较的贡献，也就是没有用到网状结构中的全部信息。

然而，需要指出的是，虽然此方法简单易行，但它并没有考虑多臂研究的存在，且因为直接比较和网状比较是分别估计的，因此存在两个独立的模型异质性估计值，这与共享参数模型的原则发生了冲突。

不一致性方差估计法

此方法意在放宽一致性模型的假设，而引入不一致性因子ω，从而允许一致方程组在一定程度上发生偏离，例如：

此时一种方法是分别估计每一个ω，或假设它们均抽样于同一个分布，即。此时的即是测量不一致性的方差，其越大则代表不一致性越大，或也可通过的后验分布进行统计推断。

节点拆分法（Node-Splitting）

节点拆分法最原始的思想是来源于有向无环图（Directed Acyclic Graph，DAG）中每个节点（node）是由两个独立的后验分布组成，判断其中的不同数据来源差异而进行节点拆分。此处需要注意的是，DAG和网状Meta结构图是完全不一样的，DAG中的每个节点由随机变量组成，即代表一个参数，而网状Meta结构图中每个节点代表干预，节点与节点间连接的边（edge）代表两个干预比较的效应，即一个参数。因此节点拆分在网状Meta中实际上是对边进行拆分，而非干预，也被称为edge-splitting。

对于网状Meta结构中的每一个边或参数，均由直接比较和间接比较两个独立的来源组成，因此，节点拆分法是将每个边拆为两部分数据：1）直接比较的数据，2）其他全部数据。直接比较的估计不变，而间接比较的估计来源于拆分直接比较数据后的网状估计。这个方法也保证了“间接比较”估计来源于整个网状结构，而非某个特定的闭环结构中。此时如前述可构造不一致因子

全局不一致性检测方法

前述不一致性的检测均是针对某个具体的闭环结构中是否一致，而另一类方法则是通过模型比较的方法来检测全局不一致性。网状Meta模型是假设的一致性模型，但也可拟合非一致性模型，然后通过两个模型的拟合比较来判断一致性假设是否合理，进而判断数据是否一致。

尽管非一致性模型可以同前述一样在一致方程组中引入不一致因子，但更好的方法是拟合非关联均值效应模型（unrelated mean effect model，UME）。在一致性模型中，当存在S个干预时，参数为S-1个，即所有干预比参照干预。而在UME模型中，所有干预比较彼此分离，通过非关联参数来估计，但这些独立参数共享随机效应分布方差。因此，UME模型其实相当于分别在网状Meta的数据中拟合多个独立的pairwise Meta分析，但它们共享同一个随机效应分布。然后，可以通过对比UME模型和一致模型中的后验离均差分布来判断模型的不一致程度，或也可对比两个模型的DIC来判断。

不一致性和异质性

从统计角度考虑，不一致性和异质性的原因都是存在与干预效应相互作用的效应修饰，只不过作用的位置不同。假如在一个三角闭环的结构中，效应修饰出现在AB和AC中，但没有在BC中，此时表现出来的是不一致性。但如果效应修饰存在但在网状结构中出现比较均衡，此时则不存在不一致性，可能存在较大的异质性。但一般来说，随着异质性的增加，不一致性出现的可能性也会增加。因此，通过Meta回归等方法识别并校正潜在的效应修饰，可以减轻不一致性的程度。然而，对study-level的效应修饰均值进行回归并不是很精确，会降低统计功效，或可能导致聚合偏倚（aggregation bias）。IPD数据一般是最理想的识别效应修饰的方法，但数据比较难获取（个体协变量数据）。部分研究的IPD数据也可以帮助对整个网状结果的效应修饰进行校正。在接下来的章节我们会详细介绍网状Meta回归分析。

小结

网状Meta分析的核心是在众多不同来源的数据中获得一致的证据，并以此支撑一致的决策。当直接比较的证据和间接比较差异较大，或甚至方向相反，那么得到的网状估计只不过是强行将它们平均化后趋于零效应，没有实际的意义。这种情况下，提前检测不一致性变得至关重要。但需要注意的是，统计上的检测结果只能提供一个参考，例如P值小于0.05说明很可能存在不一致性，但P值大于0.05并不代表不存在不一致性，也可能是统计功效不足等等其他原因。又如当直接比较和间接比较估计的方向一样，但因为效应强度不同而导致不一致性，这种情况也并非意味着最终结果不可靠，只不过可能更保守而已。或如直接比较对网状估计值的贡献比例很大（大于80%），这样的情况下就算间接比较存在不一致，但影响也不会很大。因此，对于统计上的不一致而言，具体情况还应具体分析。但如果确实存在实质性的不一致，此时也可以考虑仅用更为可靠的直接比较结果进行决策，而放弃使用网状结果。

Reference

Cooper, N. J., Sutton, A. J., Morris, D., Ades, A. E. & Welton, N. J. 2009. Addressing between-study heterogeneity and inconsistency in mixed treatment comparisons: application to stroke prevention treatments in individuals with non‐rheumatic atrial fibrillation. Statistics in Medicine, 28, 1861–1881.

Dias, S., Welton, N. J., Sutton, A. J., Caldwell, D. M., Lu, G. & Ades, A. E. 2013. Evidence synthesis for decision making 4: inconsistency in networks of evidence based on randomized controlled trials. Medical Decision Making, 33, 641–656.

Dias, S., Ades, A. E., Welton, N. J., Jansen, J. P., & Sutton, A. J. 2018. Network meta-analysis for decision-making. John Wiley & Sons.

Higgins, J. P. T., Jackson, D., Barrett, J. K., Lu, G., Ades, A. E. & White, I. R. 2012. Consistency and inconsistency in network meta‐analysis: concepts and models for multi-arm studies. Research Synthesis Methods, 3, 98–110.

Lu, G. & Ades, A. 2006. Assessing evidence consistency in mixed treatment comparisons. Journal of the American Statistical Association, 101, 447–459.

Van Valkenhoef, G., Dias, S., Ades, A. E. & Welton, N. J. 2016. Automated generation of node‐splitting models for assessment of inconsistency in network meta-analysis. Research Synthesis Methods, 7, 80-93.

Veroniki, A. A., Mavridis, D., Higgins, J. P. & Salanti, G. 2014. Characteristics of a loop of evidence that affect detection and estimation of inconsistency: a simulation study. BMC Medical Research Methodology, 14, 1–12.

White, I. R., Barrett, J., Jackson, D. & Higgins, J. 2012. Consistency and inconsistency in network meta-analysis: model estimation using multivariate meta-regression. Research Synthesis Methods, 3, 111–125.

医咖会面向医生个人、医院/单位、企业提供各种科研服务，包括研究设计、统计分析、EDC系统、科研培训等，详情查看：。快加小咖微信（xys2019ykh）或扫描以下二维码加小咖微信咨询吧。