安徽医科大学徐畅等人在BMJ发表重要研究成果

系统评述和荟萃分析已成为评估医疗干预措施的最重要工具。在系统评述过程中，每一步都很重要，任何错误都会影响最终结果的可靠性。在这些步骤中，数据提取可以说是最重要的步骤之一，并且容易出错。为确保数据提取的质量，权威指南（如 Cochrane 手册）强调了两位综述作者独立提取的重要性。尽管有这种质量保证机制，系统评述中的数据提取错误在文献中经常发生。

2022年5月10日，安徽医科大学徐畅等人在国际知名期刊BMJ （IF=40）在线发表题为“Validity of data extraction in evidence synthesis practice of adverse events: reproducibility study”的研究论文，该研究的数据是从2015 年 1 月 1 日至 2020 年 1 月 1 日期间在Pubmed发表的符合条件的系统评述提取。随机对照试验的元数据由四位作者从系统评述中提取。主要结果是总结在三个层面的数据提取错误：研究层面、荟萃分析层面和系统评述层面。进一步研究了此类错误对结果的潜在影响。

纳入 201 篇系统评述和 829 篇成对荟萃分析，涉及 10 386 项随机对照试验。在 10 386 次试验中，有 1762 次（17.0%）的数据提取无法重现。在 829 项荟萃分析中的 554 项（66.8%）中，至少一项随机对照试验存在数据提取错误；201 篇系统评述中有 171 篇（85.1%）至少有一项荟萃分析存在数据提取错误。最常见的数据提取错误类型是数值错误 (49.2%, 867/1762) 和模棱两可的错误 (29.9%, 526/1762)，主要是由于结果定义不明确造成的。这些类别之后是其他三个类别：零假设错误、错误识别和不匹配错误。在 288 项荟萃分析中分析了这些错误的影响。数据提取错误导致 288 项荟萃分析中的 10 项（3.5%）改变了效应的方向，288 项荟萃分析中的 19 项（6.6%）改变了 P 值的显著性。有两种或两种以上不同类型错误的荟萃分析比只有一种错误类型的荟萃分析更容易受到这些变化的影响。

总之，对不良事件的系统评述在数据提取的可重复性方面可能存在严重问题，这些错误可能会误导结论。迫切需要实施指南来帮助未来系统评述的作者提高数据提取的有效性。

在 Nature 对 1576 名研究人员的在线调查中，收集到的意见强调了在研究中需要更好的可重复性：“超过 70% 的研究人员尝试重复另一位科学家的实验但失败了，超过一半的人未能重复他们自己的实验。”

系统评述和荟萃分析已成为评估医疗干预措施的最重要工具。这项研究涉及明确和标准化的程序，以识别、评估和综合特定主题内的所有可用证据。在系统评述过程中，每一步都很重要，任何错误都会影响最终结果的可靠性。在这些步骤中，数据提取可以说是最重要的步骤之一，并且容易出错，因为原始数据是从原始研究转移到作为证据合成基础的系统评述中的。

为确保数据提取的质量，权威指南（如 Cochrane 手册）强调了两位综述作者独立提取的重要性。尽管有这种质量保证机制，系统评述中的数据提取错误在文献中经常发生。Jones 等人重复了 2003 年发表的 34 篇 Cochrane 评述（第 4 期），发现 20 篇（59%）存在数据提取错误。Gøtzsche 等人检查了 27 项连续结果的荟萃分析，并报告说，这些荟萃分析中有 17 项（63%）在两项随机选择的试验中至少有一项存在错误。在他们随后的研究中，基于对连续结果的 10 项系统评述，7 项 (70%) 被确定为错误数据。

系统评述层面的数据提取错误（图源自BMJ ）

经验证据表明，数据提取错误的影响似乎很小。然而，这一结论是基于对连续结果的系统评述，不适用于不良事件的二元结果。危害，尤其是严重危害，往往很少见，而且这些数据在本质上比常见结果更容易受到随机或系统错误的影响。例如，考虑一个样本量为 100 的 1:1 设计试验，死亡事件数是两个干预组和一个对照组。如果系统评述作者错误地将干预组中的事件数提取为 1，则相对风险将从 2 降至 1，从而得出完全不同的结论。由于这一特点，在不良事件的系统评述中，数据提取的有效性会极大地影响结果，甚至主导最终结论。错误的结论将进一步影响临床实践指南并误导医疗实践。

按五种数据提取错误分类的 1762 项研究的比例（图源自BMJ ）

该研究对不良事件系统评述的数据提取的可重复性进行了大规模的可重复性调查。该研究提出了数据提取错误的经验分类，以帮助方法学家和系统评述作者更好地了解数据提取错误的来源。还根据再现性数据集检查此类错误对结果的影响。

该研究的数据是从2015 年 1 月 1 日至 2020 年 1 月 1 日期间在Pubmed发表的符合条件的系统评述提取。随机对照试验的元数据由四位作者从系统评述中提取。主要结果是总结在三个层面的数据提取错误：研究层面、荟萃分析层面和系统评述层面。进一步研究了此类错误对结果的潜在影响。

数据提取错误对结果的影响（图源自BMJ ）

纳入 201 篇系统评述和 829 篇成对荟萃分析，涉及 10 386 项随机对照试验。在 10 386 次试验中，有 1762 次（17.0%）的数据提取无法重现。在 829 项荟萃分析中的 554 项（66.8%）中，至少一项随机对照试验存在数据提取错误；201 篇系统评述中有 171 篇（85.1%）至少有一项荟萃分析存在数据提取错误。

最常见的数据提取错误类型是数值错误 (49.2%, 867/1762) 和模棱两可的错误 (29.9%, 526/1762)，主要是由于结果定义不明确造成的。这些类别之后是其他三个类别：零假设错误、错误识别和不匹配错误。在 288 项荟萃分析中分析了这些错误的影响。数据提取错误导致 288 项荟萃分析中的 10 项（3.5%）改变了效应的方向，288 项荟萃分析中的 19 项（6.6%）改变了 P 值的显著性。有两种或两种以上不同类型错误的荟萃分析比只有一种错误类型的荟萃分析更容易受到这些变化的影响。

总之，对不良事件的系统评述在数据提取的可重复性方面可能存在严重问题，这些错误可能会误导结论。迫切需要实施指南来帮助未来系统评述的作者提高数据提取的有效性。

参考消息：

https://www.bmj.com/content/377/bmj-2021-069155