可重复率越高，研究的结论就一定越可靠吗？

在社会-行为科学研究中，其他研究者是否可以重复实验并得到相同的结果，往往是衡量一项研究结论是否可靠和准确的重要指标。然而近日，一项备受瞩目的可重复性研究被期刊撤稿，凸显了可重复性研究面临的挑战。

论文被撤稿。图片来自《自然》杂志。 ‍ ‍

编译丨李永博‍‍‍‍‍

这项被撤稿的心理学研究原先发表于去年11月的《自然-人类行为》（Nature Human Behaviour）杂志，这篇论文旨在研究如何改进心理学研究的可靠性，论文作者中包括了该领域的一些知名学者。

这篇论文描述了一项由4个团队协作完成的复杂而庞大的研究工作。四个研究团队分别在社会-行为科学领域进行了试点研究。例如，其中一项研究探讨了时间压力是否会影响决策。如果试点研究发现了某种效应，团队则会尝试在至少1500人的样本中确认该结果。所有四个团队都试图重复已选中的实验，看看能否得到相同的结果。每个团队尝试重复其自身的四个实验，以及另外三个团队中的四个实验。

在64次重复性实验尝试中，86%是成功的，也就是说，它们产生了预期的结果，并且这些结果具有统计学意义。这是此类研究记录中最高的可重复率之一。相比之下，其他社会-行为科学领域研究报告的平均可重复率为50%。论文作者将其归功于“提高严谨性的做法”，例如大样本量、预注册和方法透明度。作者写道，采用这些做法可以使研究更加可靠。

《自然-人类行为》（Nature Human Behaviour）杂志9月刊封面。

然而，期刊编辑在今年9月23日撤回了这篇论文，撤稿声明中表示，他们“对研究结果和结论的可靠性不再有信心”。撤稿评论写道，“可重复性不是项目最初感兴趣的结果，并且与可重复性相关的分析没有像声称的那样进行预注册”。

“预注册”（Pre-registration）通常指在研究开始前，论文作者在专门的期刊平台上提前登记研究设计、假设、分析计划等信息。“预注册”在心理学研究中被广泛应用，这种做法可以提高研究的透明度，减少研究结果的偏倚，并有助于其他研究者更容易重复实验，验证研究结果。

在撤稿当天，该论文的六位作者发表了他们的看法。在声明中，他们承认研究中的一些分析并未进行预注册，但他们认为撤稿声明中的其他内容“不准确”，例如期刊声称作者在进行分析时已知晓数据。加州大学圣塔芭芭拉分校的心理学家乔纳森·斯库勒（Jonathan Schooler）告诉《自然》杂志，该团队正在为重新提交做一份新版手稿。

这一撤稿事件暴露了可重复性研究目前面临的挑战。“这表明做好科学研究比大多数人想象的要难得多，”新西兰奥克兰大学的视觉神经科学家萨姆·施瓦茨科普夫（Sam Schwarzkopf）说。“很多时候，预注册让人们意识到，当面对冷冰冰的数据收集现实时，他们精心设计的计划并不会如愿实现。”

多伦多大学的心理学家约埃尔·因巴（暂译，Yoel Inbar）则表示，这一事件揭示了预注册的不足之处：“我见过很多预注册方案，它们要么内容含糊，要么没有严格遵守，或者最终的论文混合了预注册和非预注册的分析结果”。

约埃尔·因巴认为比“预注册”更好的方案是“注册报告”：在这种模式中，研究者在收集数据之前，需要向期刊提交他们的研究方案，包括研究的理由和方法，进行同行评审。编辑根据研究问题的重要性和方法的严谨性决定是否接受该研究，并承诺如果研究按描述进行，将发表其结果。

另一些学者认为，期刊也需要承担一部分责任，同行评审人员并不总是检查预注册的流程。期刊发言人表示，他们正在调查研究“如何改进社会和行为科学中预注册的透明度、标准化和报告要求，这将加强对预注册合规性的监控工作”。

参考资料：

（1）‘Doing good science is hard’: retraction of high-profile reproducibility study prompts soul-searching

https://www.nature.com/articles/d41586-024-03178-8

本文为编译内容。编译：李永博；编辑：西西；校对：柳宝庆。欢迎转发至朋友圈。文末含《写童书的人》广告。

即刻购买《写童书的人》～