Nature：七成科研人员无法重复别人实验！超一半重复不了自己的实验

在科研被详细分工的今天，离开同行的研究成果而独立工作的可能性已经接近于零了。而对于有的科研工作者来说，科学期刊文献是他们获得同行数据最可靠，也是最大的来源。长期以来大家都对期刊文献的权威性和准确性笃定无疑，然而《自然》杂志最新的一次调研却让所有人大跌眼镜：七成的科研人员无法重复别人的实验，而超过五成的甚至重复自己的实验都有困难。更糟糕的是，这还有可能已经成为科研圈的一种“新常态”。

可重复性可能是“科学”作为一种方法论被人类接受的核心原因。可重复性意味着完成相同的任务不再受限于执行主体，而是一种可被传授和复制的内容或方法。换句话说，没有了可重复性，也就没有了科学性。让我们一起带着沉重的心情，看看情况到底有多糟吧。

超过70％的研究人员在尝试还原另一位科学家的实验中失败，一半以上甚至不能还原自己的实验。自然科学杂志对1576名研究人员进行了简短的在线问卷调查。以下数据表明了他们对于再现研究成果的看法。

数据显示，研究人员对于研究的可重复性持矛盾态度。虽然52％的受访者都认为当下存在显著的“可重复性危机”，而且有不到31％的人认为不能“重复”公开发表的结果，可能说明该结果并不正确。但是大多数人表示仍然相信公开发表的研究文献。

其实人们并没有太多途径可以去了解到底有多少科研文献的结果是可重复的。我们所知的分析材料显示，在心理学和癌症生物学领域，分别有约40％和10％的研究具有可重复性。然而我们的受访者却乐观得多：73％的人表示，他们认为各自领域的论文至少有一半是可信的，其中物理学家和化学家普遍对此具有信心。

对此问题的调查结果令人感觉十分困惑，约翰霍普金斯大学彭博学院（Johns Hopkins Bloomberg School of Public Health inBaltimore）的微生物学家阿图罗·卡萨德瓦利（Arturo Casadevall）说。“当下研究人员对于可重复性的定义还没有达成共识。”仅仅是认识到这一点已经是一大进步了，他说。“下一步要明确问题的根源，并取得共识。”

长期关注科研成果可重复性的学者，英国布里斯托尔大学（the University of Bristol）的生物心理学家马库斯·穆纳佛（Marcus Munafo）说，无法还原研究结果就像是科学家的成年礼。“我原来上学的时候，总是试图重做一些文献中提到的，看起来很简单的实验，却无法做出与之相同的结果。然后，我就开始怀疑文献的真实性，我后来才知道，不止我一个人遇到过类似问题。“

学界所面临的挑战不是解决已发表的研究的可重复性问题。处于科学的前沿意味着有时你的研究结果并不健全，穆纳佛说。“我们想要新的发现，而不是带来误导。”

如何评价可重复性

但是，从研究结论中择除误导性内容并非易事。在我们调查的研究人员中，虽然绝大多数未能还原实验，但是只有不到两成受访者表示有其他研究人员联系过他们，询问无法重现他们的实验成果的原因。我们的调查结果与另一项调查惊人的相似，美国细胞生物学学会对近900个成员同样进行了在线调查（见go.nature.com/kbzs2b ）。可能是因为这个话题难以启齿，抑或是试图还原实验的研究员害怕遭到白眼或指责，同时也有泄露自己项目内容的风险，他们往往不愿意向成果的最初发布者求助。

也有少数受访者表示他们曾尝试过发布重复实验的研究结果。当他们发现前人的成果不具备可重复性时，他们往往认为其中一定有什么原因（一般都不是什么有用的原因）。业内还有些潜规则，发表验证他人成果的研究，酬劳大都很少。期刊又不太愿意发表质疑他人结果的研究。实际上，还有些受访者表示，他们发表过论述前人成果无可重复的研究，但是期刊编辑和评论员希望他们在自己的研究中尽量少与原有结论进行比较。

尽管如此， 24％的受访者表示，他们发表过验证性实验的研究，13％曾发表过验证失败的文章。而从论文的被拒率来看，质疑可重复性的论文比较容易被发表：只有12％的人的验证成功文章被拒；而质疑可重复性的论文被拒的则更少，只有10％。

来自得克萨斯理工大学健康科学中心（the Texas Tech University Health Sciences Cente）的受访者亚伯拉罕·艾哈迈德（AbrahamAl-Ahmad）曾提交过一份手稿，解释为什么他尝试还原的一种干细胞技术不能正常运作。他以为会遭到回绝，但惊喜的是，该文章居然过审。究其原因，他认为，可能是因为它提供了针对该问题的解决方法。

剩下的人认为发表重复性研究的关键在于运气、毅力和审稿编辑的喜好。药物开发顾问迈克尔·亚当斯（Michael Adams）说，他的研究显示，基于动物模型的糖尿病研究存在严重缺陷，这篇文章已经被拒绝了六次，部分原因是它没有提出新的药物靶标。然而，他驳斥化合物治疗恰加斯病（Chagas）功效的文章就很快通过了。

纠正机制

三分之一的受访者表示，在过去的五年内，他们的实验团队已经采取具体步骤，以提高研究成果的可重复性。这些表示改进了的团队以药学领域的居多，高达41%，而物理和工程学的最少，只有24%。在团队研究中重复实验或要求同组其他人重复自己的工作是最常见的做法。另外，详细的实验记录和标准化实验流程也很重要。

所有这些都可以说是一大创举。一位来自英国的不愿透露姓名的生物化学研究生说，为了还原她的实验项目，她花费了双倍的时间和材料。有的环节总是不能正常运作，但是又无迹可寻，解决这些问题会让她付出大量的额外花时间。尽管验证成果的可重复性能使其更有说服力，但是对于非创新项目，或者没能产生惊人发现的项目来说，成本太高了。

研究方法的整合本身就是一大课题，在弗吉尼亚大学（the University of Virginia）研究平滑肌细胞的博士后劳拉·山克曼（Laura Shankman）说。几个博士后和研究生离开她的实验室之后，团队其余成员试图重现他们的成果，那真是费了一番功夫。实验室甚至决定暂停手头的新项目，专门花时间来还原之前发表过的研究，这也意味着旧的实验室章程要修改了。她认为，整合实验室的资源和流程，摒弃各自为政的工作形式，可以节约日后为了重现成果带来的额外成本。这是一项长期的投资。

布赖恩健康科学学院（BryanCollege of Health Sciences）的数学生物学家伊拉克利·罗拉泽（Irakli Loladze）估计，在确保可重复性的前提下完成项目需要多花大约30%的时间，即使是理论工作也是如此。从原始数据到最终图像，他每个步骤都要仔细检查以确保可被追溯。但是，这些任务很快变成只是工作的一部分。“可重复性就像是刷牙， ”他说。“这对你有好处，但它需要时间和努力。一旦你学会了，它就将成为一种习惯。”

可重复性的最好的普及方法之一就是先备案，科学家在进行实验前，将提出的假设和数据分析的计划递交第三方，以防出现“刻意挑选数据”的现象。只有少数几个人曾经提出过这个观点。其中一个就是在墨尔本大学（the University of Melbourne）学习“道德决策”的研究生汉妮·沃金斯（Hanne Watkins）。先进行数据收集，再回到最开始提出的的问题，她说，这样能防止走进学术的迷宫。过程中虽然费时费力，没有什么能比获得伦理委员会批准，或是通过格式化检查更加艰巨。“如果从一开始就按照正确的方法论前行，”她说，“它就变成了一个研究人员日常工作的一部分。”

“危机”的诱因

该调查还询问了科学家们，什么因素导致了可重复性的危机。超过60％的人说，发文章的压力和有主观预设的报告，承担着很大一部分责任。超过一半提到了，在实验室中没有进行足够次数的测试，监管不到位或统计学能力不足。少部分人还指出了一些障碍，诸如试剂变性或使用了难以重复的特殊技术。

但是这些因素都是由共同的力量驱使的，威斯康星 - 麦迪逊大学（the University of Wisconsin–Madison）的发育生物学家朱迪斯·金布尔（JudithKimble）说，投资和岗位的竞争，日益增加的行政负担剥夺了设计和研究的时间。“当下所有人都鸭梨山大，”她说。而且这些造成的影响远远超过了对于项目的完成质量本身，将危害整个学界。如果研究生在读期间没有时间去带本科生，当这些研究生毕业了建立了自己的实验室以后，他们又如何知道该怎么带学生，怎么组织工作呢？“情况只会变得越来越糟， ”金布尔说。

11条对策

受访者被要求从11种不同的提高可重复性的方法中，选出自己认为有效的方法并排序。近90％，也就是超过1000人，勾选了“更巧妙的实验设计”，“优化统计方法”和“更好的指导”，它们都比带有经济鼓励的选项排名靠前。即使是排名最低的项目“经常查看笔记”，也赢得了高达69％的认可。

这项关于对策的调查问卷是通过电子邮件向《自然》杂志的读者发布的，同时也发布在了在其网站以及社交媒体以向公众征集意见。它筛选到的人群也许大多是能够了解“可重复性”的意义，或者是对此问题怀有担忧的。然而，结果表明，若要想通过推动政策来解决这个问题，期刊、资方和研究机构需要合作，在斯坦福大学（Stanford University）研究科学“科学可信性”（scientific robustness）的约翰·伊奥安尼迪斯说，“人们将对这样的举措表示欢迎。”大约80％的受访者认为，资助者和出版商应该为提高可重复性承担更大的责任。

“人们能意识到这些问题，并罗列出一系列简单的方法来改善它们，这很好，” 穆纳佛说。考虑到这些想法甚至在主流媒体上被广泛讨论，现在确定应对举措可以说是至关重要的。“如果我们不对此采取行动，时机可能错过。人们将会开始厌倦老是被指手画脚说，他们需要站出来做些事情。”

版权声明

本文来源 ：DeepTech深科技， 版 权属于原作者，仅用于学术分享