2025年4月8日,预印本平台bioRxiv发表了一项由巴西50多个研究团队参与的大规模研究复现性项目调查结果,结果令人担忧:研究团队仅成功复现了不到一半的实验结果。
原文链接:https://www.biorxiv.org/content/10.1101/2025.04.02.645026v3
该研究由巴西里约热内卢联邦大学(UFRJ)发起的巴西可重复性倡议项目(Brazilian Reproducibility Initiative)开展。项目团队希望通过大规模实验,基于研究方法而非研究领域、重要性或引用次数来评估相关论文。
该调查项目涉及巴西56个实验室的213名研究者,他们从1998-2017年间发表的生物医学论文中,随机选择了60篇使用特定方法的论文进行复现尝试。这些方法包括细胞代谢检测、基因扩增技术和啮齿动物迷宫测试等。最终,研究团队对47个实验进行了97次有效的重复实验。
1
调查结果
研究通过五项标准来评判一篇论文的可重复性,其中包括"至少半数的结果需和原研究得到方向一致的统计学显著性"。最终仅有21%的实验能符合至少半数的标准。
作者还发现,原始研究中得到的效应量平均比复现实验高出60%,这表明发表的结果往往会高估干预措施的效果。
此外,原始研究中的变异系数(衡量数据相对于平均值的变化程度)比复现实验低60%,这意味着原始研究的数据要“表现良好”得多,这可能是选择性地报告了更有利于得出现有结论的结果,或者是对不一致数据的忽视。
2
专家观点
尽管这一结果可能令人震惊,但与其他大规模复现尝试的研究一致。例如,2011年启动的一项心理学研究复现尝试中,270名科学家仅成功复现了98篇论文中36%-47%的结果[2]。巴西圣保罗大学生物化学家Guilherme Menegon Arantes指出,复现失败并不一定意味着存在错误或学术不端,而可能反映了实验设计的局限性、实验记录不完整或实验室间存在的差异。
巴西坎皮纳斯州立大学的生物学家Marcelo Mori也指出,生命科学领域的实验复现尤其具有挑战性,因为生物体(如啮齿动物和细胞培养)对环境变化(如温度、饮食、微生物群或培养基成分)的反应可能不同,而且试剂(如抗体)也可能存在批次差异。
尽管如此,Mori强调,低复现率凸显了我们在科学生产、记录和传播过程中存在的结构性缺陷。他呼吁采取行动,例如开放共享数据和实验方案。
该研究已于4月8日发布在生物预印本服务器bioRxiv上,但尚未经过同行评审。
本文整理自:https://www.nature.com/articles/d41586-025-01266-x
参考文献:
1.Amaral, O. B. et al. Preprint at bioRxiv https://doi.org/10.1101/2025.04.02.645026 (2025).
2.Open Science Collaboration. Science 349, aac4716 (2015).
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.