网易首页 > 网易号 > 正文 申请入驻

12年博士研究,AI两天爆肝完成!科研效率狂飙3000倍,惊动学术圈

0
分享至

  新智元报道

  编辑:桃子

  【新智元导读】AI两天爆肝12年研究,精准吊打人类!多大、哈佛MIT等17家机构联手放大招,基于GPT-4.1和o3-mini,筛选文献提取数据,效率飙3000倍重塑AI科研工作流。

  多伦多大学、哈佛MIT等机构联手AI,短短2天内,竟干完了科学家12年的活!

  研究一出,在全网掀起了巨震。

  沃顿商学院CS教授Ethan Mollick大受震撼,「AI综述论文体量越来越大,而准确性超越了人类」。

  17家研究机构同著一篇论文,他们目标直指,借助GPT-4.1和o3-mini自动化系统综述。

  为此,研究人员设计了otto-SR平台,并在2天内,完成了为期12年的系统综述研究。

  论文地址:https://www.medrxiv.org/content/10.1101/2025.06.13.25329541v1.full.pdf

  结果显示,otto-SR在所有任务中,比如筛查灵敏度、提取、筛选特异度方面,能够媲美甚至超越人类。

  在一项具体的测试中,复现并更新一期完整的Cochrane系统综述,包含了12篇为临床指南提供依据的综述。

  令人惊叹的是,otto-SR识别出的相关研究数量(114篇),是原始综述(64篇)的2倍之多。

  这套AI工作流,让系统综述速度飙升3000倍。

  这一速度与传统人工流程相比,堪称革命性突破。

  otto-SR证实了LLM能以更高准确率,自主执行复杂的科研任务。未来,有望通过快速、可靠的系统综述,为循证医学带来革命性变革。

  人类免疫学家Derya Unutmaz教授认为,这是一个非常了不起的成就。

  AI取得如此惊艳的成果,究竟是如何做到的?

  AI全新工作流:

  GPT-4.1筛选,o3-mini提取

  在循证医学领域,系统综述(Systematic Reviews)是科学决策的基石。

  一般来说,传统的系统综述的完成,往往需要耗费16个月,超10万美金的成本。

  更重要的是,系统综述的延误,可能导致低效甚至有害疗法长期被使用,对患者来说是一场灾难。

  全新otto-SR是一套基于大模型的「端到端」创新工作流。

  如下图1所示,不论是「全自动」,还是「人机协同」,两种综述综述模式均支持。

  以下是otto-SR的核心模块:

  1 文献筛选智能体

  GPT-4.1作为独立评审员,执行摘要和全文筛选。原始检索获得的文献以RIS格式上传,系统即可高效处理。

  2 数据提取智能体

  由o3-mini-high执行数据提取任务,快速从文献中提取关键变量。

  3 PDF处理

  通过Gemini 2.0 flash将PDF文件转换为结构化Markdown格式,便于后续分析。

  摘要+全文筛选,赶超人类

  在摘要筛选阶段,otto-SR筛选智能体表现优异。

  其加权灵敏度高达96.6%(区间94.1-100.0%),显著优于Elicit(88.5%)和双人评审组(87.3%)。

  在特异度方面,双人评审组以95.7%位居榜首,otto-SR筛选智能体(93.9%)紧随其后,优于Elicit(84.2%)。

  这表明otto-SR在最大化捕获相关文献(真阳性)的能力上远超传统方法,同时保持了较高的筛选准确性。

  在全文筛选阶段,otto-SR筛选智能体继续保持领先,灵敏度达96.2%(区间92.3-100.0%),而双人评审组的灵敏度显著下降至63.3%。

  在特异度方面,otto-SR(96.9%)与双人评审组(98.1%)均表现优异,而Elicit因不支持全文筛选未参与比较。

  综合表明,otto-SR在保持高特异度(最小化误纳)的同时,能够捕获更多相关研究(真阳性),相较于传统双人评审和商Elicit展现了显著优势。

  数据提取,刷爆准确率

  在七项系统综述中,otto-SR数据提取智能体的平均加权准确率高达93.1%(区间91.1-97.0%),显著优于双人评审组(79.7%[69.1-91.0%])和Elicit(74.8%[58.8-83.1%])。

  在otto-SR提取智能体的6.9%误差案例中,事后分析揭示了主要原因:

  · 0.83%(39/4459)因模型无法获取补充文件或需申请的数据;

  · 0.67%(30/4459)源于解析错误;

  · 0.49%(22/4459)属于otto-SR与原作者均不准确的情况。

  这些发现为未来的优化提供了明确方向,例如改进对补充文件的处理能力和解析准确性。

  短短2天,AI爆肝12年工作

  既然GPT-4.1+o3-mini在性能评估中刷新SOTA,那么在实际挑战任务中,表现又如何呢?

  为了验证实用价值,作者对「Cochrane系统综述数据库」的12篇系统综述,共146,276篇文献,进行了复现与更新测试。

  otto-SR智能工作流

  otto-SR聚焦每篇综述的主要结局(Primary Outcome),让入选标准更清晰。

  筛选智能体准确识别了全部64项纳入研究;数据提取智能体按Cochrane原始变量定义提取主要结局数据,程序化剔除了缺失主要结局值、重复研究或无干预-对照组的记录。

  结果显示,otto-SR错误排除研究的中位数为0篇(IQR 0-0.25)。

  值得一提的是,在限定原始检索截止日期的分析中,otto-SR意外发现了54篇可能被原综述遗漏的合格研究。

  人工复核确认其中10篇为假阳性,但9篇可能通过作者沟通获取相关数据。

  进一步更新检索至2025年5月8日,otto-SR又发现了14篇新合格研究,其中仅2篇假阳性,1篇可能含相关数据。

  另外,在营养学综述中,otto-SR发现了5项新增研究。这一发现展示了otto-SR挖掘新证据、优化结论的能力。

  作者介绍

  Christian Cao

  Christian Cao目前是多伦多大学医学院在读博士。

  目前其研究方向聚焦于开发人工智能模型,致力于预测可避免的住院事件及糖尿病相关并发症。

  Rohit Arora

  Rohit Arora目前是哈佛大学生物信息学一年级博士生。

  他专注于人工智能在科学研究中的应用,研究方向集中于药物发现与蛋白质设计。

  参考资料:

  https://x.com/emollick/status/1933704272601911536

  https://www.medrxiv.org/content/10.1101/2025.06.13.25329541v1

  https://www.reddit.com/r/singularity/comments/1lb6lel/llm_combo_gpt41_o3minihigh_gemini_20_flash/

  https://x.com/ChristianCao11/status/1933201859470053592

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

风过乡
2026-11-22 06:53:50
万斯与特朗普之间的差距有多大?就这么说吧,万斯一旦上台,美国很有可能会迎来翻天覆地的变化

万斯与特朗普之间的差距有多大?就这么说吧,万斯一旦上台,美国很有可能会迎来翻天覆地的变化

千年历史老号
2026-11-20 13:13:36
墨西哥总统迷上八段锦!返程航班还在练

墨西哥总统迷上八段锦!返程航班还在练

看看新闻Knews
2026-11-22 00:38:31
沈丁立出卖国家主权,谁给他的胆子?背后帮凶曝光

沈丁立出卖国家主权,谁给他的胆子?背后帮凶曝光

平老师666
2026-11-22 12:59:42
中国民航飞行员过剩:9万本执照,4000架飞机,有的已经在开网约车!

中国民航飞行员过剩:9万本执照,4000架飞机,有的已经在开网约车!

城事堂
2026-11-22 14:48:00
荷兰法院放话了,7天之内不撤回中国的官司,每天就罚500万欧元…

荷兰法院放话了,7天之内不撤回中国的官司,每天就罚500万欧元…

今日搞笑分享
2026-11-22 00:45:23
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
金价持续大跌!紧急提醒

金价持续大跌!紧急提醒

环球网资讯
2026-11-22 16:52:09
中方:表示强烈不满和坚决反对,对美方予以严厉谴责

中方:表示强烈不满和坚决反对,对美方予以严厉谴责

绝对军评
2026-11-22 08:10:14
擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

孤城落日
2026-11-21 10:47:05
1胜16负联盟倒数第一!硬留超巨的后果,或打破历史最差战绩

1胜16负联盟倒数第一!硬留超巨的后果,或打破历史最差战绩

你的篮球频道
2026-11-22 10:07:24
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
黄金白银持续大跌,河南一金店老板囤一吨白银直接亏超1000万,称“心在滴血”:但不用太过担心,存着等它继续涨就行了

黄金白银持续大跌,河南一金店老板囤一吨白银直接亏超1000万,称“心在滴血”:但不用太过担心,存着等它继续涨就行了

台州交通广播
2026-11-22 19:19:32
金价跌势凌厉,多家银行发布紧急提示

金价跌势凌厉,多家银行发布紧急提示

澎湃新闻
2026-11-22 08:47:03
陈伟霆生日会造型引热议,英皇到底亏了多少陈伟霆要穿成这样登上热搜

陈伟霆生日会造型引热议,英皇到底亏了多少陈伟霆要穿成这样登上热搜

韩小娱
2026-11-22 13:49:19
上海一家三口频繁咳嗽生病!卧室墙皮“酥得掉渣”、霉菌遍布,床头灯支架锈穿半夜砸落……爸爸崩溃:我们是工薪阶层,房贷要还到退休

上海一家三口频繁咳嗽生病!卧室墙皮“酥得掉渣”、霉菌遍布,床头灯支架锈穿半夜砸落……爸爸崩溃:我们是工薪阶层,房贷要还到退休

新民晚报
2026-11-22 13:53:06
停开6年后,“人一生必须坐一次”的K3/4次列车焕新重启,沿途停靠15个站点

停开6年后,“人一生必须坐一次”的K3/4次列车焕新重启,沿途停靠15个站点

红星新闻
2026-11-21 21:40:12
为让特朗普和普京吃鱼不卡刺,15个总厨“闭关”练了整整一个月!

为让特朗普和普京吃鱼不卡刺,15个总厨“闭关”练了整整一个月!

大稻网络科技
2026-11-21 15:51:21
黄仁勋加入 Intel 担任 CEO !?

黄仁勋加入 Intel 担任 CEO !?

云头条
2026-11-22 14:59:20
特朗普:普京亲口告诉我,如果当年是我担任总统,俄乌战争根本不会爆发;目前谈判的一大困难,是普京与泽连斯基之间存在“深刻仇恨”

特朗普:普京亲口告诉我,如果当年是我担任总统,俄乌战争根本不会爆发;目前谈判的一大困难,是普京与泽连斯基之间存在“深刻仇恨”

大风新闻
2026-11-21 09:33:02
2026-11-22 20:12:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16744文章数 67254关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
时尚
本地
亲子
房产

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版