网易首页 > 网易号 > 正文 申请入驻

斯坦福团队发布科研智能体基准测试:最强模型仅解决30%任务

0
分享至

斯坦福大学研究人员牵头推出了一项名为 Terminal-Bench-Science 的基准测试,专门评估 AI 智能体在真实科研工作流中的表现。与以往由模型开发者或数据供应商设定标准不同,这次划定能力线的是科学家本人。

科学家自己出题


Terminal-Bench-Science 由 Terminal-Bench 原班团队打造,并与来自全球多个学科和研究机构的领域专家合作完成。测试内容不是教科书习题或标准化练习,而是从科研人员自己的研究工作中提取的、经过专家筛选的高难度工作流。

首版 Terminal-Bench-Science 0.1 包含 70 个任务,覆盖生命科学、物理科学、地球科学、数学和工程科学。这些任务要求智能体在真实环境中完成分析、模拟、证明、代码编写和数据产品生成,并通过可复现的专项测试进行评分。

最强模型只拿到30%

在 Terminal-Bench-Science 0.1 排行榜上,目前评估过的最强模型 Claude Opus 5 的解决率仅为 30%。这意味着即便是前沿 AI,距离成为真正有用的科研助手仍有明显差距。

研究团队的目标是推动具备科研能力的智能体发展,让它们承担技术性强、耗时高的工作,从而把科学家解放出来,专注于人类判断更关键的部分:定义研究问题、形成假设、解释和验证结果、交流发现。

持续更新,而不是发完就扔

团队指出,很多科学基准测试被当作论文发布后就停止维护,模型进步了,已知局限却一直留在那里。Terminal-Bench-Science 被设计成一个持续演进的基准,会随着前沿 AI 的发展不断更新,在科学需求和 AI 开发之间建立反馈循环。

研究团队强调,科学领域的容错空间很小,基准测试必须反映科学界的优先事项,而不是外部利益。通过让各领域科学家直接发声并共享平台,Terminal-Bench-Science 试图为 AI 在真实科研中的能力提供可验证的证据。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
张猛,任济宁市发改委主任!上海市徐汇区委常委、统战部部长诸旖,拟履新!

张猛,任济宁市发改委主任!上海市徐汇区委常委、统战部部长诸旖,拟履新!

娱乐小可爱蛙
2026-08-29 11:15:52
男篮世预赛第一大冷门!西班牙被世界第45爆冷:中国队该警惕起来了!

男篮世预赛第一大冷门!西班牙被世界第45爆冷:中国队该警惕起来了!

篮球快餐车
2026-08-29 11:56:25
窦靖童演出王菲李嫣到场,天后“不要拍了看演出吧!”

窦靖童演出王菲李嫣到场,天后“不要拍了看演出吧!”

娱乐顺风车666
2026-08-29 19:29:44
TCL李东生:虽难以判断光伏行业恢复盈利的时间点,但筑底回升趋势能够确定

TCL李东生:虽难以判断光伏行业恢复盈利的时间点,但筑底回升趋势能够确定

每日经济新闻
2026-08-29 20:59:52
哥你忘SIU了!马内暖心提醒C罗,破门后得记着庆祝

哥你忘SIU了!马内暖心提醒C罗,破门后得记着庆祝

懂球帝
2026-08-29 12:38:08
原来,孙宇晨还在白嫖,只是这次对象换成了景甜而已

原来,孙宇晨还在白嫖,只是这次对象换成了景甜而已

文刀贰
2026-08-28 20:46:23
怪不得印度人口数量多,原来印度男性根本没有婚姻焦虑

怪不得印度人口数量多,原来印度男性根本没有婚姻焦虑

西楼知趣杂谈
2026-08-28 15:21:14
一切崩塌都是迟早的事,你要早做准备

一切崩塌都是迟早的事,你要早做准备

东亚财评V
2026-08-27 18:53:49
上海农民工致北大张丹丹教授的公开信,14条肺腑忠言,令人感叹!

上海农民工致北大张丹丹教授的公开信,14条肺腑忠言,令人感叹!

天天热点见闻
2026-08-28 06:49:59
14死19伤震动中东,英法德集体失声,特朗普也沉默了

14死19伤震动中东,英法德集体失声,特朗普也沉默了

风信子的花
2026-08-28 00:47:22
知名博主公开反对孩子一出生就强制亲子鉴定,引发不少粉丝取关

知名博主公开反对孩子一出生就强制亲子鉴定,引发不少粉丝取关

映射生活的身影
2026-08-27 20:46:48
被罚3.8亿!央视曝光又一“神药”骗局,暴利近80倍,专坑消费者

被罚3.8亿!央视曝光又一“神药”骗局,暴利近80倍,专坑消费者

顾史
2026-08-28 09:57:59
弘一法师:当你开始独来独往、眼神坚定、杀伐果断——恭喜,那个身披铠甲的你重生了

弘一法师:当你开始独来独往、眼神坚定、杀伐果断——恭喜,那个身披铠甲的你重生了

杏花烟雨江南的碧园
2026-08-15 15:15:03
泥石流天灾当前,尼泊尔拒绝各国援手,11年前的教训,记得很清楚

泥石流天灾当前,尼泊尔拒绝各国援手,11年前的教训,记得很清楚

至死不渝的爱情
2026-08-28 20:39:13
巴萨前高管:希望小蜘蛛缴纳1.2亿赔偿金,单方面与马竞解约

巴萨前高管:希望小蜘蛛缴纳1.2亿赔偿金,单方面与马竞解约

懂球帝
2026-08-29 18:30:16
明天午后雨势增强,并可能伴有雷电!

明天午后雨势增强,并可能伴有雷电!

上海黄浦
2026-08-29 20:20:28
马竞下最后通牒!阿尔瓦雷斯未来悬而未决,阿森纳曼城开启争夺战

马竞下最后通牒!阿尔瓦雷斯未来悬而未决,阿森纳曼城开启争夺战

星耀国际足坛
2026-08-29 23:19:57
脊背发凉!25岁留学女孩遇害案聊天记录流出:郑某与受害人之间扭曲的纠葛,在当地中国留学小圈子里成为心照不宣的“公开秘密”

脊背发凉!25岁留学女孩遇害案聊天记录流出:郑某与受害人之间扭曲的纠葛,在当地中国留学小圈子里成为心照不宣的“公开秘密”

火山詩话
2026-08-27 08:35:16
陈赓曾3次入朝,战后美军直言:他根本就不是来打仗的,为何?

陈赓曾3次入朝,战后美军直言:他根本就不是来打仗的,为何?

芊芊子吟
2026-08-27 20:50:03
上海嘉闵高架有车与法拉利超速追逐!两人被采取刑事强制措施

上海嘉闵高架有车与法拉利超速追逐!两人被采取刑事强制措施

南方都市报
2026-08-29 21:18:11
2026-08-29 23:59:00
固件更新中
固件更新中
有态度网友ytd
242文章数 70关注度
往期回顾 全部

科技要闻

美团扭亏为盈后,外卖大战结束了吗?

头条要闻

孙宇晨突然变怂 前女友们纷纷发声披露其"抠门"事迹

头条要闻

孙宇晨突然变怂 前女友们纷纷发声披露其"抠门"事迹

体育要闻

米兰、巴黎、拉莫斯、巴克拉:所得与所失

娱乐要闻

景甜风波彻底失控!杨紫被拉下水

财经要闻

刑自强:AI投资下半场中国蓄势待发

汽车要闻

东风日产NX8“喜柿橙意”限定色正式上市

态度原创

亲子
数码
家居
本地
教育

亲子要闻

孕妈科普:孕期磕碰外伤,没有出血也不能掉以轻心

数码要闻

因14900HX过热送修,用户意外免费升级至RTX 5070 Ti最新款游戏本

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

教育要闻

千万别把孩子养得太舒服、太幸福、太顺遂(很多家长正在做错)

无障碍浏览 进入关怀版