网易首页 > 网易号 > 正文 申请入驻

同一个模型换个工具,分数为什么差这么多?

0
分享至

同一个模型,换一个终端工具,跑分能差出一截。Epoch AI 的 Terminal-Bench 2.0 把这件事摆到了台面上:榜单上每个模型只列它表现最好的那次组合,但图表里能看到所有提交过的运行记录。

这不是模型能力的问题,是评测方式的问题。Terminal-Bench 测的是模型能不能用电脑终端把活干完——它得看懂 shell 环境,知道有哪些程序可用,还得清楚电脑当前的状态,包括文件系统和正在跑的进程。


一道题就是一个文件夹

一个 Terminal-Bench 任务,本质是一个文件夹,里面装着三样东西:一条指令、一个 docker 环境、一个测试脚本。

模型要做的,是在没人明确告诉它步骤的情况下,自己规划并执行完整个流程。这要求的不只是会用命令,还得有连贯性——前一步的结果要能接上后一步的判断。

换句话说,它得先搞清楚自己站在什么位置,再决定往哪走。文件在哪、进程跑到哪了、上一条命令留下了什么,这些都得自己摸清楚。

模型不是一个人在战斗

跑这个基准的模型,都会配一个智能体工具,帮它持续和终端环境交互。素材里点名的有四个:Anthropic 的 Claude Code、OpenAI 的 Codex CLI、Terminus 和 Goose。

正因为工具会左右成绩,榜单报告的是「模型加智能体」这个组合的表现,而不是单看模型。

这里有个容易被忽略的细节:有些工具会强制或动态调整模型使用的推理强度,而这种调整,用户或评测方在这个场景下既没法纠正,也没法说清楚。

也就是说,你看到的分数里,有一部分来自工具替模型做的决定,而不是模型自己的选择。

分数怎么算出来的

榜单上的分数,是题目集里被解决的任务所占的百分比。

这个百分比通常不是跑一次就定,而是把整套题重复跑多轮,再取平均。

Epoch 的图表会展示某个模型提交过的每一次智能体加模型的运行记录,但榜单和模型页面只列每个模型版本表现最好的那个组合。

所以看榜的时候要留个心眼:排在前面的那个数字,是它最好的一次,不是它的平均水平。

想自己复现,代码是开源的

基准的代码放在 Terminal-Bench 的 GitHub 仓库里,数据则来自 Terminal-Bench 2.0 的榜单。

对做智能体的人来说,这套东西的价值不在于排名,而在于它把「模型能不能真的操作一台电脑」拆成了可复现的任务单元。

指令、环境、测试脚本三件套固定下来,换模型、换工具、换推理强度,变量就能被单独拎出来看。同一个模型在不同工具下分数拉开差距,本身就是一条值得追的线索。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国庆过半六大爆火旅游城市出炉!成都断层第一,京沪渝西杭上榜

国庆过半六大爆火旅游城市出炉!成都断层第一,京沪渝西杭上榜

另子维爱读史
2026-10-06 20:01:27
越南前领导人黎笋的长子黎坚诚曾在采访中,当年父亲之所以对中国采取强硬行动,是因为越南高层认为自己已经凑齐了三张足以取胜的“底牌”

越南前领导人黎笋的长子黎坚诚曾在采访中,当年父亲之所以对中国采取强硬行动,是因为越南高层认为自己已经凑齐了三张足以取胜的“底牌”

回京历史梦
2026-10-06 16:50:21
2026年诺贝尔文学奖后天公布,残雪、村上春树分列赔率榜第一、第二名

2026年诺贝尔文学奖后天公布,残雪、村上春树分列赔率榜第一、第二名

大风新闻
2026-10-06 16:40:05
都是大聪明啊!粤西车主4日提前返程“集体翻车现场”,茂名到东莞14小时困在沈海高速阳江段

都是大聪明啊!粤西车主4日提前返程“集体翻车现场”,茂名到东莞14小时困在沈海高速阳江段

火山詩话
2026-10-06 05:53:25
空气炸锅的第一批受害者,已经出现了

空气炸锅的第一批受害者,已经出现了

牛锅巴小钒
2026-10-05 02:47:58
逼迫空姐下跪事件继续升级!网友点名道姓:这个欧某某,恐要喝西北风了,涉事某泰集团不会给他好果子吃

逼迫空姐下跪事件继续升级!网友点名道姓:这个欧某某,恐要喝西北风了,涉事某泰集团不会给他好果子吃

火山詩话
2026-10-06 10:10:29
台湾媒体人谢寒冰点评蔡康永事件:他挺台独很多人都知道,但大陆愿意让它去

台湾媒体人谢寒冰点评蔡康永事件:他挺台独很多人都知道,但大陆愿意让它去

小徐讲八卦
2026-10-06 09:16:10
婚宴14道主菜上错7道,新郎父亲:亲友说酒席办得太差,很没有面子;酒店回应

婚宴14道主菜上错7道,新郎父亲:亲友说酒席办得太差,很没有面子;酒店回应

封面新闻
2026-10-06 21:20:26
国庆高速数据彻底打脸!油电大势已定,再也回不去了

国庆高速数据彻底打脸!油电大势已定,再也回不去了

华庭讲美食
2026-10-06 02:59:29
朝鲜:地雷爆炸事件是韩国单方面炮制并强加结论的闹剧,韩方将其责任转嫁给朝鲜是损毁朝鲜国家形象,是绝不可容忍的重大挑衅

朝鲜:地雷爆炸事件是韩国单方面炮制并强加结论的闹剧,韩方将其责任转嫁给朝鲜是损毁朝鲜国家形象,是绝不可容忍的重大挑衅

极目新闻
2026-10-06 21:57:09
恶劣至极!24岁法国选手在上海大师赛用球拍砸观众席 随后愤怒退赛

恶劣至极!24岁法国选手在上海大师赛用球拍砸观众席 随后愤怒退赛

风过乡
2026-10-06 11:48:36
美国官员认为中国在2028年前“入侵”台湾的可能性正变得越来越低,外交部:台湾问题是中国内政,解决台湾问题完全是中国人自己的事

美国官员认为中国在2028年前“入侵”台湾的可能性正变得越来越低,外交部:台湾问题是中国内政,解决台湾问题完全是中国人自己的事

极目新闻
2026-10-06 20:11:17
韩国男足亚运队球员夺冠后发表涉“免服兵役”言论引争议,韩国防部回应

韩国男足亚运队球员夺冠后发表涉“免服兵役”言论引争议,韩国防部回应

环球网资讯
2026-10-06 19:08:14
深挖 | 2026年诺贝尔生理学或医学奖,为什么颁给光遗传学领域的这三人?

深挖 | 2026年诺贝尔生理学或医学奖,为什么颁给光遗传学领域的这三人?

新民周刊
2026-10-06 15:27:17
生涯第102冠!德约第二盘收德米纳尔退赛大礼 中网34胜0负加冕7冠王

生涯第102冠!德约第二盘收德米纳尔退赛大礼 中网34胜0负加冕7冠王

醉卧浮生
2026-10-06 20:41:33
离谱!美国达拉斯一女警回家走错楼层,把四楼当自家三楼,推门看见26岁黑人男子博瑟姆·简正吃冰淇淋,竟直接开枪射杀,辩称以为遇入室

离谱!美国达拉斯一女警回家走错楼层,把四楼当自家三楼,推门看见26岁黑人男子博瑟姆·简正吃冰淇淋,竟直接开枪射杀,辩称以为遇入室

回京历史梦
2026-10-05 18:13:40
18个台湾人组团看国庆升旗,有人全程冷漠,看完后当众红了眼

18个台湾人组团看国庆升旗,有人全程冷漠,看完后当众红了眼

李博世财经
2026-10-06 09:49:05
为什么傅斯年认为,苏联模式是集人类文明中罪恶之大成?

为什么傅斯年认为,苏联模式是集人类文明中罪恶之大成?

听雪禅
2026-10-06 17:25:10
莫斯科机场强制测体温!伊尔库茨克鼠疫事件,又是生物武器泄露?

莫斯科机场强制测体温!伊尔库茨克鼠疫事件,又是生物武器泄露?

鹰眼Defence
2026-10-06 16:53:18
大结局!惩罚东航空姐下跪事件,欧某某终于被扒出来了,果然看起来财大气粗

大结局!惩罚东航空姐下跪事件,欧某某终于被扒出来了,果然看起来财大气粗

静若梨花
2026-10-05 16:48:43
2026-10-06 23:23:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
114文章数 86关注度
往期回顾 全部

科技要闻

物理学奖揭晓!一位天体物理科学家独享

头条要闻

国足0比1塔吉克斯坦队迎3连败 韦世豪肘击对手被罚下

头条要闻

国足0比1塔吉克斯坦队迎3连败 韦世豪肘击对手被罚下

体育要闻

30天30队·雄鹿:没有扬尼斯,重新试错吧

娱乐要闻

身家千万独居的王曼昱,私底下有多壕

财经要闻

杨植麟断腕:Kimi的至暗时刻与远征

汽车要闻

智能化再提升 2027款东风标致、东风雪铁龙新车更人性化了

态度原创

健康
时尚
手机
教育
公开课

刷酸祛痘,为什么有人翻车?

高领打底,盘活秋冬叠穿

手机要闻

消息称苹果本月有两批新品发布,iPhone Duo应用已可提交上架

教育要闻

其他区校内都有兴趣班,唯独锦江停了?家长问政后教育局9月28日回应

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版