网易首页 > 网易号 > 正文 申请入驻

同一个模型,为什么在Cursor榜单上分数不一样?

0
分享至

同一个模型,在CursorBench榜单上会出现好几个分数。不是榜单算错了,是评测方式变了。

CursorBench是Cursor内部的编码智能体评测套件,任务全部取自真实的Cursor IDE会话,特点是模糊、跨多个文件。任务类型覆盖代码库理解、找bug、编辑、重构、规划和代码审查。每个模型会在多个推理档位上分别评测,榜单同时记录正确率、平均成本、token用量和每个任务的智能体步数。


分数为什么不是一个数

榜单把推理档位拆成了五档:Low、Medium、High、Extra High、Max。大多数模型在每个档位上各占一行,而不是被压缩成一个总分。

原因在于每个推理档位都在分数、成本和延迟之间做权衡。档位调高,模型有更多推理预算,正确率可能上去,但单任务成本和耗时也跟着涨。把五档揉成一个数字,等于把这个权衡关系抹掉了。

所以看这份榜单的正确率,得先看它挂在哪个档位下面。同一模型在Low和Max上的表现,本来就不该被当成一回事。

4.0和3.x不能直接比

CursorBench 4.0从2026年9月10日起在公开榜单上报告成绩。此前展示的3.x结果在任务集变更时被归档,原因是4.0的分数与更早版本不可比。

任务集换了,分数体系就换了。拿4.0的成绩去对3.x的历史数字,得出的结论没有意义。这一点对做模型横评的人尤其重要——跨版本拉时间线,很容易把任务难度变化误读成模型能力变化。

榜单图表报告的是正确率,越高越好。数据导出里保留了每个模型对应的推理档位,以及单任务成本、token用量和步数。

它测的不是补全

CursorBench的任务从真实Cursor会话里收集,被刻意设计成模糊且跨文件。这意味着它考的是智能体式的、理解整个仓库的编码能力,而不是孤立的代码补全。

补全类评测里,模型看到的是局部上下文,填对下一段就行。而跨文件、需求模糊的任务,模型得先搞清楚要改哪里、为什么改,再动手。这两件事对模型的要求不在一个层面上。

榜单保留全部推理档位作为独立条目,而不是给每个模型一个单一数字,也是出于同样的考虑:真实使用中,没人会只在一个固定档位上跑任务。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
相亲对象哪些骚操作让你相亲终止?网友:直接说让我赚钱养家

相亲对象哪些骚操作让你相亲终止?网友:直接说让我赚钱养家

解读热点事件
2026-09-12 00:05:22
立军令状!体育总局定调,篮协掌门六大铁令,中国篮球再也输不起

立军令状!体育总局定调,篮协掌门六大铁令,中国篮球再也输不起

宝哥精彩赛事
2026-10-03 15:31:57
詹姆斯闪耀76人对抗赛:和恩比德配合非常棒

詹姆斯闪耀76人对抗赛:和恩比德配合非常棒

体坛周报
2026-10-04 08:54:18
足坛一夜动态:英格兰7-0克罗地亚!西班牙3-1 C罗返回沙特

足坛一夜动态:英格兰7-0克罗地亚!西班牙3-1 C罗返回沙特

念洲
2026-10-04 07:03:32
一场幸运一场雨,我在等风也等你

一场幸运一场雨,我在等风也等你

疾跑的小蜗牛
2026-10-03 19:24:03
随着郑钦文晋级,32强敲定!郑钦文和教练极有可能做出3大调整

随着郑钦文晋级,32强敲定!郑钦文和教练极有可能做出3大调整

老玮是个手艺人
2026-10-04 08:39:01
猪肝再次被发现!调查发现:常吃猪肝,可能会收获5大好处

猪肝再次被发现!调查发现:常吃猪肝,可能会收获5大好处

叙说医疗健康
2026-10-04 07:00:21
博士可直聘副处级:这所高校把「逐级晋升」这道门槛拆了

博士可直聘副处级:这所高校把「逐级晋升」这道门槛拆了

生物学霸
2026-10-03 17:09:47
苏超淘汰赛8强赛首回合:南通大逆转10人泰州,两场比赛狂进10球

苏超淘汰赛8强赛首回合:南通大逆转10人泰州,两场比赛狂进10球

第五才子
2026-10-03 22:29:33
“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

易玄
2026-09-13 11:43:30
泰国真的不能再去了?无数游客亲身经历,坦言当地早已不复当年

泰国真的不能再去了?无数游客亲身经历,坦言当地早已不复当年

网络易不易
2026-09-30 06:10:17
中网大冷!王欣瑜0-2遭世界第129名横扫 连续3年止步次轮

中网大冷!王欣瑜0-2遭世界第129名横扫 连续3年止步次轮

醉卧浮生
2026-10-03 21:29:47
笑麻了!总算知道考公务员为啥要体检了,评论区真是太逆天了

笑麻了!总算知道考公务员为啥要体检了,评论区真是太逆天了

另子维爱读史
2026-10-03 20:35:26
阿根廷vs布基纳法索:麦卡利斯特、劳塔罗、阿尔瓦雷斯首发

阿根廷vs布基纳法索:麦卡利斯特、劳塔罗、阿尔瓦雷斯首发

懂球帝
2026-10-04 08:06:07
时过境迁,儿时射的子弹正中眉心!网友:我知道,我的报应来了!

时过境迁,儿时射的子弹正中眉心!网友:我知道,我的报应来了!

夜深爱杂谈
2026-10-03 20:54:07
“我爱她胜过生命!”马斯克 7 天前刚示爱,转头直接取关孩子妈

“我爱她胜过生命!”马斯克 7 天前刚示爱,转头直接取关孩子妈

人间烟火记事本
2026-10-03 21:42:43
大脑为什么要删除三岁前的记忆?网友的回答让我泪目了!

大脑为什么要删除三岁前的记忆?网友的回答让我泪目了!

另子维爱读史
2026-10-03 20:36:50
升级无效!数千用户中招,iPhone18 Pro Max遭遇蜂窝连接问题

升级无效!数千用户中招,iPhone18 Pro Max遭遇蜂窝连接问题

环球网资讯
2026-10-03 09:13:07
162金难掩一尴尬:中国亚运总奖牌为何不敌仁川?

162金难掩一尴尬:中国亚运总奖牌为何不敌仁川?

陈博世财经
2026-10-03 17:00:59
总部人去楼空!上千家供应商被欠4亿货款,这场骗局精心设计仅7天

总部人去楼空!上千家供应商被欠4亿货款,这场骗局精心设计仅7天

小祁谈历史
2026-04-20 22:09:33
2026-10-04 09:07:00
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
140文章数 71关注度
往期回顾 全部

科技要闻

英伟达盘中创历史新高,市值逼近6万亿美元

头条要闻

时隔28年再获亚运奖牌 中国男足成为三大球的"优秀生"

头条要闻

时隔28年再获亚运奖牌 中国男足成为三大球的"优秀生"

体育要闻

这个讨论了一夏天的问题,马刺有答案了吗

娱乐要闻

马思纯一家爬山祈福!素颜出镜笑容甜

财经要闻

4亿台电视挂墙落灰 为何没人愿意开了?

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

时尚
手机
艺术
亲子
公开课

今年秋天的上衣,太上头了!

手机要闻

华为Mate90 Pro Max芯片评测:制程未变,性能提升来自逻辑折叠

艺术要闻

何家英作品欣赏

亲子要闻

小宝宝抓着小姐姐的手不放,眼睛里满是喜欢的笑意

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版