网易首页 > 网易号 > 正文 申请入驻

八款大模型跑一年任务,最好成绩只有人类27.3%

0
分享至

给一个智能体一整年时间,让它做一连串相互关联的决策,中间有延迟反馈,还要承担自己过去行为带来的后果——它的表现会相对人类直接崩掉。这是Rohan Paul在X上分享的一篇论文给出的结论,他称之为对长周期AI的一次"残酷现实检验"。

研究测试了八款领先模型,其中包括GPT-5.6 Sol和Claude Opus 4.8。但表现最好的组合——Qwen3.7-Max搭配Hermes——最终赚到的钱,只有人类参与者平均水平的27.3%。


Rohan Paul的评论很直接:一个系统完成一年期任务时只有人类四分之一的表现,离可靠的长周期执行还差得远。

八款模型,一个共同的天花板

这项评测的名字叫MerchantBench。它把模型放进一个需要长期经营、连续决策的环境里,而不是让它们做一次性的问答或短任务。测试对象覆盖了当前第一梯队的多个模型,GPT-5.6 Sol和Claude Opus 4.8都在名单里。

结果没有出现"某款模型遥遥领先"的剧情。即便是最优配置,最终收益也只有人类平均水平的27.3%。这个数字意味着,在需要跨时间维度权衡取舍的场景里,模型距离"能用"还有明显距离。

Rohan Paul把问题指向了长周期任务本身的特性:相互关联的决策、延迟的反馈、以及过去行为带来的后果。这三样东西叠加在一起,模型的性能就撑不住了。

Chamath的炮轰:长周期任务就是个笑话

这条讨论下面,Chamath在斯坦福的一段话被翻了出来,措辞相当不客气。

他说,长周期任务仍然是个笑话,它们根本不管用,他不在乎别人怎么说。不要拿一个愚蠢的评测给他看,也不要跟他讲什么跑了48小时的脚本。长周期任务没有被处理好,它们就是不管用。

这段话的情绪和论文的数据指向了同一个方向:在长周期、多步骤、有后果的任务上,当前的大模型还远没有达到可依赖的程度。

27.3%这个数字该怎么读

27.3%不是一个抽象的分数,它对应的是真金白银的收益差距。在一个模拟长期经营的评测里,最好的模型组合赚到的钱不到人类平均水平的三分之一。

换句话说,如果把一个需要持续一年做判断的任务交给当前最强的模型配置,产出大约只有人类参与者的四分之一多一点。这个差距不是靠换个提示词或者多跑几轮就能抹平的。

Rohan Paul的总结是:这样的系统离可靠的长周期执行还差得远。他没有给出乐观的预期,只是把数据摆了出来。

长周期为什么这么难

短任务里,模型只需要在有限上下文里给出一个正确答案。长周期任务不一样,它要求模型记住自己之前做过什么,理解这些动作如何影响后续局面,还要在反馈延迟的情况下继续做判断。

MerchantBench的设计正好压在这几个点上。相互关联的决策意味着每一步都会改变后面的选项;延迟反馈意味着模型不能立刻知道自己做对了还是做错了;自己过去行为的后果意味着错误会累积。

八款模型在这个环境里的表现,说明当前的技术路线在处理这类问题时还有结构性短板。Rohan Paul的措辞是"性能相对人类崩塌",Chamath的措辞是"根本不管用",两个人用的词不同,指向的问题是一样的。

对于关注智能体落地的人来说,这份评测提供了一个具体的参照:在需要跨越长时间维度、承担决策后果的场景里,把任务完全交给模型,目前还不是一个可靠的选择。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
拿回工资也有错?那革命的意义是什么?

拿回工资也有错?那革命的意义是什么?

红色少女主播
2026-10-03 14:06:36
央视曝光后,湖南、湖北、云南等地开展核查处置

央视曝光后,湖南、湖北、云南等地开展核查处置

政知新媒体
2026-10-04 19:48:01
何超琼遭骚扰恐吓,还被勒索2000万港币,获批禁制令......她曾说豪门没有理所当然的机会,也要去争取

何超琼遭骚扰恐吓,还被勒索2000万港币,获批禁制令......她曾说豪门没有理所当然的机会,也要去争取

新民周刊
2026-10-04 15:33:49
亚运最终奖牌榜:中国169金89银83铜连续12届第一 日本第二韩国第三

亚运最终奖牌榜:中国169金89银83铜连续12届第一 日本第二韩国第三

醉卧浮生
2026-10-04 12:50:34
巴西大选今日投票!卢拉对阵前总统之子,双方民调胶着谁将胜出

巴西大选今日投票!卢拉对阵前总统之子,双方民调胶着谁将胜出

红星新闻
2026-10-04 18:10:02
沈伯洋台北市竞选总部成立 艺人蔡康永低调现身会场力挺

沈伯洋台北市竞选总部成立 艺人蔡康永低调现身会场力挺

金牛传声
2026-10-04 16:11:41
网传“高铁座椅成HPV感染重灾区”?医生:环境传播概率极低

网传“高铁座椅成HPV感染重灾区”?医生:环境传播概率极低

人民日报健康客户端
2026-10-03 21:50:09
中网再爆大冷门!萨巴伦卡遭20岁新星横扫,前2号种子均已遭淘汰

中网再爆大冷门!萨巴伦卡遭20岁新星横扫,前2号种子均已遭淘汰

全景体育V
2026-10-04 12:51:13
“他的眼神已经快成神了”,清华男孩面相火了,网友:感觉他在四维空间

“他的眼神已经快成神了”,清华男孩面相火了,网友:感觉他在四维空间

番外行
2026-10-04 19:06:59
兰兰继续「无人认领」 ,华人已被排斥……

兰兰继续「无人认领」 ,华人已被排斥……

家传编辑部
2026-10-03 12:20:03
王楚钦出镜海报!媒体人:5枚银牌得主更该出现,为何就他破例

王楚钦出镜海报!媒体人:5枚银牌得主更该出现,为何就他破例

奥拜尔
2026-10-04 14:39:48
田馥甄直播称“现在讲话要小心” 曾因立场争议被下架作品

田馥甄直播称“现在讲话要小心” 曾因立场争议被下架作品

东方不败然多多
2026-10-03 21:38:25
劝告邱毅:绝对不要在错误的道路越走越远

劝告邱毅:绝对不要在错误的道路越走越远

莹莹的历史说
2026-10-04 11:31:41
10月4日,国庆假期过半,养老金调整却迎来了新消息,来看看

10月4日,国庆假期过半,养老金调整却迎来了新消息,来看看

社保小达人
2026-10-04 10:31:58
网红“慧慧饱饱”被封号:一年内多次翻车,这次平台直接清空了她的主页;巅峰期年收入近千万,单条广告报价10万元

网红“慧慧饱饱”被封号:一年内多次翻车,这次平台直接清空了她的主页;巅峰期年收入近千万,单条广告报价10万元

蓬勃新闻
2026-10-04 15:26:38
美国已保不住日本,俄罗斯通告全球:中国的一切都在按照计划进行

美国已保不住日本,俄罗斯通告全球:中国的一切都在按照计划进行

兵鉴史
2026-10-04 11:23:10
迪拜航空遇袭新细节:6岁女孩上厕所,母亲发现异常报空乘!副驾身份首次披露,曾被禁飞

迪拜航空遇袭新细节:6岁女孩上厕所,母亲发现异常报空乘!副驾身份首次披露,曾被禁飞

红星新闻
2026-10-04 15:52:02
5-3领先惨遭逆转,郑钦文再现收视率打法,中网第三轮不好进

5-3领先惨遭逆转,郑钦文再现收视率打法,中网第三轮不好进

南海浪花
2026-10-03 17:33:53
后续!空姐下跪闹事当事人身份终于浮出水面!涉事人员欧某某被官方点名,这下要为自己的嚣张行为付出代价了

后续!空姐下跪闹事当事人身份终于浮出水面!涉事人员欧某某被官方点名,这下要为自己的嚣张行为付出代价了

静若梨花
2026-10-04 15:50:33
真没想到!逼空姐下跪的那个人,东航直接把名字甩出来了:欧某某,照片也被网友扒出来了

真没想到!逼空姐下跪的那个人,东航直接把名字甩出来了:欧某某,照片也被网友扒出来了

火山詩话
2026-10-04 19:12:28
2026-10-04 20:39:00
硅屿手记
硅屿手记
有态度网友ytd
143文章数 79关注度
往期回顾 全部

科技要闻

苹果确认:iPhone 18 Pro Max有问题

头条要闻

“成都天价回锅肉3片卖105”登上热搜 商家回应

头条要闻

“成都天价回锅肉3片卖105”登上热搜 商家回应

体育要闻

“小将”吴曦,中国的莫德里奇

娱乐要闻

高晓松悄悄复出:官媒没给他留体面

财经要闻

OpenAI前安全部门员工:公司文化已崩坏

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

游戏
房产
手机
数码
旅游

德玛西亚杯:巴西发条惨遭针对0/7,KT轻松碾压RED,成功晋级

房产要闻

保利大爆发,冲到榜一!海南楼市前三季度,热销榜出炉!

手机要闻

苹果让友商怎么活!iPhone 18 Pro系列国内开售不到半月最新销量出炉:很快破250万台

数码要闻

HMD Slate Tab 5G平板曝光,有望随Skyline 2手机一同发布

旅游要闻

“重走长征路”上热搜!“长征游”圈粉年轻人

无障碍浏览 进入关怀版