网易首页 > 网易号 > 正文 申请入驻

AI老板500天模拟经营:多数模型亏惨,Claude Fable 5独占鳌头

0
分享至

IT之家 6 月 30 日消息,普林斯顿大学本月发布基准测试 CEO-Bench,模拟创业公司,评估 AI 模型担任企业首席执行官(CEO)的能力,结果多数模型破产。

CEO-Bench 主要面向企业经营场景,用于评估智能体在长期、多变量环境中的管理能力。该测试模拟创业公司运行 500 天,启动资金为 100 万美元(IT之家注:现汇率约合 680.4 万元人民币),要求模型连续处理定价、预算、竞争分析和战略制定等复杂关联事务。

该基准围绕着 AI 应对长期周期中的不确定性、在噪声环境中获取信息、适应变化中的外部世界、协调多个变量以服务统一目标四项能力设计。


智能体按周行动,可无限轮调用 34 个工具,覆盖定价、增长、产品、运维、信息获取、公共传播和企业销售等类别,同时可查询 19 个业务 SQL 数据库。

模拟环境包含 26 个客户群体,客户的价格承受力和质量偏好对智能体不可见,智能体只能从订阅、流失、支持工单、收入、声誉和社交媒体反馈中间接推断。

产品质量由多项投入共同决定,包括日常开发、研究项目、模型层级、定向开发、基础设施容量、客服支持、使用配额和应用内广告强度等。

结果显示,多数当前模型难以在 500 天后保住初始 100 万美元现金。最佳单次运行中,Claude Fable 5 期末现金为 4715 万美元。

模型破产最高期末现金
最长运营天数平均运营天数每周执行轮数最佳 API 运行成本
Claude Fable 5*0/2$47,148,164500500.0 ± 0.015.4$386.46Claude Opus 4.80/3$27,777,568500500.0 ± 0.010.9$213.41GPT-5.52/3$21,297,707500333.7 ± 229.734.7$200.49Qwen 3.7 Max0/3$417,918500500.0 ± 0.06.1--Claude Opus 4.70/3$389,959500500.0 ± 0.014.6$128.72Kimi K2.61/3$98,050500343.0 ± 110.030.5--GLM 5.20/3$91,371500500.0 ± 0.012.9--Claude Sonnet 4.62/3$69,766500282.3 ± 136.013.3$82.84GLM 5.13/3$0324214.7 ± 91.151.5--Claude Haiku 4.53/3$0231144.7 ± 70.523.1$6.68Gemini 3 Flash3/3$0226154.0 ± 37.018.5$2.98DeepSeek V4 Pro3/3$0176114.3 ± 38.619.3--Grok 4.203/3$03728.3 ± 8.58.2$0.75Rule-based baseline
$15,756,408

Estimated final cash upper bound
$2,200,000,000

在执行的 3 次测试中,包括 Grok 4.20、DeepSeek V4 Pro 和 Gemini 3 Flash 在内,多款模型全部以破产告终,其中 Grok 4.20 表现最为糟糕,平均仅维持 28 天。


Claude Fable 5、Claude Opus 4.8 和 GPT-5.5 在最佳运行中最终余额均高于 100 万美元的初始余额,而 Qwen 3.7 Max、Claude Opus 4.7、Kimi K2.6、GLM 5.2 和 Claude Sonnet 4.6 的最终现金流为正,但低于初始余额。

在所有评估的模型中,Claude Fable 5 是唯一一个多次运行结果均高于初始余额的模型,基于规则的基准模型最终余额为 1580 万美元。


参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
热议阿根廷3-1瑞士:恩博洛拙劣表演,阿根廷有比赛气质

热议阿根廷3-1瑞士:恩博洛拙劣表演,阿根廷有比赛气质

懂球帝
2026-07-12 12:09:31
难怪苹果手机经常会发热发烫,原来是这2个开关没打开,涨知识了

难怪苹果手机经常会发热发烫,原来是这2个开关没打开,涨知识了

小柱解说游戏
2026-07-12 02:32:36
世界杯一人毁全队!挪威出局头号罪人!愚蠢操作坑惨哈兰德

世界杯一人毁全队!挪威出局头号罪人!愚蠢操作坑惨哈兰德

奶盖熊本熊
2026-07-12 08:48:52
阿根廷加时两连击!瑞士悲剧重演!时隔36年!四支拿过世界杯冠军的球队会师四强!

阿根廷加时两连击!瑞士悲剧重演!时隔36年!四支拿过世界杯冠军的球队会师四强!

五星体育
2026-07-12 11:51:50
霸占车位8天的彭副处长,原来只是个副科长!

霸占车位8天的彭副处长,原来只是个副科长!

仕道
2026-07-11 20:46:17
FIFA确认皮球未碰线缆 哈兰德父亲:胜利被抢走了!

FIFA确认皮球未碰线缆 哈兰德父亲:胜利被抢走了!

体坛周报
2026-07-12 09:43:13
哈梅内伊葬礼预计死亡上千人,民众的认知,永远配得上自己承受的苦难

哈梅内伊葬礼预计死亡上千人,民众的认知,永远配得上自己承受的苦难

壹家言
2026-07-12 08:35:06
世界杯重大误判!贝林厄姆扳平球引争议 回放画面曝光 挪威投诉无果

世界杯重大误判!贝林厄姆扳平球引争议 回放画面曝光 挪威投诉无果

侃球熊弟
2026-07-12 08:18:44
6月新增新冠确诊7.9万例,其中重症130例

6月新增新冠确诊7.9万例,其中重症130例

极目新闻
2026-07-11 22:56:56
内蒙古16岁高中生凌晨被刺身亡 案件已移送检方

内蒙古16岁高中生凌晨被刺身亡 案件已移送检方

扬子晚报
2026-07-11 23:34:31
受台风“巴威”袭击,玉环直接经济总损失逾8.4亿元

受台风“巴威”袭击,玉环直接经济总损失逾8.4亿元

台州交通广播
2026-07-12 13:59:03
雷军让卖车的和卖房的都沉默了,网友:第一次在车上看到户型图

雷军让卖车的和卖房的都沉默了,网友:第一次在车上看到户型图

沙雕小琳琳
2026-07-11 20:19:33
浪费机会遭惩罚,瑟洛特二打一不传哈兰德,3分钟后贝林扳平

浪费机会遭惩罚,瑟洛特二打一不传哈兰德,3分钟后贝林扳平

懂球帝
2026-07-12 06:20:09
周星驰《功夫女足》首映口碑翻车!特效烂,全员尬演唯许君聪一人出彩

周星驰《功夫女足》首映口碑翻车!特效烂,全员尬演唯许君聪一人出彩

小徐讲八卦
2026-07-11 12:49:57
姐,跑吧,咱就只剩一个嫖没有被扒出来啦。

姐,跑吧,咱就只剩一个嫖没有被扒出来啦。

问道求真
2026-07-12 00:05:45
太反常!沉寂8年的33亿小盘股,竟被陈发树和外资巨头重仓

太反常!沉寂8年的33亿小盘股,竟被陈发树和外资巨头重仓

慧眼看世界哈哈
2026-07-12 10:01:59
“小仙女”又横空出世!一女生看到备胎结婚天塌了,发小作文狂骂备胎

“小仙女”又横空出世!一女生看到备胎结婚天塌了,发小作文狂骂备胎

火山詩话
2026-07-12 06:35:33
宋轶没化妆照片火了,网友沸腾,鼻子成焦点。

宋轶没化妆照片火了,网友沸腾,鼻子成焦点。

动物奇奇怪怪
2026-07-12 00:26:34
王石又登热搜!跟随田朴珺练习普拉提引争议,网友:想捂住衰老的盖子,搞得弄巧成拙

王石又登热搜!跟随田朴珺练习普拉提引争议,网友:想捂住衰老的盖子,搞得弄巧成拙

火山詩话
2026-07-11 14:23:42
浙江老板澳门赢2700万,被赌场留住喝茶两小时,结局出人意料

浙江老板澳门赢2700万,被赌场留住喝茶两小时,结局出人意料

阿天爱旅行
2026-07-12 06:14:22
2026-07-12 14:16:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
354438文章数 607349关注度
往期回顾 全部

科技要闻

苹果诉OpenAI细节:一句“笑死”刺痛库克

头条要闻

女子遭前男友扼颈杀害 家属:男方身高190 她多次求饶

头条要闻

女子遭前男友扼颈杀害 家属:男方身高190 她多次求饶

体育要闻

被3个队友锁死,哈兰德以最憋屈的方式出局

娱乐要闻

迪丽热巴估计都无语了 亲自下场辟

财经要闻

美联储和市场将走向何方?

汽车要闻

纯电/增程双动力 一汽悦意08正式上市售9.99万起

态度原创

游戏
教育
本地
健康
公开课

劳拉配音演员分享《古墓丽影:亚特兰蒂斯遗迹》官方进展

教育要闻

与之前不太一样的题型,初中这类问法会多些

本地新闻

重庆人有自己的避暑桃花源 | 夏天就去「酉」风的地方!

肝病、肾病患者注意!吃粘食要谨慎

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版