网易首页 > 网易号 > 正文 申请入驻

花了1000倍的token,效果却没有更好:AI Agent隐性账单长什么样

0
分享至

如今的 AI Agent 正在大规模落地,其中应用最广且最受关注的当数 Claude Code,Codex,Cursor 这类 coding agent。过去的一年里,这类 coding agent 产品迭代迅速,在一年内将在 swe-bench- verified 的准确率提高到了 78%+。

然而,相比简单的代码推理或者和代码相关的聊天,coding agent 的 token 消耗也极为显著。在使用这种 coding agent 的过程中,最常听到的抱怨也是:“为什么它解决问题这么啰嗦”,“为什么要这么长篇大论”,以及 “为什么我的 credits 这么快又用完了?”

这些抱怨的背后暴露出当前 coding agent 的几大问题:

1. 不透明: coding agent 消耗 token 的习惯不清晰,行为模式以及不同模型之间的差异不透明;

2. 不保底:在任务执行前难以知道任务成功与否,但不论是否成功,都要支付相应开销;

3. 不可预测:人类估计的问题难度真的和实际的 token 消耗匹配吗?agent 能否自己判断问题会消耗多少 token 呢?

针对这些问题,来自密歇根大学、斯坦福大学等单位的研究者,使用开源的 OpenHands agent 框架,分析了 8 个 frontier 模型在 swe-bench-verified 上的轨迹,第一次给出了一份系统性的解答。

  • 论文标题:HowDoAIAgentsSpendYourMoney? AnalyzingandPre dicting Token Consumption in Agentic Coding Tasks
  • arXiv 论文:https://arxiv.org/pdf/2604.22750
  • 项目网站:https://longjubai.github.io/agent_token_consumption/

Agentic Coding 有多贵?

论文首先比较了和 coding 相关的 3 种任务:代码推理(和代码相关的单论对话推理任务),代码问答对话(关于代码问题的多轮对话聊天),以及 swe-bench 上的 agentic 代码任务。结果发现,agentic coding 任务在平均输出输入 token 比,平均总 token 消耗,以及平均金钱消耗,均指数级高于其他两种任务。

这源自于 agentic coding 任务的多轮交互和巨大而复杂的上下文管理:巨量的代码查询,文件输出都会被加入到对话历史中,导致消耗持续增加,并且 agent 会不断把历史上下文、工具输出反复喂给模型,导致输入输出比高达 154:1。这意味着 agentic coding 任务的成本结构与我们所熟悉的对话和推理任务有显著的不同。

Agentic Coding 的开销随机性高,

且花的越多不一定做得越好

论文统计了 swe-bench-verified 中 500 个问题的平均 token 消耗,并将消耗从小到大排序。从图中可以发现,最贵的任务可能比最便宜的任务多消耗约 700 万 token,并且越贵的任务 token 消耗的标准差也越大。

对同一任务的重复运行来说,通过计算最贵的一次运行和最便宜的一次运行的差异,结果发现即使是同一任务,最贵的运行仍可能比最便宜的运行贵 2 两倍左右。

进一步分析 token 消耗多少与准确率的关系,论文发现更多的消耗并不能保证更高的准确率。

对于不同任务来说,论文根据平均 token 消耗的数量进行分组,并统计每组任务的准确率,结果发现 token 消耗更多的任务往往准确率较低。

对于同一个任务的不同运行来说,将 4 次运行按照 token 消耗排序,分成四个开销等级,然后统计每一个开销等级的准确率。结果发现:平均所有模型来看,最高的准确率并不出现在开销最高的时候,而是出现在较低开销时。当开销最低时,任务运行的准确率最低,当提高开销稍微提高时,准确率达到最高,继续增加开销,当开销第二高和最高时,准确率不增反减 ——更多的资源消耗并没有带来更高的任务成功率。

为了探索高开销失败背后的原因,论文检查并分析了 agent 解决问题轨迹中的两类行为:阅读文件以及修改文件。结果发现:开销更大的运行轨迹中,重复修改和重复查看同一文件的次数也明显更多,这表明更多的 token 消耗其实伴随了很多来来回回的 “折腾”,而不是高效的推理,尝试,和检查。简单来说,一味简单地堆 token 并不能显著带来更好的效果。

哪些模型贵,哪些模型省?

不同模型之间的 token 效率差异极大

以上的分析是基于所测试的 8 个模型的整体表现特点,在此基础上,论文对每个模型进行了具体的分析,并比较了他们使用 token 的效率。

文章测试的八个模型包括 OpenAI 的 GPT-5 和 GPT-5.2,Anthropic 的 Claude Sonnet-3.7、Claude Sonnet-4 和 Claude Sonnet-4.5,Google 的 Gemini-3-Pro Preview,Moonshot AI 的 Kimi-K2,以及阿里巴巴的 Qwen3-Coder-480B。这八个模型覆盖了五家不同的公司,同时包含闭源 API 模型(GPT、Claude、Gemini 系列)和开源模型(Kimi-K2、Qwen3-Coder-480B)。其中 Claude Sonnet 有三个版本、GPT 有两个版本,这样既包含了跨公司的横向对比,也有同一家族内不同代际的纵向对比。

通过观察不同模型的 token 消耗与任务准确率的关系,发现不同模型间的差异是系统性的,不是因为任务难度不同, 而是模型自身的行为习惯。例如 GPT-5 以及 GPT-5.2 可以以较低的 token 成本达到不错的准确率,但 Kimi-K2 在成本较高的同时准确率却并没有很高。在同样的 500 个任务下,Kimi-K2 和 Claude Sonnet-4.5 比 GPT-5 多消耗约 150 万 token。

论文进一步选出了两个任务子集:所有模型都成功的任务和左右模型都失败的任务,并再次统计不同模型的 token 消耗。结果发现模型的 token 消耗排序基本不变,并且所有模型在失败任务子集上的 token 消耗都多于成功子集,不同模型从失败子集到成功子集的 token 消耗增量也各不相同。

是否有办法对任务的 token 消耗

进行提前预测?

人类专家对任务难度的判断与 agent 实际 token 消耗并不完全吻合

当了解了 agentic coding 的开销后,下一个问题便是:在执行任务之前,是否有办法根据要执行的任务来预测开销?

文章首先分析人类专家所理解的任务难度是否可以作为预测 agent token 开销的标准。在 swe-bench-verified 中,每一个任务都有人类专家所标记的任务难度,按照人类专家预期的完成时间分为三档:“< 15 min”,“15 min - 1 hr”,“> 1 hr”。如果说人类消耗的时间就相当于 agent 消耗的 token,那么人类所估计的任务难度是否和 agent 的 token 开销是吻合的呢?

论文将不同任务根据 token 开销进行排序,并计算它与人类标注难度的相关性。结果发现 Kendall tau = 0.32,表明人类专家对任务难度的判断和 Agent 实际消耗的 token 之间只有很弱的相关性。

其中 6.7% 的 "简单" 任务比平均 "困难" 任务还贵,11.1% 的 "困难" 任务比平均 "简单" 任务还便宜 —— 更说明了人类程序员和 AI Agent 对任务的 "复杂度认知" 是不同的维度。

Agent 自己是否可以对任务的 token 消耗做出预测?

既然人类预测的任务难度和 agent 的实际任务消耗有所差异,那么是否可以让 agent 自己来预测自己的消耗?

论文紧接着对 agent 的自预测进行了尝试:在这部分实验中 agent 所有的工具和 harness 的架构都得到了保留,只有在系统提示词中将任务从之前的 “解决问题” 变成了 “预估开销”,这样一来,就可以最大程度的表流 agent 本身的特征和功能,并让它得以使用同样的工具对代码库进行多轮探索,测试和推理。

论文中用预测的开销和实际开销的相关性作为衡量预测准确率的指标,并同时统计了做预测所消耗的 token。结果显示,模型作出的预测与实际的相关性最高只有 0.39(Claude Sonnet-4.5 的 output token),大多数模型都在 0.2-0.3 之间,且对 output token 的预测比 input token 更加准确。在成本方面,大部分模型作出预测所需要的成本都小于实际任务执行成本的一半,除了早期的 Claude Sonnet-3.7 和 4,一度超过真正 task 执行成本的两倍。

文章进一步分析发现所有的模型都低估了任务的实际消耗,尤其对 input token 的低估特别严重。

因此,不管是人类专家还是 agent 自己,对 token 消耗预测目前只能作为粗粒度的信号,离精确的事前定价还有很大距离。

总结

文章通过对 coding agent 轨迹的分析,发现 Agent 的 token 消耗以 input token 为主导,且在不同问题之间以及同一问题的不同运行之间都存在很高的随机性。不同模型的 token 效率差异显著,且更多的 token 消耗并不能保证更高的正确率。在执行前成本预测方面,人类理解的任务难度与 Agent 的实际 token 消耗并不吻合,Agent 自身的预估也存在准确率较低和普遍低估的问题。未来潜在的研究方向包括更高效的 Agent 设计,以及更好的开销预测与管理方法。

作者介绍:

本文第一作者 Longju Bai 是密歇根大学一年级博士生,通讯作者 Jiaxin Pei 现为斯坦福大学博士后研究员,即将入职得克萨斯大学奥斯汀分校担任助理教授。合作者包括来自斯坦福大学的 Zhemin Huang 和 Erik Brynjolfsson,来自 All Hands AI 的 Xingyao Wang,来自 Google DeepMind 的 Jiao Sun,来自密歇根大学的 Rada Mihalcea,以及来自斯坦福大学和麻省理工学院的 Alex Pentland。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

人生录
2026-09-11 00:05:21
苏州3岁女童被父亲女友捂压口鼻致死,被告人孕期作案一审被判无期,生父准备上诉

苏州3岁女童被父亲女友捂压口鼻致死,被告人孕期作案一审被判无期,生父准备上诉

澎湃新闻
2026-11-21 09:42:42
不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

一曲一场談
2026-11-21 11:59:52
美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

科普启示录小强哥
2026-11-14 19:50:07
别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

云居历史
2026-11-20 00:35:53
美国开始封锁中国电话号码,从网络到检测认证,限制正向底层蔓延

美国开始封锁中国电话号码,从网络到检测认证,限制正向底层蔓延

陈腕特色体育解说
2026-11-21 19:21:07
印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

新游戏大妹子
2026-11-20 13:07:07
纳达尔:进入皇马董事会责任重大,希望帮助俱乐部继续成功

纳达尔:进入皇马董事会责任重大,希望帮助俱乐部继续成功

懂球帝
2026-11-21 21:03:06
不等了!皇马王牌彻底摊牌!公开硬刚穆里尼奥

不等了!皇马王牌彻底摊牌!公开硬刚穆里尼奥

奶盖熊本熊
2026-11-21 08:56:11
白某某:我想尝尝拘留所的饭菜;上海警方:安排

白某某:我想尝尝拘留所的饭菜;上海警方:安排

极目新闻
2026-11-21 19:16:17
西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

文史道
2024-12-08 06:45:03
女生生理上厌恶一个人是什么表现

女生生理上厌恶一个人是什么表现

匹夫来搞笑
2026-11-21 02:44:28
苏州车主晾晒“虎皮坐垫”遭举报,林业局上门查验发现系羊皮;车主无奈:已被提醒尽量别在户外晾晒,以免引发误会

苏州车主晾晒“虎皮坐垫”遭举报,林业局上门查验发现系羊皮;车主无奈:已被提醒尽量别在户外晾晒,以免引发误会

极目新闻
2026-11-21 21:27:46
俄军对基辅市内多座桥梁实施打击,俄乌袭桥战升级

俄军对基辅市内多座桥梁实施打击,俄乌袭桥战升级

澎湃新闻
2026-11-20 19:46:40
经济特区的不同命运:深圳成功,珠海、汕头、厦门为何止步不前?

经济特区的不同命运:深圳成功,珠海、汕头、厦门为何止步不前?

月光作笺a
2026-11-20 20:24:42
作为海港“多库” !安佩姆3次见到北京国安都没有进球跟助攻

作为海港“多库” !安佩姆3次见到北京国安都没有进球跟助攻

80后体育大蜀黍
2026-11-21 23:45:40
美媒表示:中国福建舰第七次海试后,突然进行实战演练,速度比美国航母还要快,难道中方不存在技术瓶颈

美媒表示:中国福建舰第七次海试后,突然进行实战演练,速度比美国航母还要快,难道中方不存在技术瓶颈

绝对军评
2026-11-18 09:32:07
现在后悔晚了!明抢中企钢厂后,英国政府察觉,全球竟无一人接盘

现在后悔晚了!明抢中企钢厂后,英国政府察觉,全球竟无一人接盘

坠入二次元的海洋
2026-11-21 06:05:52
深圳街头那一万四千辆不喝油的公交车,把老外看愣了

深圳街头那一万四千辆不喝油的公交车,把老外看愣了

音乐时光的娱乐
2026-11-21 04:37:48
2027年,第一个被“砍掉”的,或将是中国邮政的大量线下营业厅?

2027年,第一个被“砍掉”的,或将是中国邮政的大量线下营业厅?

最新声音
2026-11-21 18:07:58
2026-11-22 00:56:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
教育
数码
游戏
军事航空

旅游要闻

读城记|清晰与混沌:砣矶岛海石上的宇宙密码

教育要闻

“这就是富养的下场”,女儿上学十天请假四次,网友们讥讽:后面一直受着就行

数码要闻

为抵御黑客攻击,英国秘密发起大规模“冰箱保卫战”

曝GTA6与大表哥2是同一宇宙!多处彩蛋佐证

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版