网易首页 > 网易号 > 正文 申请入驻

Claude Code 生成 13 种编程语言代码基准测试:动态语言更快更省成本

0
分享至


作者 | Steef-Jan Wiggers

译者 | 明知山

Ruby 代码提交者 远藤裕介(Yusuke Endoh)进行了一项新的基准测试,评估 Claude Code 使用 13 种编程语言生成可用代码的效率。经过 600 多次测试运行,动态语言(尤其是 Ruby、Python 和 JavaScript)始终是速度更快、成本更低且更稳定的选择,而静态类型语言的运行速度要慢 1.4 至 2.6 倍,成本也更高。

这项实验发布在 DEV Community 上,所有代码和结果均可在 GitHub 获取。实验要求 Claude Code(Opus 4.6)用每种语言实现一个简化版的 Git。任务分为两个阶段:v1 从空目录开始实现 init、add、commit 和 log 命令;v2 对项目进行扩展,增加 status、diff、checkout 和 reset 功能。每种语言各运行 20 次。作者使用了自定义哈希算法,而非 SHA-256,用于消除不同语言间库依赖带来的差异。

Ruby 平均每次运行成本 0.36 美元,耗时 73.1 秒;Python 为 0.38 美元,耗时 74.6 秒;JavaScript 为 0.39 美元,耗时 81.1 秒。这三种语言的方差均很低,且全部 40 次运行都通过了所有测试。从第四名开始,成本上升,方差急剧扩大。Go 语言平均成本 0.50 美元,耗时 101.6 秒,但标准差高达 37 秒。Rust 平均成本 0.54 美元,耗时跨度最大,达到 54.8 秒,同时也是仅有的两种出现测试失败的编程语言之一。C 语言是成本最高的主流语言,达到 0.74 美元,原因是它生成了 517 行代码,而 Ruby 仅生成 219 行。

类型系统对 AI 生成代码的影响或许是对评估 AI 编码工作流的团队最具实用价值的发现。在 Python 中添加 mypy 严格类型检查会使其速度降低 1.6 至 1.7 倍;在 Ruby 中添加 Steep 类型检查则会带来更大的性能损耗,速度比纯 Ruby 慢 2.0 至 3.2 倍。TypeScript 的成本明显高于 JavaScript,平均 0.62 美元对比 0.39 美元,尽管二者生成的代码行数相近。作者指出,这类开销不仅来自类型注解的生成,还可能源于模型在推理类型约束时消耗了更多的思考词元。

远藤很坦诚地说明了这项实验存在的局限。作为 Ruby 代码提交者,他主动说明自身可能存在的偏向性。本次生成的程序约 200 行代码,严格来说属于原型规模,他也承认静态类型在更大规模的代码库中可能更具优势。该实验还得到了 Anthropic 的 Claude 开源计划支持,获得了为期六个月的 Claude Max 免费使用权限。此次基准测试仅衡量代码生成的成本与速度,不涉及代码质量、可维护性或运行时性能。

Lobsters 上有人质疑基于 200 行代码的原型规模得出的结论是否可靠。有评论者指出,实用的原型很少会这么短小。也有人提出,该基准测试并未考虑语言生态优势——拥有完善包生态的语言在实际任务中需要生成的代码会更少。DEV Community 帖子下有评论者表达了定性层面的担忧:如果生成的代码后期更难维护,那么 2 倍的生成速度优势可能会被抵消;此外,Rust 和 Haskell 出现测试失败,不应简单归为 bug,因为更严格的类型系统本意就是要尽早捕获错误,避免其流入生产环境。

远藤直接回应了其中几个观点。关于规模问题,他认同更大型的基准测试会更有价值,但也指出,设计一套对 15 种语言都公平的测试难度较大。对于 2 倍的速度差异,他认为在迭代式 AI 辅助开发中等待 30 秒与 60 秒的区别对开发者的心流状态影响显著,不过他也承认,如果未来模型能将生成时间缩短至秒级以内,这种差异就不再重要。而在生态系统影响方面,他刻意排除了库依赖,以隔离语言本身的差异,使用自定义哈希函数也正是出于这一目的。

在总共 600 次运行中,仅有 3 次失败:Rust 两次,Haskell 一次。在其中一次 Rust 的失败日志里,智能体判定测试本身存在错误,作者将其判定为幻觉,因为其余所有 Rust 测试均顺利通过。

完整的数据集(包含每次运行的结果、执行日志及所有生成的源代码)均可在该 基准测试仓库 中获取。

查看英文原文:

https://www.infoq.com/news/2026/04/ai-coding-language-benchmark/

声明:本文为 InfoQ 翻译,未经许可禁止转载。

会议推荐

QCon 全球软件开发大会·2026 北京站将于 4 月 16 日 -18 日正式举办。本届大会以“Agentic AI 时代的软件工程重塑”为主题,聚焦 100+ 重磅议题,汇聚来自阿里、腾讯、字节跳动、小米、百度等一线科技企业与创新团队的技术专家,围绕 AI 工程化、系统架构与研发模式演进展开深入探讨。更多详情可扫码或联系票务经理 18514549229 进行咨询。

今日荐文

你也「在看」吗?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
卢比奥驱逐伊朗前副总统儿子一家,苏莱曼尼侄女求救

卢比奥驱逐伊朗前副总统儿子一家,苏莱曼尼侄女求救

移光幻影
2026-04-12 18:52:51
柏林联合官方:女主帅埃塔接任鲍姆加特执教到赛季末;成德甲首位女性主帅

柏林联合官方:女主帅埃塔接任鲍姆加特执教到赛季末;成德甲首位女性主帅

懂球帝
2026-04-12 06:41:05
纽卡悄悄爬到第3,水晶宫保级无忧后踢得像在交作业

纽卡悄悄爬到第3,水晶宫保级无忧后踢得像在交作业

篮坛第一线
2026-04-12 18:33:03
伊朗果然上当!24小时不到,以色列大量回血,70架运输机抵达中东

伊朗果然上当!24小时不到,以色列大量回血,70架运输机抵达中东

轩逸阿II
2026-04-12 03:11:24
卡塔尔宣布12日起“全面恢复海上航运”

卡塔尔宣布12日起“全面恢复海上航运”

界面新闻
2026-04-12 12:20:27
4.12日早评|谈崩了!美伊未达成协议!A股要爆了!

4.12日早评|谈崩了!美伊未达成协议!A股要爆了!

龙行天下虎
2026-04-12 11:46:41
黎巴嫩一国两军:真主党这个“国中之国”,为何彻底绑架黎巴嫩?

黎巴嫩一国两军:真主党这个“国中之国”,为何彻底绑架黎巴嫩?

环球情报员
2026-04-11 21:23:51
字节员工:工作9年,北京全款房子一套,40多万的车,存款237万

字节员工:工作9年,北京全款房子一套,40多万的车,存款237万

蚂蚁大喇叭
2026-04-12 16:57:57
雪浪环境将被“ST”,公司股价年内涨超130%,“90后”中科院博士或成新实控人

雪浪环境将被“ST”,公司股价年内涨超130%,“90后”中科院博士或成新实控人

红星资本局
2026-04-12 19:36:53
全民考公考编,是这个时代的悲哀。

全民考公考编,是这个时代的悲哀。

老陆不老
2026-04-12 12:19:50
苹果高管晒娃照片,开发者集体盯上键盘数字

苹果高管晒娃照片,开发者集体盯上键盘数字

报错免疫体
2026-04-11 08:42:53
网友提醒刘芸注意儿子内八问题,郑钧在线回应,感谢云爹妈操碎心

网友提醒刘芸注意儿子内八问题,郑钧在线回应,感谢云爹妈操碎心

露珠聊影视
2026-04-11 15:14:00
中将在芜湖当地委副书记,毛主席大怒:重新分配,就说是我要求的

中将在芜湖当地委副书记,毛主席大怒:重新分配,就说是我要求的

墨道荣
2026-04-12 09:56:26
别被骗了!宋朝官帽那两根“翅膀”,根本不是用来防交头接耳的

别被骗了!宋朝官帽那两根“翅膀”,根本不是用来防交头接耳的

疯狂的小历史
2026-04-11 08:47:51
晚间公告丨4月12日这些公告有看头

晚间公告丨4月12日这些公告有看头

新浪财经
2026-04-12 18:39:22
穿过你的裆下的我的手?美媒晒图:勇士为了防詹姆斯啥招都用

穿过你的裆下的我的手?美媒晒图:勇士为了防詹姆斯啥招都用

懂球帝
2026-04-12 16:24:20
男子出门上班把5个月大的孩子留在家,宝宝躺在床上不哭不闹自己玩,男子:每4个小时回来一次给孩子喂奶,我也不想这样的,可要挣钱

男子出门上班把5个月大的孩子留在家,宝宝躺在床上不哭不闹自己玩,男子:每4个小时回来一次给孩子喂奶,我也不想这样的,可要挣钱

观威海
2026-04-11 17:40:04
遇上这样“奇葩邻居”,我连夜挂中介卖房,只想过个普通人的生活

遇上这样“奇葩邻居”,我连夜挂中介卖房,只想过个普通人的生活

家居设计师苏哥
2026-03-14 13:13:59
哇,这大身板,丰腴有度,放到唐朝不是皇后,也得是个贵妃

哇,这大身板,丰腴有度,放到唐朝不是皇后,也得是个贵妃

可乐谈情感
2026-04-12 08:22:47
伊朗果然上当!24小时不到,以色列大量回血,70架运输机抵达中东

伊朗果然上当!24小时不到,以色列大量回血,70架运输机抵达中东

老赳说历史
2026-04-12 13:39:50
2026-04-12 21:08:49
AI前线 incentive-icons
AI前线
面向AI爱好者、开发者和科学家,提供AI领域技术资讯。
1418文章数 145关注度
往期回顾 全部

科技要闻

理想称遭恶意拉踩,东风日产:尊重同行

头条要闻

上海阿婆被"干儿子"分80次转走95万气瘫 毕生积蓄没了

头条要闻

上海阿婆被"干儿子"分80次转走95万气瘫 毕生积蓄没了

体育要闻

创造历史!五大联赛首位女性主教练诞生

娱乐要闻

赌王女儿何超蕸病逝,常年和乳癌斗争

财经要闻

美伊谈判破裂的三大症结

汽车要闻

焕新极氪007/007GT上市 限时19.39万起

态度原创

时尚
旅游
亲子
艺术
军事航空

台湾票房第一,让人边哭边骂?

旅游要闻

秀美风光汇成“海”,北京密云发布城市新名片

亲子要闻

有些孩子就爱打着和你玩的名义占你便宜

艺术要闻

殡葬新规落地,小区里的“骨灰房”真能绝迹吗?

军事要闻

美国副总统万斯:美伊谈判未能达成协议

无障碍浏览 进入关怀版