网易首页 > 网易号 > 正文 申请入驻

用AI,写代码只会更慢!但一定更「快乐」

0
分享至

新智元报道

编辑:海狸

【新智元导读】别自欺欺人了!METR重磅实测揭穿AI编程真相:GPT等工具让顶尖程序员写代码平均慢了整整19%!效率不升反降、体验爽感成了错觉安慰剂?开发现场变「高科技马车」,AI正在拖垮真正的高手!

每天来到工位,打开昨天没跑通的代码,

抿一口咖啡,指挥Cursor、GPT、Gemini、Deepseek...吭哧吭哧干活。

AI进化成编程怪物后,这或许是很多程序员/科研人的日常。

但是,用了AI,写代码一定更快了吗?

METR(Model Evaluation & Threat Research)研究发现,如果你够强、对代码库够熟悉,AI工具反而会给你拖后腿!

他们进行了一系列严谨的随机对照试验(RCT),结果惊人——

哪怕是写过百万行代码的万星repo大佬,使用AI工具时,干同样的任务,也会多花「19%」的时间!

更令人「细思恐极」的是,开发者完全意识不到AI在拖他们的后腿!

实验前,他们平均预计AI能提升效率24%。

即便在明明白白看到「变慢」的实验结果后,他们还是认为AI让他们快了20%。

METR把所有的实验设计和结果都放在了论文中:

论文链接:https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study.pdf

这项研究是怎么颠覆我们对AI写代码的幻

想的?

「变快」是幻觉:AI让开发者慢了19%

具体而言,METR把研究限制在了「资深开发者」和他们熟悉的「大型、成熟开源代码库」这个范围里。

为了测量AI工具在现实中的开发影响,METR招募了16位长期活跃于大型开源项目的资深开发者。

「资深」二字可不是说说而已,他们人均100万+行代码,维护的GitHub项目有22k+颗星。

这些开发者真刀真枪上阵,从他们日常工作流中收集了246个真实有价值的问题。

这些问题包括bug修复、新功能开发和重构任务等,大概长下面这样

METR将每个任务随机分配「允许使用AI」或「不允许使用AI」的对照实验组中。

在「允许」组中,开发者可以使用任何AI工具(主要是Cursor Pro搭配Claude 3.5/3.7 Sonnet等前沿模型)。

在「不允许」组中,他们不得借助生成式AI。

实验选择的每个任务平均耗时2小时。完成任务的同时,开发者需要录屏,并自报所用总时间。

随后,METR计算一个相对变化率,来衡量用不用AI的时间影响。

不过,开发者们也不白干活,METR按每小时150美元给他们付「工资」。

这笔高时薪开得很值,METR分析实验结果后发现了惊人的结论:

当开发者可以使用AI工具时,他们完成任务的平均时间反而增长了19%!

而且,从下图可以看出,使用AI写代码,全流程都被拖慢了!

这么明显的变慢打破了所有人的预期。

更令人震惊的是,开发者完全感觉不到!

在实验前,他们预计AI能提升效率24%;但从下图可以清晰看出,使用AI后,开发者用时显著增加。

然而,即便在亲身体验「变慢」后,他们仍认为AI「感觉上」让他们快了20%!

不过,METR非常严谨,声明实验仅研究特定开发者与项目,不代表整个软件开发行业,更不能推广到非软件类任务(如法律、写作、设计等)。

基准测试、用户体验,都错哪了?

为确保严谨,METR反复审查了自己的实验设计。

他们严格遵守实验分配规则,没有在AI组更频繁放弃难题,使用的AI也确实都是最强代码模型。

并且,有AI和无AI组提交的PR(Push Request)质量也没什么大差别。

既然实验设计没问题,那在AI写代码这件事上,为何benchmark和用户体验都错了?

METR对实验结果进行了进一步的分析。

首先是更细粒度的思考过程分析:

细细看了这些大佬开发者的屏幕录像后,METR发现,允许使用AI时,开发者在主动编码以及搜索/阅读信息上的时间减少了。

相对应的,开发者将更多时间花在了与AI 交互(如编写提示)、审查AI输出的结果,以及「干等」上。

METR进一步设想了20个可能导致变慢的因素,发现其中有5个可能对结果有显著贡献:

一方面,开发者对项目已经非常熟悉,远超和团队没有默契的AI;另一方面,他们对 AI 效能有点过度乐观。

另外,项目本身也很复杂,导致AI写得快但写得烂,开发者还要花很多时间调试。

最后,METR发现,这项研究与此前观点的矛盾似乎来源于任务的定义和区分。

对AI是否「能干活」这一问题,数据来源不同,得出的结论可能完全不同。

RCT实验聚焦的是「现实开发流程中是否真的更快」,基准测试关心「模型在任务标准下能打几分」,而用户主要反馈「AI用起来爽不爽」的主观感受。

换句话说,结论不一样,是因为本就在回答不同问题。

关心的是「日常提效」,还是「攻坚能力」,换换使用场景,答案可能完全不同。

每一种方法评估的都只是任务空间的子集,组合起来,或许才能客观认识AI编程的真实战力。

上岗两眼懵?AI编程不能只会刷分

METR的RCT实验提醒我们,别被AI基准测试的高分吓到了。

那些所谓的「智能体测评」「编程大赛」,看起来挺能打,实则可能离真实开发差得远。

在不需要背景、不需要理解上下文、不涉及实际部署的测试任务中训出来的AI,未必能赶上人类开发者的表现;

我们不能低估AI的能力,更不能过度乐观,觉得AI能轻松接管开发。

未来,用户对AI编程工具的期待不只是「刷分」。

我们想看的是,AI是否真的能把软件开发推进得更快、更好?

一旦AI真能做到这一点,那就意味着AI能够「无限赋能」自身的进化。

听起来很酷,但也任重道远。

如何评估AI参与真实开发部署的能力?如何设立监督护城河,保证项目安全?

METR打算继续设计实验,观察AI开发的真实实力。

他们表示,想要集结更多开发者、AI编程用户的力量,一起继续搞实验,看AI到底行不行。

不过,不管AI编程拖后腿的证据有多「实锤」,

研究中的大多数参与者,甚至研究作者本人,都并不介意被GPT之流拖一拖后腿。

面对一张白纸从零开始,或是对着一篇草稿进行编辑,即使前者更快,大家想必也都会选择后者。

毕竟,「奴役」AI写代码,虽然没法更「快了」,但一定更「快乐」。

参考资料:

https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/

https://www.reuters.com/business/ai-slows-down-some-experienced-software-developers-study-finds-2025-07-10/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
赵本山老师,我能不慌吗?

赵本山老师,我能不慌吗?

亮见
2026-11-19 16:34:11
谁逼着红军走上两万五千里长征的?别全赖蒋介石。真正布下绝杀局、差点把红军逼上绝路的,是个连枪都没怎么摸过的一介书生

谁逼着红军走上两万五千里长征的?别全赖蒋介石。真正布下绝杀局、差点把红军逼上绝路的,是个连枪都没怎么摸过的一介书生

扶苏聊历史
2026-11-19 14:16:52
高铁“三不带”全国统一执行!这3样东西出门前赶紧从包里拿出来

高铁“三不带”全国统一执行!这3样东西出门前赶紧从包里拿出来

牛锅巴小钒
2026-11-19 06:48:25
德比斯:我疯狂想加入张雪机车!中国给了我很多,我非常乐意回馈中国

德比斯:我疯狂想加入张雪机车!中国给了我很多,我非常乐意回馈中国

念洲
2026-11-19 06:45:54
大逆转!约基奇24+9+8,塔图姆24+8+3,雷霆很无奈:掉到西部第八

大逆转!约基奇24+9+8,塔图姆24+8+3,雷霆很无奈:掉到西部第八

篮球大视野
2026-11-19 13:25:58
被骗了?沪指尾盘突然拉升!竟有4876股下跌,A股明天迎来生死时刻

被骗了?沪指尾盘突然拉升!竟有4876股下跌,A股明天迎来生死时刻

财报翻译官
2026-11-19 17:46:41
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
印媒:地球上没有任何力量能阻止印度成为35万亿美元的经济体

印媒:地球上没有任何力量能阻止印度成为35万亿美元的经济体

荆楚寰宇文枢
2026-11-05 23:19:37
为什么国家越来越强,我们的日子却越来越紧

为什么国家越来越强,我们的日子却越来越紧

小禾的半糖生活
2026-11-18 13:20:03
外交部回应高市早苗礼宾安排:根据国际惯例作出适当礼宾安排

外交部回应高市早苗礼宾安排:根据国际惯例作出适当礼宾安排

澎湃新闻
2026-11-19 15:49:14
窃喜C罗离开?B费喊摄影师:去拍队长吧 坎塞洛指着袖标:来,拍我

窃喜C罗离开?B费喊摄影师:去拍队长吧 坎塞洛指着袖标:来,拍我

风过乡
2026-11-19 07:25:15
德国又一百年工业集团破产,震动全球制造业

德国又一百年工业集团破产,震动全球制造业

起点财经
2026-11-19 11:38:23
清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

文史道
2024-11-25 06:45:02
男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

环球网资讯
2026-11-19 10:01:08
罚款50元!上海交管部门严查:非机动车“上街沿”违法!

罚款50元!上海交管部门严查:非机动车“上街沿”违法!

普陀动物世界
2026-11-19 12:42:20
脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

暮色史观
2026-11-19 10:24:15
被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

秋风妃
2026-11-18 21:50:07
乐队主唱张宇因病医治无效去世,终年48岁

乐队主唱张宇因病医治无效去世,终年48岁

大风新闻
2026-11-19 16:49:02
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

21世纪经济报道
2026-11-17 07:38:59
2026-11-19 19:36:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16718文章数 67239关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

华境S五座版亮相 标配华为乾崑科技和宁德时代电芯

态度原创

本地
游戏
家居
房产
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

GTA6大多数PC也没法60帧!技术人士发话 升级硬件吧

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

2.5亿!丁村侨中,新动作来了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版