网易首页 > 网易号 > 正文 申请入驻

AI写代码翻车实录:47个事故被钉上耻辱柱

0
分享至


过去18个月,全球开发者社区攒了47份"AI生成代码事故报告"。这些不是实验室里的理论推演,是实打实跑在生产环境、让用户买单的故障。有人把数据库密码写进前端代码,有人让聊天机器人学会骂客户——最离谱的一单,直接烧掉公司全年利润的12%。

从"写代码像聊天"到"修Bug像考古"

2024年初,OpenAI前科学家Andrej Karpathy在X上发了条推文:「现在写代码只需要描述需求,剩下的交给AI。」他给这种方式起了个名字:Vibe Coding(氛围编程)。

原理听起来像魔法。开发者用自然语言描述功能,AI实时生成代码,人类角色从"写代码"降级为"审代码"。Karpathy的原话是:「我完全放飞自我,不再看代码了。」

这种开发模式在2024年下半年爆发式增长。GitHub Copilot用户突破1500万,Cursor拿到6000万美元B轮融资,Replit的AI编程功能月活增长340%。但硬币的另一面正在显现:当开发者不再理解自己部署的代码,故障排查变成了一场考古发掘。

crackr.dev维护的这份"耻辱柱"(Hall of Shame)记录了47起经核实的事故。入选标准很严格:必须发生在生产环境、必须有公开的技术复盘、必须造成可量化的损失。不是GitHub上的玩具项目,是真金白银的商业系统。

三类典型死法:数据裸奔、逻辑塌方、幻觉传染


第一类事故占总数38%,核心症状是敏感信息泄露。2024年3月,某金融科技初创公司的工程师用Claude生成了一段用户登录模块。代码跑通测试后直接上线,两周后被安全扫描发现:数据库连接字符串以明文形式嵌在前端JavaScript里。

复盘报告显示,AI在生成代码时"合理推测"了配置管理方式,但推测依据是2022年前的开源项目模板——那时候前后端分离还没成为标配。工程师事后承认:「我扫了一眼没报错,就点了部署。」

第二类是业务逻辑层面的系统性错误,占比41%。2024年6月,一家电商平台的促销系统故障是典型案例。工程师用GPT-4生成限时折扣模块,AI理解"前100名用户享受五折"时,把计数逻辑写成了前端本地变量。结果用户刷新页面就能重置计数,活动上线47分钟被薅走价值23万美元的库存。

最隐蔽的是第三类:AI幻觉导致的连锁污染。2024年9月,某SaaS公司的API文档被AI生成的示例代码污染,这些示例调用了根本不存在的端点。更麻烦的是,下游开发者复制粘贴这些代码后,在自己的系统里埋了兼容性问题。故障传播链持续了11天,影响范围覆盖17个集成商。

一个反直觉的发现:老手比新手更容易翻车

crackr.dev的数据里有个细节值得玩味。在标注了开发者经验的31起事故中,拥有5年以上经验的"老手"占比67%。不是因为他们技术差,恰恰相反——是过度自信。

初级开发者面对AI生成的代码会逐行检查,资深工程师往往凭直觉扫一眼。一位在耻辱柱上"留名"的架构师在技术博客里反思:「我看到函数名和参数结构都符合规范,就默认实现没问题。AI最擅长的就是模仿规范的形式,然后在实现里藏雷。」


这种"形式合规、实质错误"的特征,让传统代码审查机制部分失效。2024年Q3,某云服务商的内部审计显示,AI辅助编写的代码通过Code Review的比例比人工编写高12%,但上线后的故障率高47%。

工具链厂商的反应很现实。Cursor在2024年11月更新了"理解度检测"功能,如果系统判断开发者可能没看懂某段AI生成的代码,会强制要求点击确认。GitHub Copilot Enterprise版增加了"生成溯源"标签,标注每段建议代码的训练数据来源时间戳。

耻辱柱上的新条目:2025年还在新增

这份清单最近更新是2025年3月17日。新增条目包括:某AI客服系统因提示词注入攻击,向用户泄露了其他客户的订单信息;某低代码平台的AI生成工作流,在边界条件下进入无限循环,云账单单日暴涨8000美元。

维护者crackr.dev在页面顶部加了行说明:「我们不做价值判断,只记录可验证的事实。Vibe Coding是否值得推广,取决于你能否承受清单上的风险。」

Andrej Karpathy本人也在2024年底调整了口径。他在新播客里说:「我说的'不再看代码'是有前提的——你得有随时能看懂的能力。」这句话没出现在任何AI编程工具的官网宣传里。

耻辱柱的第48个条目会是什么场景?目前候选名单里有三起事故正在核实:一起涉及自动驾驶仿真系统的AI生成场景描述,一起是医疗影像AI的预处理管道错误,还有一起是某国税务系统的申报接口兼容性问题。审核通过的标准没变——生产环境、公开复盘、可量化损失。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广西岑溪市委书记上场踢“县超”,还佩戴了队长袖标

广西岑溪市委书记上场踢“县超”,还佩戴了队长袖标

澎湃新闻
2026-03-31 10:22:29
3500万爱徒无缘世界杯!47岁阿根廷主帅崩溃落泪,发布会提前离席

3500万爱徒无缘世界杯!47岁阿根廷主帅崩溃落泪,发布会提前离席

我爱英超
2026-03-31 06:41:01
亚历山大47+5雷霆OT险胜活塞,里德21+10格林19分5篮板

亚历山大47+5雷霆OT险胜活塞,里德21+10格林19分5篮板

湖人崛起
2026-03-31 12:37:31
单依纯事件不到48小时,开启演唱会免费退票,恶心的一幕出现了

单依纯事件不到48小时,开启演唱会免费退票,恶心的一幕出现了

洲洲影视娱评
2026-03-31 14:24:33
美一架载286人客机起飞9分钟发生爆炸,飞机碎片坠落引发火情

美一架载286人客机起飞9分钟发生爆炸,飞机碎片坠落引发火情

无情有思可
2026-03-31 13:39:32
惊讶!伊朗大捷!用一场标志性大胜,让美军创下战后最大战损记录

惊讶!伊朗大捷!用一场标志性大胜,让美军创下战后最大战损记录

军机Talk
2026-03-30 11:02:14
省2000美元!NBA官方:杨瀚森对阵奇才技术犯规已被撤销

省2000美元!NBA官方:杨瀚森对阵奇才技术犯规已被撤销

罗说NBA
2026-03-31 08:33:09
中国国航一架从北京飞往平壤的客机抵达平壤

中国国航一架从北京飞往平壤的客机抵达平壤

新京报
2026-03-30 09:50:06
NASA宇航员晒了1张照片,网友集体破防:快烧了它

NASA宇航员晒了1张照片,网友集体破防:快烧了它

Ping值焦虑
2026-03-30 14:08:36
传iPhone 17系列国内销量接近2600万台 碾压国产旗舰

传iPhone 17系列国内销量接近2600万台 碾压国产旗舰

CNMO科技
2026-03-31 09:22:06
就在今天,詹姆斯又爆发,达成2项历史第一纪录,41岁还要拿顶薪

就在今天,詹姆斯又爆发,达成2项历史第一纪录,41岁还要拿顶薪

大西体育
2026-03-31 20:27:10
绝对“钞能力”!哈兰德用不到一周工资,入手限量LV联名迈巴赫!

绝对“钞能力”!哈兰德用不到一周工资,入手限量LV联名迈巴赫!

田先生篮球
2026-03-30 21:35:46
以媒:以色列决定停止从法国采购一切安全装备

以媒:以色列决定停止从法国采购一切安全装备

界面新闻
2026-03-31 15:40:46
世界杯爆冷:国乒主力梁靖崑苦战5局2-3不敌张本智和

世界杯爆冷:国乒主力梁靖崑苦战5局2-3不敌张本智和

民哥台球解说
2026-03-31 15:07:08
它是“菜中人参”春天遇到我从不手软,买20斤囤起来,从春吃到夏

它是“菜中人参”春天遇到我从不手软,买20斤囤起来,从春吃到夏

阿龙美食记
2026-03-29 13:17:58
A股:上午冲到3948后大跳水,种种迹象表明,A股或迎更大调整行情?

A股:上午冲到3948后大跳水,种种迹象表明,A股或迎更大调整行情?

股市皆大事
2026-03-31 12:14:18
央视出品,于和伟领衔主演,王阳加盟助阵,这抗战大剧会引爆收视

央视出品,于和伟领衔主演,王阳加盟助阵,这抗战大剧会引爆收视

娱乐圈笔娱君
2026-03-31 19:06:51
0-3惨败!上海女排大小姐式打球,丢冠早注定,拼劲全无谈何夺冠

0-3惨败!上海女排大小姐式打球,丢冠早注定,拼劲全无谈何夺冠

金毛爱女排
2026-03-31 00:00:08
比亚迪:比利润下滑19%更可怕的,是裁员10万人

比亚迪:比利润下滑19%更可怕的,是裁员10万人

诗与星空
2026-03-30 08:00:11
特朗普:所有因霍尔木兹海峡被关而无法获得航空燃油的国家,建议你们从美国买,或去海峡那里抢

特朗普:所有因霍尔木兹海峡被关而无法获得航空燃油的国家,建议你们从美国买,或去海峡那里抢

大象新闻
2026-03-31 20:45:13
2026-03-31 21:15:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
547文章数 26关注度
往期回顾 全部

科技要闻

华为2025年销售收入8809亿,净利润680亿元

头条要闻

骑张雪机车夺冠的"边缘人" 告别主流摩托赛事长达10年

头条要闻

骑张雪机车夺冠的"边缘人" 告别主流摩托赛事长达10年

体育要闻

县城修车工,用20年成为世界冠军

娱乐要闻

《月鳞绮纪》空降 鞠婧祎却被举报偷税

财经要闻

油价暴涨 我们的生活成本会飙升多少?

汽车要闻

腾势Z9GT到底GT在哪?

态度原创

房产
本地
旅游
家居
公开课

房产要闻

重磅!海南城市更新拟出新政!

本地新闻

用Color Walk的方式解锁城市春日

旅游要闻

2026上海旅博会启幕,前沿科技与古镇非遗同频共振激活消费新动能

家居要闻

新婚爱巢 甜蜜情趣拉满

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版