网易首页 > 网易号 > 正文 申请入驻

十起软件灾难:AI本可拦住的人为失误

0
分享至

1996年6月4日,法属圭亚那库鲁发射场。阿丽亚娜5型火箭升空37秒后,两台固体助推器突然脱离,火箭在400米高空自毁。造价5亿美元的载荷坠入大西洋。事故原因令人错愕:一段从阿丽亚娜4继承的16位整数代码,在新火箭更快的加速度下溢出了。

这不是什么不可预见的宇宙级难题。这是一个"没人重新验证旧假设"的故事。


DevOps领域有句信条:万物皆溃,时时皆溃。但软件史上最昂贵的失败,往往并非源于极端边缘案例,而是源于那些从未被重新审视的假设——继承自遗留系统的变量类型、缺失的边界检查、单位混淆、静默的告警失效、本该十年前删除的功能开关。这些不是"没人能预见"的事故,是"没人肯问 obvious 问题"的事故。


这正是我主张"增强意图验证"(Augmented Intent Validation, AIV)的原因:将AI驱动的对抗性审查嵌入DevOps工具链。不是让AI写代码,不是取代工程师,而是像飞机近地警告系统(GPWS)那样——一个永远不会厌倦提问的审查者。

人类会停止问这些问题。机器不会。

以下十起灾难,每一起都本可被AIV拦截。

1. 千年虫——两位数年份的全球恐慌

DevOps失效模式:长期运行的系统携带着未经审视的假设。

两位数年份本是存储优化策略,却在设计预期之外多活了30年。全球修复耗费数千亿美元。

AIV本应标记:"纪元翻转将在1999年后引入歧义状态。"

2. 阿丽亚娜5——摧毁火箭的整数溢出

DevOps失效模式:重用遗留代码却未重新验证不变量。

16位整数在阿丽亚娜4上运行良好,在阿丽亚娜5更快的飞行剖面下溢出。火箭自毁。

AIV本应标记:"新运行参数下,数值超出16位可表示范围。"

3. Therac-25——安全关键系统中的竞态条件

DevOps失效模式:移除硬件互锁却未设置补偿控制。

操作员输入命令的速度超过软件安全处理能力。患者死亡。

AIV本应标记:"快速操作输入下可能发生不安全状态转移。"

4. 火星气候轨道器——公制与英制的致命混淆

DevOps失效模式:团队间接口契约漂移。

一个子系统输出磅力秒,另一个预期牛顿秒。航天器在火星大气层中解体。

AIV本应标记:"生产方与消费方单位不匹配。"

5. Knight Capital——死代码与糟糕部署管道的组合

DevOps失效模式:静默部署失败 + 休眠代码路径。

一台服务器未收到更新。遗留功能"Power Peg"重新激活,在45分钟内执行数百万错误订单,造成4.6亿美元损失。

AIV本应标记:"部署状态不一致;检测到未标记为活跃的可执行代码路径。"

6. 丰田意外加速——栈溢出与内存损坏


DevOps失效模式:未经验证的实时操作系统假设。

任务栈溢出导致内存损坏,引发不可重现的加速事件。数十人死亡。

AIV本应标记:"递归深度无界;栈使用接近极限时无防护。"

7. 波音737 MAX——单一传感器依赖

DevOps失效模式:未建模的传感器失效模式。

机动特性增强系统(MCAS)依赖单一迎角传感器。传感器故障导致两次坠机,346人死亡。

AIV本应标记:"安全关键决策依赖未交叉验证的单一数据源。"

8. Cloudflare——正则表达式灾难性回溯

DevOps失效模式:输入规模假设未经验证。

一个正则表达式在特定输入下引发灾难性回溯,CPU耗尽导致全球服务中断27分钟。

AIV本应标记:"正则表达式存在多项式时间复杂度路径;建议设置计算预算。"

9. 英特尔奔腾FDIV——硬件层面的精度缺陷

DevOps失效模式:数学不变量在实现中未验证。

浮点除法单元在特定操作数组合下返回错误结果。召回成本4.75亿美元。

AIV本应标记:"除法算法未覆盖完整输入空间;建议形式化验证。"

10. 比特币溢出——货币系统中的整数边界

DevOps失效模式:经济不变量未纳入代码审查。

区块184的coinbase交易产生1840亿比特币(设计上限为2100万)。漏洞数小时内被修复,但暴露了经济模型与实现之间的鸿沟。

AIV本应标记:"铸造函数未验证总量约束;经济不变量可被违反。"

模式总结

这十起灾难跨越40年、涵盖嵌入式系统到分布式云原生架构,却共享同一套失效模式:假设一旦建立,便再无人问津。类型系统本可捕获单位错误,静态分析本可标记死代码,模糊测试本可暴露正则灾难,形式化方法本可验证除法正确性。

但人类审查者会疲劳、会遗漏、会假设"前人已经检查过"。AIV的核心价值不在于发现人类找不到的bug,而在于永不停止地询问那些 obvious 的问题——那些灾难发生后人人都会问、却没人事前问过的问题。

这不是关于AI取代工程师。这是关于把"质疑假设"变成基础设施,而非依赖个人习惯。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普的北京时刻

特朗普的北京时刻

凤凰WEEKLY
2026-05-15 01:02:56
66岁大爷相亲50岁大妈:两人婚前同居一段时间,大妈:白日做梦

66岁大爷相亲50岁大妈:两人婚前同居一段时间,大妈:白日做梦

惟来
2026-05-14 12:01:27
邪门!少了30多万中国人消费,日本的旅游收入反而比以前多了

邪门!少了30多万中国人消费,日本的旅游收入反而比以前多了

壹只灰鸽子
2026-05-13 10:44:56
伊朗队正式发布世界杯球衣:豹子暗纹,由本国品牌赞助

伊朗队正式发布世界杯球衣:豹子暗纹,由本国品牌赞助

懂球帝
2026-05-15 00:09:05
沃尔抽的状元签奇才转卖!篮网11首轮报价,爵士快船已上谈判桌

沃尔抽的状元签奇才转卖!篮网11首轮报价,爵士快船已上谈判桌

夜溟聊体育
2026-05-15 10:32:12
宁夏恶魔,白天在谢晋电影里演好人,晚上回家当阎王,杀人喂狗!

宁夏恶魔,白天在谢晋电影里演好人,晚上回家当阎王,杀人喂狗!

莫地方
2026-05-14 00:55:03
OPPO母亲节宣传翻车,策划人履历曝光,紧急砸430万招公关负责人

OPPO母亲节宣传翻车,策划人履历曝光,紧急砸430万招公关负责人

谭谈社会
2026-05-12 17:26:27
“早晚高峰只能龟速前进” !深圳水官高速免费通行仅半月,网友吐槽太堵!专家建议

“早晚高峰只能龟速前进” !深圳水官高速免费通行仅半月,网友吐槽太堵!专家建议

南方都市报
2026-05-15 09:02:51
国乒动态:王楚钦身着西装如贵公子,王皓携妻参加活动年轻十岁

国乒动态:王楚钦身着西装如贵公子,王皓携妻参加活动年轻十岁

湘楚风云聊体育
2026-05-15 00:25:07
“摸奶子”惹争议!OPPO的流量反噬开始了

“摸奶子”惹争议!OPPO的流量反噬开始了

广告创意
2026-05-13 08:25:55
没有中方官员接待,日本代表团抵沪第三天,外交部打开天窗说亮话

没有中方官员接待,日本代表团抵沪第三天,外交部打开天窗说亮话

铁锤简科
2026-05-15 13:40:19
长续航Model Y价格上调1.8万元?特斯拉中国独家回应:假消息

长续航Model Y价格上调1.8万元?特斯拉中国独家回应:假消息

每日经济新闻
2026-05-15 13:44:15
马斯克疯狂着迷的女人,艾梅柏带3个娃隐居西班牙,孩子生父成谜

马斯克疯狂着迷的女人,艾梅柏带3个娃隐居西班牙,孩子生父成谜

照见古今
2026-04-29 16:00:06
山东男篮重建:请“逍遥王”巩晓彬出山,主教练之位可另寻他人

山东男篮重建:请“逍遥王”巩晓彬出山,主教练之位可另寻他人

姜大叔侃球
2026-05-15 12:47:10
中国留学生做饭像开席,英国室友看傻了:你们这么折腾不累吗?

中国留学生做饭像开席,英国室友看傻了:你们这么折腾不累吗?

天下霸奇
2026-05-15 08:53:32
曝央视与国际足联谈判成功,价格相对合理,将于近日签约

曝央视与国际足联谈判成功,价格相对合理,将于近日签约

尘语者
2026-05-15 11:20:11
曹德旺没想到,儿子平稳接班才半年,女儿凭一个举动再次给他长脸

曹德旺没想到,儿子平稳接班才半年,女儿凭一个举动再次给他长脸

好贤观史记
2026-05-11 15:06:08
俄国防部称大规模打击乌军工企业

俄国防部称大规模打击乌军工企业

界面新闻
2026-05-14 23:10:32
“关闭支付功能后,支付宝深夜被扣款捐赠184万元”?支付宝:涉事账户存在与他人共用嫌疑,不排除涉嫌违法犯罪的可能,正向警方寻求帮助

“关闭支付功能后,支付宝深夜被扣款捐赠184万元”?支付宝:涉事账户存在与他人共用嫌疑,不排除涉嫌违法犯罪的可能,正向警方寻求帮助

都市快报橙柿互动
2026-05-15 10:43:37
上海房东心态崩了?朋友卖房后租房坐看房价跌掉350万,这就是不被割韭菜的真相

上海房东心态崩了?朋友卖房后租房坐看房价跌掉350万,这就是不被割韭菜的真相

石辰搞笑日常
2026-05-15 10:57:32
2026-05-15 14:51:00
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
2792文章数 36关注度
往期回顾 全部

科技要闻

两年联姻一地鸡毛,传苹果OpenAI濒临决裂

头条要闻

牛弹琴:中美元首历史性会晤 向世界释放五个信号

头条要闻

牛弹琴:中美元首历史性会晤 向世界释放五个信号

体育要闻

德约科维奇买的球队,从第6级联赛升入法甲

娱乐要闻

方媛为何要来《桃花坞6》没苦硬吃?

财经要闻

特朗普的北京时刻

汽车要闻

双零重力座椅/AI智能体/调光天幕 启境GT7内饰发布

态度原创

本地
时尚
教育
健康
公开课

本地新闻

用苏绣的方式,打开江西婺源

冰凉一夏 | 比没穿还舒服,这些贴身衣物我囤了5件

教育要闻

刚刚,南外发布2026小升初招生简章,扩招40人,招生范围变大!

专家揭秘干细胞回输的安全风险

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版