网易首页 > 网易号 > 正文 申请入驻

OpenAI把AI决策藏了3年,工程师发现后集体破防

0
分享至


去年秋天,某支付公司的AI Agent在生产环境把一笔200万刀转账划给了错误账户。复盘时发现,系统日志只写了"REJECT"——但没人知道它为什么拒绝,又为什么最终执行了。人类操作员连夜翻聊天记录,靠猜把锅补上了。

这不是bug,是设计缺陷。大多数Agent崩溃不是因为违反规则,而是因为规则不够用时,它选择硬撑。

原文作者抛出一个反直觉结论:想让Agent真正可运营,第一个该设计的不是"拒绝",而是"降级(DEGRADE)"。

01|二极管陷阱:为什么REJECT不够

当前主流Agent系统只有两种结局:成功,或拒绝。听起来干净,实则偷懒。

真实业务里,大量决策处于灰色地带:审批链缺了一环、证据链接404、依赖服务超时、状态未确认。这时候如果只能REJECT,操作员被迫用"解释权"兜底——"我觉得能跑""上次这样没问题"。

tacit knowledge(隐性知识)就这样野蛮生长。三个月后,团队里只有老张知道哪些REJECT可以手动放行。审计时,"无法复现当时为何通过"成为标准答案。

更隐蔽的风险来自LLM的"叙事冲动"。当多个字段缺失时,模型倾向于补全一个自洽的故事——"这看起来像是审批通过了"。这种"帮忙"心态,正是执行假依据的温床。

REJECT把责任甩给人类,但没有留下甩锅的证据链。

02|DEGRADE的本质:可控的暂停,不是失败

作者定义的DEGRADE(DEFER)是一种机械分支:"当前无法安全决策 → 停止,并记录停止的原因。"

关键区别:它不是"什么都不做",而是标准下一步。停止本身是可运行的工作流节点,有入口、有出口、有计时器。

具体实现上,DEGRADE返回的不是问题,而是结构化请求:

• 缺失字段的机械路径(如approvals.sre_approved)
• 所需证据的精确ID
• 当前已验证状态的快照

LLM可以起草给人看的消息,但"必须请求什么"由验证器决定。人机分工明确:模型提案,系统执行,审计留痕。

作者举了一个变更管理示例。当change_request缺少created_at时间戳时,系统不猜测、不拒绝,直接进入DEGRADE状态,标记为MISSING_EVIDENCE,并启动SLO计时器。

03|让DEGRADE可运营:三类元数据

作者提出DEGRADE必须携带三类信息,否则只是高级REJECT:

Category(类别):与负责团队、运维手册、SLO一一映射。如MISSING_APPROVAL对应SRE团队,STATE_UNKNOWN对应数据平台值班。

Granularity(粒度):返回机器可读的缺失清单,而非散文描述。比如返回approvals.sre_approved: null,而不是"缺少SRE审批"。

SLO元数据:DEGRADE是"带时间的状态",需要:

• degrade_at:进入时间
• sla_target:预期解决时间
• auto_escalate_at:自动升级阈值

这套设计让DEGRADE成为可观测、可改进的基础设施。作者直言:"DEGRADE会膨胀,这没问题。有问题的是'我们不知道这是什么类型的DEGRADE'、'不知道卡了多久'、'无法优化它'。"

04|可重入验证:从暂停到恢复

最终让DEGRADE区别于"抛异常"的设计,是可重入验证机制。

当缺失的依据被补齐,同一案例可以重新流经相同的验证器,产出新的裁决。这不是"重试",而是"续审"——所有历史状态保留,决策逻辑一致。

作者特别提到生产配置变更的场景:改动很小,爆炸半径很大,最适合DEGRADE优先设计。比如feature flag rollout(功能标志灰度发布)缺少rollback_plan_id(回滚计划ID)时,系统不猜测风险,直接降级等待人工确认。

这种设计把"我不知道"从系统漏洞变成了运营资产。

回到开头那笔200万刀的转账。如果系统当时返回的是DEGRADE状态,附带缺失字段、责任人、计时器——夜班工程师至少知道该叫醒谁,而不是在Slack里@所有人问"有人懂这个吗"。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一包中国方便面,在朝鲜为何成了普通人高攀不起的“奢侈品”?

一包中国方便面,在朝鲜为何成了普通人高攀不起的“奢侈品”?

复转这些年
2026-04-07 12:22:45
美伊停火协议细节公布!黄金直线拉升,国际油价大跳水,股市巨震

美伊停火协议细节公布!黄金直线拉升,国际油价大跳水,股市巨震

鲁中晨报
2026-04-07 07:21:14
湖北发布社会公众风险提示:强对流来袭,局地有冰雹

湖北发布社会公众风险提示:强对流来袭,局地有冰雹

界面新闻
2026-04-07 13:32:37
郑丽文刚到大陆,不到24小时,赖清德打破沉默,呼吁两岸展开对话

郑丽文刚到大陆,不到24小时,赖清德打破沉默,呼吁两岸展开对话

阿纂看事
2026-04-07 18:13:54
真护士去假医院上班,假病人却想真看病!一家没病硬看的医院,在欧洲火爆了...

真护士去假医院上班,假病人却想真看病!一家没病硬看的医院,在欧洲火爆了...

英国那些事儿
2026-04-06 23:17:24
伊朗发出最后通牒!俄通告全球将参战,法国上将:中估计也要到了

伊朗发出最后通牒!俄通告全球将参战,法国上将:中估计也要到了

观察者小海风
2026-04-07 16:07:23
“不惜一切代价”与“不惜一切代价”

“不惜一切代价”与“不惜一切代价”

名人苟或
2026-04-07 06:09:28
因太漂亮被导演“收入囊中”的4位女星,有一位戏没拍完就怀孕了

因太漂亮被导演“收入囊中”的4位女星,有一位戏没拍完就怀孕了

雅儿姐游世界
2026-04-05 14:48:13
日媒:日本一老人在景点与女子发生争执啃咬对方手臂,被捕后短时间内死亡,警方正调查死因

日媒:日本一老人在景点与女子发生争执啃咬对方手臂,被捕后短时间内死亡,警方正调查死因

环球网资讯
2026-04-07 11:12:37
大嘴女星睡叔圈顶流养小鲜肉的瓜

大嘴女星睡叔圈顶流养小鲜肉的瓜

十锤星人
2026-04-06 23:29:43
为啥说最好不要送孩子出国?网友:希望你的孩子跟你眼界一样

为啥说最好不要送孩子出国?网友:希望你的孩子跟你眼界一样

解读热点事件
2026-04-03 00:05:08
时隔两年凯特复活节惊喜现身!7岁路易王子一条长裤就让英媒炸锅,关注点好奇怪!

时隔两年凯特复活节惊喜现身!7岁路易王子一条长裤就让英媒炸锅,关注点好奇怪!

新欧洲
2026-04-07 19:17:10
“千古奇冤”阿隆索!皇马换帅后战绩直线下滑,根源直指管理层!

“千古奇冤”阿隆索!皇马换帅后战绩直线下滑,根源直指管理层!

田先生篮球
2026-04-07 11:22:53
果然阳谋在任何面前都是无敌的!网友:把水搅混了,也是一种智慧

果然阳谋在任何面前都是无敌的!网友:把水搅混了,也是一种智慧

夜深爱杂谈
2026-04-07 17:50:08
张伦硕自曝最受不了钟丽缇一点:她那方面太厉害!女人看后都无语

张伦硕自曝最受不了钟丽缇一点:她那方面太厉害!女人看后都无语

百言君
2026-04-06 23:11:58
研究表明:性生活越频繁,射精和勃起问题越少!

研究表明:性生活越频繁,射精和勃起问题越少!

黯泉
2026-04-05 20:40:12
森林狼遭遇雷霆式悲剧!为省钱抛弃自己的哈登,场均20+3才1500万

森林狼遭遇雷霆式悲剧!为省钱抛弃自己的哈登,场均20+3才1500万

你的篮球频道
2026-04-07 14:20:04
6岁女童遇害:家属含泪爆作案动机,凶手被抓后冷静异常,太愤怒

6岁女童遇害:家属含泪爆作案动机,凶手被抓后冷静异常,太愤怒

眼光很亮
2026-04-07 11:38:00
惨遭36连败!景菡一:我冒着受伤风险倾尽所有 但确实是没办法

惨遭36连败!景菡一:我冒着受伤风险倾尽所有 但确实是没办法

狼叔评论
2026-04-07 23:02:22
福建警方通报“车辆坠河致5人遇难”:陈某某(女,45岁)因操作不当意外坠河,造成车内5人死亡

福建警方通报“车辆坠河致5人遇难”:陈某某(女,45岁)因操作不当意外坠河,造成车内5人死亡

大象新闻
2026-04-07 19:45:13
2026-04-08 00:28:49
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
943文章数 6关注度
往期回顾 全部

科技要闻

满嘴谎言!OpenAI奥特曼黑料大起底

头条要闻

特朗普恐吓4小时摧毁伊朗 伊朗称"打穿"海法未见拦截

头条要闻

特朗普恐吓4小时摧毁伊朗 伊朗称"打穿"海法未见拦截

体育要闻

官宣签约“AI球员”,这支球队被骂惨了...

娱乐要闻

女首富陈丽华离世 被曝生前已分好遗产

财经要闻

10万亿财政转移支付,被谁拿走了?

汽车要闻

不止是大 极狐首款MPV问道V9静态体验

态度原创

房产
教育
旅游
艺术
公开课

房产要闻

重磅!三亚拟出安居房新政!

教育要闻

好的亲子关系,父母只需做好这几点 #家长必读 #孩子教育

旅游要闻

三天迎客超四万人次,TOP中央公园成清明假期市民“微度假”热门地

艺术要闻

美丽风光看不尽

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版