网易首页 > 网易号 > 正文 申请入驻

凌晨三点,谁替你关掉失控的AI?

0
分享至

一位开发者睡了一觉,醒来发现API账单多了437美元。他的文档总结代理在夜里11点陷入重试循环,没人看见,没人阻止,直到早上7点。

这不是技术故障,是架构缺课。很多人把"加个手动开关"当答案,但真正的解法藏在另一个地方。


手动开关救不了凌晨三点的失控

原文把两种控制机制分得清楚:手动终止和自动熔断,对应完全不同的失败模式。

手动开关(kill switch)需要人盯着。凌晨三点,下游API返回503错误,代理开始疯狂重试——这时候没有人在看监控面板。开关再醒目,也得有人去按。

自动熔断(circuit breaker)是系统自己盯自己。它监测行为、比对阈值、超限自断。这个概念借自分布式系统:服务异常时"跳闸"阻断调用,防止故障蔓延。

实践中的差距很明显:手动开关是出事后的补救;熔断器是在"出事了"变成"出了八小时事、花了437美元"之前,把它掐掉。

开发者社区已经用真金白银摸出了规律。自主代理进入主流生产的18个月里,Hacker News涌现了一批Show HN项目:AgentCircuit(针对大模型函数调用的熔断器)、AgentFuse(防止500美元OpenAI账单的本地熔断)、FailWatch(故障自闭合熔断)、Runtime Fence(代理手动开关)。每个作者都被烧过,然后自己造轮子。

模式高度一致:团队硬吃一次亏,才意识到需要熔断,再自建方案。

为什么监控工具挡不住账单

LangSmith、Helicone、Arize Phoenix、Langfuse都是观测工具。它们擅长的事原文列得很具体:暴露追踪链路、记录token消耗、可视化执行路径、事后标记异常。

熔断器不取代它们——它消费它们。这些工具暴露的信号,正是熔断器判断是否跳闸的输入。

但观测是被动的,记录"发生了什么";熔断是主动的,干预"正在发生什么"。

这是观测市场还没补上的竞争缺口。LangSmith能生成一份详细追踪报告,记录代理在崩溃前发出的数千次相同工具调用。这份报告对复盘很有价值,对阻止第50次、第500次、第5000次调用毫无作用。

工具厂商的路线选择也值得玩味。Helicone在2024年10月推出了"基于使用量的速率限制",接近熔断逻辑,但仍是阈值触发的人工配置,而非行为异常的自适应检测。Langfuse在2025年3月添加了"会话成本上限",同样是硬编码预算,不是动态响应。

这些功能有用,但属于"防止已知风险"——设定一个数字,超了就停。熔断器处理的是"未知风险":代理行为偏离正常模式,但还没触及任何预设阈值。

原文举了一个典型场景:代理调用搜索工具,预期返回10条结果处理。下游服务异常,返回空数组。代理的提示词写着"若结果不足,扩大搜索范围",于是它扩大、再扩大、再扩大……每次调用都"成功"返回空,没有错误码触发警报,预算在沉默中燃烧。

硬编码阈值抓不住这种失败。需要监测的是"同一工具短时间内被调用次数"或"结果为空的比例"这类衍生指标——这正是熔断器的领地。

生产级熔断器长什么样

原文没有给出具体产品的完整架构,但从社区实践和失败案例反推,可以勾勒出一个最小可用设计的轮廓。

状态机是核心。三个状态:闭合(正常通行)、断开(阻断调用)、半开(试探恢复)。代理每次工具调用前,熔断器检查状态;闭合则放行并记录指标,断开则直接返回降级逻辑,半开则允许有限试探调用评估下游健康度。

指标采集层需要覆盖三类信号:调用频次(单位时间内的工具调用次数)、结果特征(返回内容的长度、结构、空值比例)、错误模式(特定状态码、超时率、重试次数)。这些指标不是静态阈值,而是滑动窗口内的统计异常——比如"过去5分钟内,同一工具调用次数超过过去1小时平均值的3个标准差"。

跳闸逻辑要区分硬跳和软跳。硬跳针对明确故障:连续N次超时、M次5xx错误。软跳针对行为异常:调用模式偏离历史基线、结果分布出现突变。硬跳快速止损,软跳捕捉未知风险。

恢复策略同样关键。固定冷却期(断开5分钟后自动半开)简单但粗糙;指数退避(首次断开5分钟,再次失败则10分钟、20分钟)更稳妥;健康探测(定期发送测试调用评估下游状态)最精确,但增加系统复杂度。

与大模型代理的集成点有两处:工具调用层(拦截所有外部API调用)和推理循环层(监测代理自身的决策迭代)。前者防护外部依赖故障,后者捕捉代理内部的逻辑失控——比如陷入"再试一次"的无限循环。

原文提到的437美元账单案例,如果在工具调用层部署熔断器,可以在"连续50次相同调用返回空结果"时跳闸;如果在推理循环层部署,可以在"同一任务迭代超过20次未收敛"时介入。两层叠加,才能覆盖完整的失败光谱。

为什么团队总在事后补课

一个有趣的观察:熔断器在软件工程里是老概念,Martin Fowler 2014年就写过经典文章,Netflix的Hystrix库在微服务时代被广泛采用。为什么到了AI代理场景,团队反而要重新发明轮子?

原文暗示了几个结构性原因。

代理的故障模式更隐蔽。传统服务的失败通常是二元的:成功或异常,HTTP状态码分明。代理的失败是渐变的:每次调用都"成功"返回,但返回的内容正在把代理引向深渊。空数组不是错误,提示词里的"扩大搜索范围"也是合理设计,组合起来却是灾难。

代理的行为空间更大。传统服务的行为相对确定:给定输入,输出在有限范围内波动。代理的推理过程是开放的,同样的任务可能走完全不同的路径,建立"正常行为"的基线更难,检测偏离也更复杂。

团队的心理账户不同。很多人把代理当作"智能体"而非"服务组件",期待它能自我管理、自我纠错。这种预期延迟了对控制机制的投资,直到一次昂贵的失控打破幻想。

工具链的成熟度也有差距。微服务时代的熔断器可以复用成熟的库和模式,代理场景的熔断需要理解大模型的调用特性、工具使用的统计规律、提示词工程的边界效应。社区知识还在积累中,Hacker News上的Show HN项目就是证据。

原文没有明说但值得注意的一个点:这些自建熔断器的项目,命名都带有防御性色彩——Circuit、Fuse、FailWatch、Fence。作者们的心态不是"优化性能",是"别再让我赔钱"。这种创伤驱动的创新,往往比理论推演更贴近真实需求。

熔断器背后的设计哲学

把熔断器放在更大的图景里看,它回应的是AI代理生产化的一个核心张力:自主性与可控性的平衡。

代理的价值在于自主——给定目标,自行规划、调用工具、迭代优化。但自主意味着行为不可完全预测,意味着可能进入设计者未设想的执行路径。完全的控制会扼杀自主的价值,完全的自主则带来不可接受的风险。

熔断器是一种"边界控制":在保留代理内部自主空间的同时,划定不可逾越的行为红线。它不干预代理"怎么做",但限制"做多少"和"做多久"。

这种设计哲学与传统软件的安全模式不同。传统安全是白名单思维:只允许已知安全的行为。熔断器是黑名单思维:允许未知行为,但限制其规模——一旦发现行为异常到可能有害的程度,果断切断。

原文的案例中,代理的提示词设计是合理的(结果不足时扩大范围),工具调用是正常的(API返回空数组不是错误),但组合效应有害。白名单思维会要求重写提示词、增加结果校验,成本高昂且难以穷尽所有失败模式。熔断器的黑名单思维接受这种不确定性,用行为监测兜底。

这对产品团队有直接影响。如果你正在设计或集成AI代理,需要回答两个问题:第一,代理的哪些行为维度是可观测的(调用频次、迭代深度、结果分布)?第二,这些维度的哪些异常状态是不可接受的(成本上限、延迟上限、错误率上限)?

熔断器的配置就是这两个问题的答案的交集。不是追求完美的预防,而是建立快速的止损能力。

下一步:检查你的代理有没有保险丝

437美元的凌晨账单是一个信号。它说明代理已经跨越了原型阶段,进入了需要生产级可靠性的战场。

如果你负责的产品集成了AI代理,今天可以做三件事:列出代理所有可能的外部调用,标注哪些有成本或延迟风险;检查现有监控是"事后复盘型"还是"实时干预型";找一个最容易失控的场景,设计一个最小可行的熔断规则——比如"同一工具5分钟内调用超过50次,自动阻断并告警"。

不需要完美的架构。需要的是承认:代理会失控,而且通常在没人看着的时候。熔断器就是承认这一点之后,最务实的应对。

社区已经替你付过学费了。别让同样的账单,再出现在你的邮箱里。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
深圳2-0浙江晋级四强:贺希宁23分末节4三分 程帅澎25分史密斯3双

深圳2-0浙江晋级四强:贺希宁23分末节4三分 程帅澎25分史密斯3双

醉卧浮生
2026-05-10 21:44:46
人伦之乱,正在悄悄毁掉无数家庭!看完一身冷汗

人伦之乱,正在悄悄毁掉无数家庭!看完一身冷汗

三农老历
2026-05-08 19:20:12
大瓜!许家印昔日恒大奢靡细节流出,丁玉梅海外包养30岁白人小伙

大瓜!许家印昔日恒大奢靡细节流出,丁玉梅海外包养30岁白人小伙

壹月情感
2026-05-09 00:00:07
1935年,刘文辉如果炸了泸定桥,红军结果会怎样?他为什么没有炸

1935年,刘文辉如果炸了泸定桥,红军结果会怎样?他为什么没有炸

文史达观
2025-10-13 06:45:06
国家免费电视已开通!不用缴费,动手调好就能看

国家免费电视已开通!不用缴费,动手调好就能看

小柱解说游戏
2026-05-08 16:59:21
特朗普访华名单确定,国务卿鲁比奥也在其中,欲拿台湾问题做筹码

特朗普访华名单确定,国务卿鲁比奥也在其中,欲拿台湾问题做筹码

聚焦瞬间
2026-05-10 13:47:15
日媒:摆脱制裁开始反攻,华为海外恢复至七成,失去的正拿回来

日媒:摆脱制裁开始反攻,华为海外恢复至七成,失去的正拿回来

王新喜
2026-05-10 14:21:40
10-4!奥沙利文大胜登顶:打败2冠名将夺冠,创3纪录,获28万奖金

10-4!奥沙利文大胜登顶:打败2冠名将夺冠,创3纪录,获28万奖金

刘姚尧的文字城堡
2026-05-11 07:20:38
感谢卡塔尔!2-0赢球后,U17国足出线形势反转,拿3分=直通世界杯

感谢卡塔尔!2-0赢球后,U17国足出线形势反转,拿3分=直通世界杯

何老师呀
2026-05-10 14:07:37
今年俄罗斯胜利日阅兵,为何唯独朝鲜派兵参加?中国怎么没派

今年俄罗斯胜利日阅兵,为何唯独朝鲜派兵参加?中国怎么没派

刘振起观点
2026-05-10 16:05:00
打过科兴疫苗的朋友,最近一定要提高警惕!千万不要被骗!

打过科兴疫苗的朋友,最近一定要提高警惕!千万不要被骗!

网络易不易
2026-05-10 11:34:41
中考后只剩3条路,很多家长选错,孩子越走越累

中考后只剩3条路,很多家长选错,孩子越走越累

糖逗在娱乐
2026-05-11 08:47:59
孙颖莎3-0横扫张本!不愧是国乒一姐,谁注意她接下来的庆祝动作

孙颖莎3-0横扫张本!不愧是国乒一姐,谁注意她接下来的庆祝动作

体育就你秀
2026-05-11 09:06:34
NBA乐透抽签:垫底奇才抽中状元 步行者成最大输家

NBA乐透抽签:垫底奇才抽中状元 步行者成最大输家

体坛周报
2026-05-11 04:18:18
全球军队研究印巴507空战,发现最震撼细节,难怪印度不想打了

全球军队研究印巴507空战,发现最震撼细节,难怪印度不想打了

琴音似君语
2026-05-10 17:56:21
美军航母在霍尔木兹海峡沉没,CNN承认美国无法单独掌控中东

美军航母在霍尔木兹海峡沉没,CNN承认美国无法单独掌控中东

萧獻记录风土人情
2026-05-09 18:01:56
最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

周军律师聊案子
2026-04-21 09:50:16
“家人住院,暂停营业”,山东济南一烧肉店老板因儿子患病贴停业公告,顾客纷纷拒绝退费,还转账相助,店主:会重新开业,做好每一份烧肉

“家人住院,暂停营业”,山东济南一烧肉店老板因儿子患病贴停业公告,顾客纷纷拒绝退费,还转账相助,店主:会重新开业,做好每一份烧肉

极目新闻
2026-05-07 11:17:05
下一战天王山!文班遭驱逐,华子36分,森林狼114-109险胜马刺

下一战天王山!文班遭驱逐,华子36分,森林狼114-109险胜马刺

全景体育V
2026-05-11 10:24:55
文班亚马遭驱逐,生涯首次,引发争议,美国记者点评:这简直荒谬

文班亚马遭驱逐,生涯首次,引发争议,美国记者点评:这简直荒谬

萌兰聊个球
2026-05-11 08:55:34
2026-05-11 10:56:49
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
2429文章数 43关注度
往期回顾 全部

科技要闻

黄仁勋:你们赶上了一代人一次的大机会

头条要闻

牛弹琴:美伊又谈崩了 特朗普发飙美军出动数十艘军舰

头条要闻

牛弹琴:美伊又谈崩了 特朗普发飙美军出动数十艘军舰

体育要闻

那个曾让詹姆斯抱头的兄弟,40岁从大学毕业了

娱乐要闻

谢霆锋没想到,王菲靠张艺谋重返巅峰

财经要闻

"手搓汽车"曝光:伪造证件、电池以旧代新

汽车要闻

全球化成国内车企未来胜负手,谁是出海最强"水手"?

态度原创

房产
教育
亲子
手机
艺术

房产要闻

低价甩卖!海口这个地标商业,无人接盘!

教育要闻

家长的基本修养是“不拖后腿”

亲子要闻

探望缅甸孤儿院,愿世界和平,孩子们健康成长!

手机要闻

首台单核突破4000分大关的安卓手机:红魔11S Pro+跑分曝光

艺术要闻

三位神经科学研究者:年轻人的脑子太累了

无障碍浏览 进入关怀版