你的代理被要求支付一张发票。支付调用卡了三十秒,工具返回超时。代理做了每个代理循环遇到错误都会做的事:再试一次。第二次调用两百毫秒就通了。代理报告成功,任务关闭,所有人继续干活。
三天后,供应商发邮件来问:为什么同一笔款付了两次?
这件事里没有任何一处是通常意义上的 bug。模型根据被告知的信息推理正确,工具如实报告自己停止等待,支付服务商处理了两个合法请求。故障就卡在这三件事之间的缝隙里,而它是当下代理系统里最普通的一种失败:AI 代理的重试,把"我不知道发生了什么"当成了"什么都没发生"。
超时只告诉你一件事
一次调用超时,调用方只学到确切的一条信息:它停止等待了。它不知道请求有没有到达对面,不知道对面有没有据此行动,也不知道动作是否已经完成、只是回执在返回路上丢了。这三种情况都很常见。最后一种——活干完了,确认信号死在半路——正是产生第二笔扣款的那一种。
分布式系统的工程师给这种情况起过名字。结果未知的请求处于"存疑"状态,安全的做法只有两个:查清发生了什么,或者让第二次尝试无害。HTTP 本身就划了这条线:RFC 9110 定义了哪些方法是幂等的,即发两次的效果与发一次相同,并指出只有这些方法才能在通信失败后自动重试。而一个创建支付的 POST,不在其列。
支付行业是吃过亏才学会的,所以成熟的支付 API 接受幂等键。Stripe 的文档把安排写得很直白:客户端生成一个唯一键,随请求发出,如果连接失败,可以用同一个键重复请求,而不会创建第二个对象。服务端记住第一次的结果,再把它返回一遍。
这个修复之所以存在,是因为人们已经一笔一笔重复扣款地被烧过。现在,代理正在每一个还没学会这堂课的工具上,重演当年的烧伤。
代理为什么让问题更糟
重试一个结果不明的请求并不新鲜。代理改变的是:谁来重试,以及重试时它知道得有多少。
重试上移了一层。在手写集成里,开发者按端点逐个判断重试是否安全,通常也只会判断错一次。在代理里,重试决定由一个只看到错误字符串的循环做出。这个循环不知道背后的工具是刷卡的还是读文件的。"出错就再试"对读取网页是合理默认,对转账就是危险默认,而循环对两者一视同仁。
模型还能靠改写来重试。即便框架不重试,模型往往也会。它读到"请求超时",断定动作失败,然后用略有不同的参数再发一次同样的动作。这些不同的参数恰好击穿了下游服务已有的去重检测,因为对服务来说这是一个新请求。一个贴心地给邮件标题加上"(重发)"的代理,等于保证了没有任何去重能拦住它。
重试会叠加。HTTP 客户端重试,工具层重试,框架重试工具调用,模型重试整个步骤。每一层单独看都合理,但没人对它们的乘积负责。四层、每层三次尝试,一个本意只做一次的动作最多会变成八十一次请求,而每一层的日志都只显示一次规规矩矩的重试。
记录上写着成功。被上报的是最后那次成功的尝试。第一次尝试——同样成功的那次——在代理对任务的叙述里无影无踪。这就是"静默重试"之所以静默的原因:系统自己讲的任务故事内部自洽,却是错的。代理没有隐瞒任何东西,它是真的不知道。
你会认出来的那些事故
支付是最典型的例子,但只要一个动作会改变外部世界,这个形状就会重复:
- 第二封邮件。发送超时,代理再发一次,客户收到两封本该措辞谨慎的消息。
- 重复工单。创建 issue 的调用卡住,重试成功,团队现在有两张评论串慢慢分叉的工单。
- 重叠部署。部署命令在边缘超时,而流水线还在跑,代理再次触发,两个 rollout 开始赛跑。
- 翻倍订单。采购代理重新提交采购单,供应商合理地发了两批货。
- 安静的重复行。插入超时,重试又插了一次,直到某张报表对这一列求和才有人发现。
这些都不需要恶意提示词或糊涂的模型。它们只需要一次缓慢的网络调用,和一个把沉默等同于失败的循环。
正确的安排应该是什么样
解法不是"永不重试"。网络会坏,一个遇到首次超时就放弃的代理毫无用处。解法是别再让知道得最少的那个组件来做重试决定。正确的安排有几个属性,没有一个依赖模型变得更聪明。
每个有后果的动作在运行前就有身份。支付这张发票、只付一次的意图,是一个在第一次尝试之前就存在、并贯穿后续每次尝试的东西。尝试是那个动作的尝试,不是新动作。这是幂等键的推广:不是一个某个 API 恰好支持的请求头,而是每个改变世界的动作都携带的属性,无论由哪个工具执行。
"未知"是一等结果。一个动作不是只有成功和失败两种状态,它至少有三种:已完成、未完成、存疑。超时产生的是存疑。存疑不是拿来重试的错误,而是一个待回答的问题,答案来自外部世界,不来自再试一次。
解决存疑靠对账,不靠重发。"我不知道这笔支付过没过"的正确回应是去看:查询支付记录、翻已发送文件夹、列出该标题下的未关闭工单。只有当核查表明动作没有发生,新的尝试才安全,而且新尝试携带与第一次相同的身份。如果核查做不了,正确的动作是停下来,告诉人这个结果存疑,而不是朝着昂贵的方向去猜。
重试策略取决于动作类型,不取决于错误字符串。读取可以重试;写入已知路径的文件通常可以重试;发送、支付、部署、删除不行,除非目标可证明具备去重能力。这个分类属于动作本身,一次定好,且不能被一个读到"超时"就觉得自己该更努力的模型推翻。
每一次尝试都要留痕,不只是成功的那次。如果第一次尝试在代理的任务叙述里没有留下任何痕迹,这个任务的历史就是虚构的。代理动作的收据只有在重复那次也拿到收据时才成立。
为什么这不是框架能修好的
上面每个属性都可以焊接到某一个框架上,服务于它自己的工具。不少优秀团队正在这么做,也确实有用。但静默重试是跨层问题,活在一层里的修复会继承那一层的盲区。
框架能给自己的工具调用去重,却看不到模型 shell 出去调用了同一个 API 的脚本。工具能携带幂等键,却拦不住模型换一个工具达成同样效果。模型供应商可以叮嘱模型小心重试,但指令不是控制,"小心点"是最软的那种指令。
能让动作身份、结果状态和重试策略对每一个动作生效的地方——无论这个动作由哪个应用、框架或模型产生——是每个动作都要经过的那一层,也就是操作系统层。不是因为操作系统是逻辑栖居的神奇之地,而是因为它是唯一能看到第二次尝试、并把它认成第一次的那个地方。
周一就能做的事
你不需要一套新操作系统来挡住最糟的部分。今天就可以:
- 盘点代理手里会改变外部世界的工具,标出哪些可以安全重试。大多数团队从没把这张清单写下来过。
- 在你控制的每一层,关掉不安全工具上的自动重试,让这些工具的超时以"存疑"呈现,而不是以错误呈现。
- 下游服务支持幂等键的地方就用上,并且按意图生成一次键,不是按尝试生成。
- 给代理一个重试前先核查的手段:每个重要的写工具,配一个读工具。
- 记录每一次尝试,包括那些看起来像失败的。
这些都是补丁,会随着工具增加而漂移。这正是把保证下移到一层的理由。但一个能挡住本季度第二张发票的补丁,比一场论证更值钱。
我们正在构建一套操作系统,让每个动作都有身份和诚实的结果,让"存疑"成为系统追踪的状态,而不是模型去解读的字符串。项目处于 alpha 阶段,我们不会声称已经堵死了通往重复的每一条路径。我们确定的是问题的形状:超时只告诉你,你停止了等待。任何把它当成更多信息的系统,最终都会付两次钱。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.