北京
一个团队上个季度上线了200个内部智能体，月底账单落在2,011,438次工具调用上。财务照例问了一句："哪个模型在吃我们的预算？" 直觉答案是"当然是那个最强的前沿模型"。但这个答案是错的。而它为什么错，恰好说清了智能体系统到底是怎么花钱的。 **钱花在最无聊的中间环节** 智能体循环里的大部分token开销，并不在你想象中的那个高难度推理步骤上。它花在无聊的中间环节： - 一段60行的检索代码，把模型已经看过的文档重新格式化一遍； - 两个工具之间的JSON结构转换； - 每次动作前都要跑一遍的"下一步该用哪个工具"分类器； - 一段没人会读的对话记录，还要再过一遍摘要。 这些环节都不需要前沿模型。它们只需要一个模型——一个便宜的、被路由到那个具体子任务的模型。但智能体被接成了整个循环共用一个"默认"模型，于是每个子任务都在按前沿模型的价格付费。 团队实测了一下：大约80%的账单来自那些在更小模型上只花约1/20成本就能过质量线的子任务。 **这是路由问题，不是提示词问题** 这个问题不是靠一个更聪明的系统提示词能解决的。解决办法是让子任务边界对路由器可见。 不再是给智能体指定一个前沿模型，而是让每个子任务声明自己需要什么：检索上下文只需要嵌入查找能力，路由到便宜的小检索模型；判断下一个工具只需要轻量分类能力，路由到极小极快的分类模型；只有合成答案这一步才需要前沿推理能力，路由到前沿模型。 路由器挑选的是能过最低能力线的最便宜模型。智能体的行为不变，账单变了。 整个流程可以画成一条链：子任务发出，进入路由器，按能力标签分别流向小检索模型、迷你分类器或前沿模型，三者都把结果写进一份按步骤记录的账本，账本再判断是否符合PDPA要求——符合就在新加坡托管区域提供服务，不符合就路由到合规区域。 **按步骤归因成本，是缺失的另一半** 路由只有在你看得见它的时候才有用。大多数团队只有一行账目："大模型"。这恰恰把问题藏起来了——财务看到的是一个数字，而不是一个决策。 把成本挂到每个子任务上，而不是每个请求上。路由函数先算出能过最低能力线的最便宜模型，再用每千token价格乘以该子任务的预估token量，把子任务名称、模型、成本写进账本，最后返回这个模型。 这样一来，账单就能按能力层级来读："检索花了多少，分类花了多少，合成花了多少。"当合成那一项膨胀时，你就知道该攻哪个子任务，而不是该怪哪个模型。 **成本与合规，收敛在同一层** 让团队意外的是：路由器同时也是数据驻留规则必须待的地方。有些子任务会碰到受监管的客户数据，即便更便宜的模型在别处，这些子任务也必须留在符合PDPA、由新加坡托管的区域里。 于是同一个路由层，既砍了账单，也执行了司法辖区要求。成本优化和合规不再是两场分开的会议，它们变成了同一个配置块。 这才是真正的解锁点：路由层不是那种你忍着接受的基础设施，它是你的成本和你的约束被表达成代码的地方。 最后留一个问题：如果你把智能体循环里的每个子任务，都映射到能过其质量线的最便宜模型上，你现在的账单还能剩下多少？ 没有工具要卖，没有链接要点。只有这一句：大多数智能体账单，其实是伪装起来的路由账单。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
