三杠杆削减Token开销：机制与边界

```html 三杠杆削减Token开销：机制与边界 三杠杆削减Token开销：机制与边界

一台机器上跑着一队通宵编码智能体。它们每一轮都把整段对话记录重新发给模型供应商，一遍一遍地读，一遍一遍地按全价计费。真正烧钱的不是那些聪明的推理环节，是这种反复重读。

一个编码智能体每轮都要回放完整对话记录。再加上一个待探索的代码仓库和若干工具输出，单次会话就可能携带十万级 token 的上下文，模型反复以全价读取。你付费的前沿模型，把大部分昂贵的注意力预算花在了它已经看过的文本上，或者花在了本该由更便宜的模型先过滤掉的文本上。

有三个杠杆已经在生产环境跑起来：让便宜模型先做摘要、把昂贵推理只放在真正值钱的位置、让每个请求都经过一个知道各条通道价格的代理。每个杠杆都附带一个不打算隐藏的前提——测的是机制，不是端到端的节省。下面的算术用的是公开价格和自己的日志，只能当示意，不是账单。

杠杆一：先搜索，让便宜模型做摘要

给前沿模型喂上下文，最贵的方式是把原始搜索结果直接塞过去，最便宜的方式是让一个小模型先读一遍。

流程是这样：本地搜索工具从代码库或知识库里检索候选片段，在这些片段进入前沿模型会话之前，一个成本更低的模型先把它们合成为一段紧凑答案，并附上可回溯到源头的确定性引用。昂贵模型收到的是这段摘要，加上它可能需要重新打开的少数引用，而不是十段近乎重复的节选。

在一次实测运行中，原始片段内容为 505 个字符，带来源位置的证据为 1,108 个字符，合成后的答案文本为 440 个字符：前沿模型收到的上下文约为原本要喂给它的 40%，并且带着可按需重新打开的引用。

两个需要说清的前提。第一，测的是字符不是 token，命令行工具不暴露 token 用量，这个比例只能当方向看。第二，收益取决于交接的形状——包含全部十条引用的完整答案对象实测为 1,918 个字符，整包转发出去，节省就蒸发了。只传摘要加上验证所需的引用，别的不传。

杠杆二：把昂贵推理放在 V 的两端，不放中间

第二个杠杆不是工具，是生命周期决策：让模型的价格匹配工作阶段。

把智能体的工作组织成 V 模型。左侧问“该造什么”（调研、设计、规格），右侧问“造对了吗”（评审、验证、评审团）。漫长的中间段（实现、写测试、机械验证循环）是 token 烧得最多的地方，恰恰也是最不需要推理深度的地方。

于是模型放置被拆开：两端用昂贵模型，调研综合、架构决策和最终评审留在高推理通道，因为一个糟糕的计划或一次走过场的评审，代价比省下的 token 更高；中间跑快速交付模型，实现和测试循环走 grok、MiniMax 或 Kimi 高速通道的包月订阅。通宵智能体跑在订阅模型上，评审团跑在 Kimi K2.5 上，每次评审约九秒，与人类评审的判定一致率达到 90%。

这笔账值得算一次。按公开 API 价格，一个示意性负载——1 亿输入 token 加 2000 万输出 token——全部跑在前沿模型上是 800 美元。把其中 80% 转到中端模型，同样的 token 量变成 480 美元：少 40%，模型数量不变。这是按公开价格做的反事实推演，不是实测账单，但节省的形状是真实的：你不是为更少的 token 付费，而是为不需要前沿推理的阶段付更低的单价。

难点在纪律。放任不管，智能体会从头到尾用同一个模型。阶段必须被显式定义，所以这个杠杆只在结构化的生命周期里成立，在自由运行的会话里不成立。

杠杆三：在供应商前面放一个代理

第三个杠杆让便宜路线成为默认：在智能体和每个供应商之间放一个 LLM 代理，按请求内容或各通道当前速度来路由。

代理跑在 localhost，暴露 OpenAI 和 Anthropic 兼容端点，决定每个请求去哪里：

• 关键词路由。代理用 Aho-Corasick 字符串匹配把提示词内容对照一份 markdown 分类表，开销在微秒级。一句“逐步思考这个架构”的提示词会被路由到思考链，不管客户端请求的是什么模型 ID。日志里连续三个请求落在三个不同供应商、三种不同场景下，对客户端完全透明。
• 速度与价格路由。候选通道可以按首 token 时间排序，也可以按成本等级排序：先免费通道，再订阅，最后按量计费。每个场景自己选延迟优先还是价格优先。智能体等限流干耗的时间是真实成本，只是用小时而不是 token 计费。
• 回退链让便宜通道变得安全。便宜供应商有真实的可靠性缺口：静默的 API 格式变更、没有文档的容量错误、从欧洲访问时更高的延迟。用竖线分隔的回退链意味着一个供应商挂了，请求就移到下一个目标。这一点用故意注入故障来验证——把主供应商的域名在 hosts 文件里指向 localhost——而不是信任配置。

有一个意外发现：提示词缓存是按模型算的，不是按会话算的。在真实编码会话中实测，82% 的会话中途切换模型把缓存读取量压到了此前数值的 10% 以下：一段预热的 107,000 token 前缀变成了 110,000 token 的未缓存输入，同样的文本，价格约为缓存价的十倍。所以节省的模式是按会话或按场景路由，不是每一轮随机切。给任务挑一条通道，然后待在上面。

不声称的部分也得说清楚

token 节省没有做端到端测量：摘要那个例子测的是字符不是 token；模型混用的例子是按公开价格算的算术，不是发票；82% 的缓存崩塌数字来自单个运维者的会话日志，不是集群基准。诚实的指标是每个被接受任务的质量调整后成本，而报告这个指标的埋点还在建。

能声称的是机制：在昂贵模型读取之前先过滤的检索，把推理预算花在判断所在位置的生命周期，以及在转发请求之前先给通道定价的代理。这三样都不需要你相信某个基准，而且今天都在跑。