砍掉64%成本：LangChain把模型路由器塞进了Agent里

前沿大模型依然昂贵。当Agent变得无处不在、以巨大规模运行时，这种成本是难以承受的。好在大多数Agent并不需要每个任务都动用前沿级智能。模型厂商自己也这么说：Anthropic的模型选型指南指出，"对许多应用来说，从一个更快、更具成本效益的模型起步可能是最优解"。

越过某个点之后就是收益递减：更强的模型带来的质量提升微乎其微，成本和延迟却持续攀升。一个好的Agent讲究"模型—Harness—任务"的匹配，也就是用对的模型、配上对的上下文去处理给定的任务。模型路由器负责为每个任务挑出那个模型。LangChain认为，这个路由决策应该属于Agent Harness，而不是一个通用网关，因为选对模型需要领域和任务上下文，而这些上下文Harness本来就已经组装好了，通用网关通常拿不到。

LangChain最近就感受到了这个痛点——月度编码Agent支出开始快速攀升。从客户那里也听到同样的担忧后，他们决定为开源编码Agent项目Open SWE构建一个有效的模型路由器。相比此前"永远调用顶级前沿模型"的基线，它把每个线程的中位成本砍掉了64%，质量没有可测量的变化。

第一步：先搞清楚任务长什么样

测试床就是Open SWE本身。工程师们从Slack和网页界面使用它，向代码库提问、请求代码改动。动手建路由器之前，得先弄明白开发者到底拿它干什么。

他们从LangSmith的trace里拉出线程级数据：进来的请求类型，加上每个线程的成本和轮次数，作为复杂度的粗略度量。探索工作是在LangSmith Custom Apps里做的，基于Open SWE的trace搭了个小界面。

取一周的交互线程，用LLM分类器给每个线程打上任务类型标签。LangSmith Insights也能替你在trace上做这类分组。结果里代码改动占了大头：

• 新功能：22%
• Bug修复：17%
• 测试或无操作运行：16%

这些类别是基于每个线程标题和元数据的启发式划分。他们还进一步看了不同任务类型下Agent trace特征的差异：与功能开发调研相关的线程往往更长，成本和轮次中位数都更高；与测试和发布流程相关的线程则相对短而便宜。

判断"复杂度"时，他们同时用了总成本和调用次数两个信号。成本比较直接地反映复杂度，因为更大的任务消耗更多token；调用次数则更微妙，高计数可能意味着任务更难，也可能意味着模型需要多次追问才能完成。

数据收集时，所有Open SWE线程都走的是顶级前沿模型。上面这些数据说明，考虑到复杂度的分布范围，Open SWE处理的许多任务可能并不需要前沿智能。

任务复杂度的这种差异，引出了一个值得验证的假设：路由器可以从初始请求中推断任务类型和难度，把它发给更便宜或更快的模型，而不降低结果质量。

第二步：把模型摸清楚

Artificial Analysis Intelligence Index用一套共同任务给模型打分，并报告每个任务的成本，这样就能把它们全部画到一条"智能对成本"的曲线上。帕累托前沿就是那些又便宜又聪明的模型集合。

他们沿着这条曲线选了三款模型，各自在成本、速度和智能上有不同的平衡：

• 快速档：GLM-5.3-Flash（xhigh）
• 均衡档：GPT-5.6 Sol（medium）
• 性能档：GPT-6 Astra（low）

他们从不同厂商选模型，快速档是一个开放模型。GLM-5.3-Flash坐在帕累托前沿上，紧挨着闭源模型，这再次说明开放模型已经跨过了一道门槛。LangChain是模型无关的，有一套通用模型接口，在不同厂商之间用法一致，所以当更好的模型出现时，换进路由器只是一行代码的改动。

第三步：把路由器建在Harness里

任务构成摸清了，三个档位也选好了，接下来就要把任务匹配到模型：读取每个进来的请求，把它发给能成功处理的最便宜档位。在LangChain里，这个决策天然适合放在middleware里，它可以在不改变Agent其他任何部分的情况下替换Agent调用的模型（参见动态模型选择）。

Open SWE里的路由器跑在线程的第一条人类消息上，由三部分组成：

• 基础提示词：告诉分类器它的职责——挑出最有可能完成任务的最便宜模型。
• 各档位的标准：用简短平实的语言描述每个档位该承接的工作。
• 分类器模型：读取请求，按标准和提示词挑出一个档位。

通用基准只是一个起点。每个档位的标准要写自两个来源：你自己的任务分析，以及各家厂商对其模型擅长领域的说明。他们把第一步的任务拆解，与GPT-5.6 Sol、GPT-6 Astra和GLM-5.3-Flash的厂商指南结合起来，写出基础提示词和每个档位的标准。