北京
一个Coding Agent的模型调用账单，中位数从$2.88掉到$0.097，PR修复率没有变差。LangChain团队成员Sydney Runkle在开源项目Open SWE里做的这件事，关键动作不是换了更便宜的模型，而是把路由逻辑挪了个地方。
这个位置的选择，比路由策略本身更值得琢磨。
路由不放在网关层
常见的做法是在统一网关层做模型分发，请求进来，按规则丢给不同层级的模型。这套逻辑在通用API场景里跑得通，但放到Agent Harness里就有点钝。
Runkle的建议是把路由放进Harness内部。原因在于，只有Harness才知道当前这一步任务到底在干什么——是读文件、改代码，还是处理一个跨模块的复杂修复。网关层看到的是一个请求，Harness看到的是任务上下文和复杂度粒度。
感知不到粒度，分发就只能靠猜。
三档分发，顶级模型只吃一成任务
Open SWE里的做法是按任务难度划成三个等级：
- Fast：轻量任务，用便宜快速的模型
- Balanced：中等复杂度，走中间档
- Performance：只有约10%的复杂任务才需要顶级模型
这个比例是整套方案的成本支点。绝大多数请求并不需要最强模型，但如果没有分级，它们会一视同仁地消耗最贵的算力。
层级之间的成本差异可以拉到30倍。把九成任务从顶级模型上挪走，账单自然就下来了。
该省的省、该花的花
实验数据给出的结论很直接：在不影响PR修复率的前提下，中位数成本从$2.88降到$0.097。
质量没有为成本让路，这是这套方案能成立的前提。如果省钱省到修复率下滑，那路由就只是把问题从账单转移到了结果上。
Runkle抛出的问题也很实在——路由为什么要建在Harness里，不能建在网关层？答案藏在上下文里：任务难度的判断依据，只有贴近执行现场的那一层才拿得到。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
