北京
OpenRouter编程流量的实测数据，把AI编码成本的老问题彻底翻了个面。Paul Kinlan用公开使用排名和一套可复现脚本，对OpenRouter API做了次流量解剖。结果发现，一个编程会话消耗的token中，93.4%都是输入，推理占2.5%，输出仅4.0%。这组数字出自Hacker News上一个471分的热帖，当时讨论的焦点正是各种输出压缩技巧。就算让模型闭嘴，能优化的也不过是那4%的问题。
有人坚信输出是成本黑洞。模型动不动就抛长篇说明，多轮对话里历史响应越滚越长，直觉上，砍输出就是省钱。CLAUDE.md这类指令文件方案，试图让回复更紧凑，把优化火力对准这4%。当你看聊天记录，多数眼睛也会落在AI生成的那一坨文字上，自然会觉得管住它的嘴就管住了钱包。
但流量解剖图摆在那里，93.4%的输入占比让另一方的论据硬得像石头。当一个编码智能体在真实项目里工作时，每次对话回合都在疯狂吸入上下文：读文件理解当前状态，构建输出、测试结果和错误日志被追加上去，工具调用的返回结果不断喂回来，上一轮整个响应作为历史原封不动向前滚动。一个中等规模代码库上的典型智能体会话，单次任务就能吞下数万甚至数十万个输入token，而模型吐出的答案只占其中零头。比例不是1:1，是50:1往上的倾斜。
输出压缩在这样一个50:1的问题面前，只针对了零头的4%。其他工具已经从不同角度切进了输入这一侧。RTK在GitHub上收获了70.4k颗星，是一个Rust写的命令行代理，它会截获发给模型的shell指令输出，重写成紧凑形态——剥离样板行、归并同类输出、截断长日志。它对git status、cargo test这些命令声称能砍掉60%到90%的token，覆盖范围涉及git、测试运行器、Docker、AWS等百余条命令。MemStack是一套为Claude Code设计的结构化技能框架，免费版和专业版加起来有125个以上的技能，技能按需加载，还包含了会话记忆和项目交接的能力，它解决的是另一个痛点：每次会话开头都要从零重新加载同一套项目上下文。claude-mem把智能体在一个会话期间的一举一动全部抓下来，用AI做压缩，再把相关上下文注入到未来的会话里，相当于给跨会话的持久记忆打了补丁。ORY的Lumen打的是本地语义搜索，智能体只拉取和当前查询最相关的代码片段，而不是整份文件。Headroom则是一个API代理，在请求载荷离开本机前施加通用压缩。
这些工具在功能上基本互为补充，但谁都没有去碰那个最根本的结构性问题：代码库本身，是作为原始文本被整块塞进去的。当智能体需要理解一个函数，典型做法就是把整个文件读进来。AST折叠和只加载必要代码片段的路子，还没有成为默认。这意味着你的代码库就是你最沉重的那笔上下文账单，而输出压缩连账单上的零头都抹不平。盯着4%费劲，不如回头看一看那93%里还能拆出多少重复和冗余。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
