大多数AI编程助手用起来很快就变重。把打开的标签页、大文件树、几十个工具schema塞进每一轮对话,一个简单的编码请求很容易膨胀到3万到10万以上token,延迟跟着涨,API额度也跟着烧。
![]()
Sidekick Code AI的作者想验证的是相反的路子:如果把上下文检索收得又紧又可控,编辑器里的编程助手还能有多好用?
最近一次真实代码生成回合的追踪记录里,总token消耗是3.13K,完成时间约2秒。其中输入2.75K token,占88%,包括系统提示、用户请求和定向拉取的本地上下文;输出383 token,占12%,是聚焦的代码生成和下一步指引。
对自带密钥(BYOK)的工作流来说,把日常回合压在3K token左右差别很大:在中端模型上,一次请求花费不到两美分;在轻量模型上,花费只是十分之一美分的一小部分。
做到这一点靠三个决定。
- 本地索引,不整文件倾倒:默认不把整个文件或每个打开的编辑器标签塞进提示,而是在本地建索引,只拉当前请求真正相关的片段。
- 精简提示与schema开销:每一个没用上的工具定义、每一段啰嗦的系统指令,都会在每次调用时被token化。基础提示保持紧凑,用户还没开始打字,上下文就不会先胖起来。
- 定向、增量式修改:不让模型一口气重写大模块,而是把提示组织成一步步生成聚焦的改动,输出token压在300到500左右,延迟维持在2秒上下。
想在真实仓库里试的话,可以在VS Code的快速打开(Ctrl+P / Cmd+P)里安装:ext install alidendenne.sidekick-code-ai,或者在终端执行 code --install-extension alidendenne.sidekick-code-ai。
作者表示,正在根据真实开发者工作流持续打磨本地索引和上下文预算,遇到摩擦或边缘情况,欢迎在评论区给技术反馈。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.