网易首页 > 网易号 > 正文 申请入驻

韩国开发者用Rust重写ccusage:查询速度快1742倍

0
分享至

Claude Code和Codex的用户有个共同的烦恼:想知道自己烧了多少token,得付出明显的性能代价。一位韩国开发者最近放出了一个叫Toki的替代方案——查询速度提升1742倍,几乎零开销。

故事从他所在团队的"token燃烧排行榜"说起。同事们半开玩笑地比拼谁每周用的token最多,直到他们把统计工具挂进自动钩子,每次会话都跑一遍。笔记本电脑开始明显变慢,风扇狂转,体验急转直下。


问题出在ccusage的设计上。每次调用都要重新遍历~/.claude和~/.codex目录,从头解析所有JSONL会话文件,而且是单线程。后来有人用Zig写了个多线程分支,但照样每次重读所有字节,内存占用随输入线性增长。


OpenTelemetry架构更干净,但需要中央收集器,看不到设置之前的历史数据,对"只想看自己token用量"这个需求来说太重了。

Toki的名字是Token Inspector的缩写,也是韩语"兔子"(토끼)的意思。它是一个Rust守护进程,增量索引会话,用嵌入式LSM存储(fjall)作为时序数据库来提供报表。

架构类似Docker:一个守护进程负责摄取,多个客户端读取。启动后通过FSEvents/inotify监听文件变化,report命令即时查询TSDB,trace提供实时事件流,还支持类PromQL的查询语法。

需要说明的是,Toki本身才是ccusage的替代品。toki-monitor(macOS菜单栏应用)和toki-sync(可自托管的同步服务器)是可选的上层组件,不是独立的竞品。


在2GB会话数据集上测试(M1 MacBook Air,每次运行前执行sudo purge),warm query达到1742倍加速。守护进程平时保持静默,只有实际查询时才会感知到它的存在,而查询返回足够快,几乎察觉不到往返延迟。

报表查询的时间复杂度与数据集大小无关——它命中的是TSDB索引,而非源文件。这意味着2GB数据能有1742倍提升,随着历史数据增长,加速比还会继续扩大。

工程精力主要花在JSONL管道上。冷启动用mmap配合Rayon并行遍历会话文件,没有token用量字段的行在serde解析前就被跳过——大部分JSONL行(思考块、纯文本内容)本来就不含用量数据,这一层过滤收益显著。

对于确实包含用量的行,serde解码器配置为跳过除token计数外的所有字符串字段。提示词、响应内容、思考块永远不会被分配内存。隐私保护来自解析器的设计,而非事后政策——这在处理大文件时也是实实在在的速度优势。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国客人已抵达北京,开口就要中国采购波音,王毅把丑话说前头

美国客人已抵达北京,开口就要中国采购波音,王毅把丑话说前头

丁丁鲤史纪
2026-05-08 18:17:50
韩乒教练:对比中日球速依旧不足,需要提升衔接速度与细腻球路

韩乒教练:对比中日球速依旧不足,需要提升衔接速度与细腻球路

懂球帝
2026-05-09 00:11:04
曹德旺关闭8.84亿美厂:美国不讲理,不再陪玩

曹德旺关闭8.84亿美厂:美国不讲理,不再陪玩

最新声音
2026-05-07 07:04:47
亏损3900万的服装厂靠吴宜泽一夜逆袭,金利来借此实现盈利转机?

亏损3900万的服装厂靠吴宜泽一夜逆袭,金利来借此实现盈利转机?

户外钓鱼哥阿旱
2026-05-08 13:35:15
两任国防部长判死缓,今天不得不提这个人了。

两任国防部长判死缓,今天不得不提这个人了。

华人星光
2026-05-08 11:04:21
下赛季中国将举办7站斯诺克比赛,数量创历史新高

下赛季中国将举办7站斯诺克比赛,数量创历史新高

懂球帝
2026-05-08 13:43:15
最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

周军律师聊案子
2026-04-21 09:50:16
4.9万辆配额先到先得,中国车企抢滩加拿大

4.9万辆配额先到先得,中国车企抢滩加拿大

薛定谔的BUG
2026-05-07 22:28:06
访华仅剩8天,美国抛出1890亿美元,中方底牌亮了

访华仅剩8天,美国抛出1890亿美元,中方底牌亮了

爱看剧的阿峰
2026-05-08 17:01:38
何庆魁女儿去世,年仅54岁,哥哥亲口证实噩耗,父亲外出捕鱼散心

何庆魁女儿去世,年仅54岁,哥哥亲口证实噩耗,父亲外出捕鱼散心

东方不败然多多
2026-05-08 16:49:12
离婚1年后,女子再次思念前夫,发了句“在干嘛”,他立马回复:你要是再多说一句话,明天我就找你复婚!

离婚1年后,女子再次思念前夫,发了句“在干嘛”,他立马回复:你要是再多说一句话,明天我就找你复婚!

品读时刻
2026-05-08 09:09:58
7800亿!蓝白联手三读通过军购案,绿营弃权抗议!

7800亿!蓝白联手三读通过军购案,绿营弃权抗议!

聚焦真实瞬间
2026-05-09 00:12:25
登机前,特朗普向31国抛出一个问题:若和大国谈崩了,北约帮不帮

登机前,特朗普向31国抛出一个问题:若和大国谈崩了,北约帮不帮

共工之锚
2026-05-09 00:03:19
乾隆皇帝包裹遗体的被子,拍出了1.3亿天价,为何会如此值钱?

乾隆皇帝包裹遗体的被子,拍出了1.3亿天价,为何会如此值钱?

兴趣知识
2026-05-08 00:40:30
刘楚恬:2岁出道年入百万,因长相甜美被禁止整容,如今长什么样

刘楚恬:2岁出道年入百万,因长相甜美被禁止整容,如今长什么样

蹲坑看世界
2026-05-07 15:09:16
特朗普即将访华,启程前提了个要求,向中方点名要这个人

特朗普即将访华,启程前提了个要求,向中方点名要这个人

带你领略世界风采
2026-05-08 18:05:23
外交部:奉劝巴拉圭当局早日站到历史正确一边

外交部:奉劝巴拉圭当局早日站到历史正确一边

环球网资讯
2026-05-08 16:11:17
中方关键时刻伸出援手,给生死存亡的老杜家族,送出了一丝希望

中方关键时刻伸出援手,给生死存亡的老杜家族,送出了一丝希望

娱乐圈的笔娱君
2026-05-08 13:54:28
大瓜!许家印昔日恒大奢靡细节流出,丁玉梅海外包养30岁白人小伙

大瓜!许家印昔日恒大奢靡细节流出,丁玉梅海外包养30岁白人小伙

壹月情感
2026-05-09 00:00:07
锁死海峡!阿联酋突袭伊朗,埃及阵风战机驰援:伊朗遭遇凶险包围

锁死海峡!阿联酋突袭伊朗,埃及阵风战机驰援:伊朗遭遇凶险包围

知法而形
2026-05-08 16:39:04
2026-05-09 00:59:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
2299文章数 22关注度
往期回顾 全部

科技要闻

SK海力士平均奖金600万 工服成相亲神器

头条要闻

外籍银行高层在香港豪宅性虐及杀害两女子 内幕解密

头条要闻

外籍银行高层在香港豪宅性虐及杀害两女子 内幕解密

体育要闻

他把首胜让给队友,然后用一年时间还清账单

娱乐要闻

古天乐被曝隐婚生子,新娘竟是她

财经要闻

估值3000亿 DeepSeek寻求500亿元融资

汽车要闻

MG 4X实车亮相 将于5月11日开启盲订

态度原创

亲子
家居
游戏
手机
公开课

亲子要闻

家长的五个坏习惯,可能影响孩子一生!

家居要闻

流动的尺度 打破家的形式主义

PS未发售重磅独占要完!同类项目崩盘 新作悬了

手机要闻

小米超大屏旗舰杀回来了!小米17 Max入网配置全曝光,价格很香

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版