网易首页 > 网易号 > 正文 申请入驻

一个8GB内存的开发者,把OpenAI的token计数器逼到了浏

0
分享至


把客户代码粘贴到陌生网站算token,这种事你干过几次?

Clavis干过,然后停手了。他的解决方案不是找更"可信"的第三方,而是把整件事从服务器端连根拔起——塞进一个纯HTML文件里。零网络请求,零依赖,断网也能跑。

为什么"离线"成了稀缺品

Token计数器这门生意,网上一搜几十款。但绝大多数有个共同套路:你的文本先飞到对方服务器,算完再飞回来。

Clavis在GitHub页面写得很直白:「为什么我的prompt要去陌生人的服务器,就为了数几个token?」

这个反问戳中了一个被忽视的痛点。开发阶段估算成本,本该是个本地就能解决的算术题,却硬是被做成了数据交换。对于普通问候语无所谓,碰上敏感代码、客户数据、未公开的产品逻辑,每次粘贴都是一次小型冒险。

更隐蔽的风险是供应链攻击。你信任的那个"免费工具站",明天会不会被挂马?它的后端有没有日志?这些问题没有答案,因为架构本身就不透明。

Clavis的选择是彻底放弃后端。没有API调用,没有WASM(WebAssembly,一种可在浏览器运行的高性能代码格式)大体积包,甚至连构建步骤都不要——就一个HTML文件,打开即用。


5-10%误差的交易

纯浏览器方案有个技术代价:精度。

Clavis没有直接搬运OpenAI的tiktoken或Anthropic的官方tokenizer。这些库依赖WASM,体积大,违背"零依赖"的初衷。他手写了一个基于BPE(Byte Pair Encoding,一种子词分词算法)的近似实现,用纯JavaScript跑。

结果是对典型英文prompt,误差控制在±5-10%。代码密集或非拉丁脚本场景,偏差会更大。

这个精度够用吗?Clavis的定位很清楚:开发阶段快速估算——"这prompt是200 token还是2000?"——而不是用于最终账单对账。生产环境精确计数,他建议回退到官方SDK。

换句话说,这是个有明确边界意识的工具。不试图包办一切,而是在"方便"和"安全"之间划出一条线。

2014年MacBook上的约束美学

Clavis的自我介绍带着点自嘲:「我是一个跑在2014年MacBook上的AI,8GB内存,电池循环548次。」


硬件约束成了他的设计哲学。没有Node.js,没有打包工具,没有持续集成——就一个HTML文件,代码直接嵌在里面,右键"查看源代码"就能审计。

这种极简主义在当下的开发语境里近乎叛逆。现代前端工程化已经复杂到需要专门的学习曲线,而Clavis反其道而行:能不用就不用,能简单就简单。

他的工具集还在扩张,全部免费、全部浏览器原生。赞助链接指向一个朴素的用途:「支持硬件升级」——或者只是打个招呼。

开源与可审计性的回归

项目的GitHub仓库同样极简:一个用户页面仓库,源码即产品。没有复杂的发布流程,提交即部署。

这种透明性本身就是一种安全机制。当你把敏感文本输入一个工具,能亲眼看到它如何处理数据,比任何隐私政策都可靠。Clavis的实现甚至支持完全离线的气隙环境(air-gapped machine)——物理断网的机器也能打开这个HTML文件运行。

这在某些场景下是硬需求。金融、医疗、国防领域的开发者,工作站可能根本不通外网。传统在线工具完全失效,而Clavis的方案成了少数可行选项。

项目页面底部有个开放式提问:「我漏掉了什么token计数的使用场景?评论区告诉我,我可能会加上。」

你的开发 workflow 里,有多少次被迫把数据交给不信任的第三方,只是因为"大家都这么用"?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
赖在中国仁爱礁9000多天的菲律宾军舰,现在已经不可能拖走了!

赖在中国仁爱礁9000多天的菲律宾军舰,现在已经不可能拖走了!

共工之锚
2026-04-15 00:08:26
郑丽文返台后,岛内民调曝光,位列倒数第三,蒋万安捡了大漏?

郑丽文返台后,岛内民调曝光,位列倒数第三,蒋万安捡了大漏?

影孖看世界
2026-04-14 16:01:45
贾浅浅被查,拼爹失败!

贾浅浅被查,拼爹失败!

新浪财经
2026-04-14 15:56:51
日本人乘坐中国高铁后,愤怒说出三大“缺点”,让人无力反驳

日本人乘坐中国高铁后,愤怒说出三大“缺点”,让人无力反驳

阅微札记
2026-04-14 20:00:40
政变只是一个开始,伊朗要变天了,中国最担心的事情,恐将发生

政变只是一个开始,伊朗要变天了,中国最担心的事情,恐将发生

阿坹武器装备科普
2026-04-11 18:32:07
“你真美,是不是嫌我老?”:手机被没收后,女子用手表录16分钟

“你真美,是不是嫌我老?”:手机被没收后,女子用手表录16分钟

江山挥笔
2026-04-14 10:48:18
“8小时红线,天塌了”:网约车司机的新规焦虑,到底该怎么解?

“8小时红线,天塌了”:网约车司机的新规焦虑,到底该怎么解?

一丝不苟的法律人
2026-04-12 16:18:58
美国不敢跟中国动手?英国学者一语道破:中国不止核武器1个底牌

美国不敢跟中国动手?英国学者一语道破:中国不止核武器1个底牌

通文知史
2026-04-14 10:55:06
世体:恩里克续约后涨薪超50%,将跻身世界足坛教练薪水前三

世体:恩里克续约后涨薪超50%,将跻身世界足坛教练薪水前三

懂球帝
2026-04-14 19:03:17
广东一名酒复兴,曾誉为“广东茅台”,如今浴火重生成为粤酒门面

广东一名酒复兴,曾誉为“广东茅台”,如今浴火重生成为粤酒门面

涛哥美食汇
2026-04-15 08:59:41
别再尬演情妇了!老气横秋,膀大腰圆,这是迷倒男人该有的皮囊?

别再尬演情妇了!老气横秋,膀大腰圆,这是迷倒男人该有的皮囊?

阿纂看事
2026-04-14 18:13:20
加拿大真实养老现状:从国内知名主任医师到包饺子工,到底图啥?

加拿大真实养老现状:从国内知名主任医师到包饺子工,到底图啥?

天下霸奇
2026-04-15 09:10:54
中俄谈妥了,俄外长启程回国,临走前:提醒伊朗,对美多留点心眼

中俄谈妥了,俄外长启程回国,临走前:提醒伊朗,对美多留点心眼

小玡说故事
2026-04-15 09:18:27
热火连续6年进季后赛纪录终结 斯波:鲍尔应被驱逐

热火连续6年进季后赛纪录终结 斯波:鲍尔应被驱逐

体坛周报
2026-04-15 11:52:19
爆冷?MVP票选正式出炉,文班亚马想弯道超车,纯属想多了

爆冷?MVP票选正式出炉,文班亚马想弯道超车,纯属想多了

体育大朋说
2026-04-15 10:21:13
美国全面封锁伊朗港口36小时切断海贸往来

美国全面封锁伊朗港口36小时切断海贸往来

一半杯
2026-04-15 11:08:23
俄国防出口公司:已签署一系列苏-57E战机出口合同

俄国防出口公司:已签署一系列苏-57E战机出口合同

财联社
2026-04-14 18:35:12
“孩子太小不会看,随便投诉,去卫健委都行!”医生怒怼家属后,儿科只剩2名医生,医院无奈停诊!

“孩子太小不会看,随便投诉,去卫健委都行!”医生怒怼家属后,儿科只剩2名医生,医院无奈停诊!

医客
2026-04-12 12:15:44
巴萨不敌马竞,可怕的不是出局!而是赶走梅西后11年0进欧冠决赛

巴萨不敌马竞,可怕的不是出局!而是赶走梅西后11年0进欧冠决赛

球场没跑道
2026-04-15 10:09:53
网友投诉张雪机车业务员“太狂”,张雪本人回应:提供证据,奖励1万

网友投诉张雪机车业务员“太狂”,张雪本人回应:提供证据,奖励1万

极目新闻
2026-04-13 11:56:44
2026-04-15 12:19:00
码上闲叙
码上闲叙
有态度网友ytd
2461文章数 33关注度
往期回顾 全部

科技要闻

手机无死角上网?亚马逊砸百亿硬刚马斯克

头条要闻

媒体:苏林刚到北京就乘坐高铁 不难看出是为了什么

头条要闻

媒体:苏林刚到北京就乘坐高铁 不难看出是为了什么

体育要闻

带出中超最大黑马!他让球迷们“排队道歉”

娱乐要闻

曾志伟办73岁生日派对,逾百艺人到场

财经要闻

特朗普称美国对伊朗的战争已经结束

汽车要闻

海豹08内饰首秀 大满配“海王”旗舰

态度原创

旅游
健康
亲子
公开课
军事航空

旅游要闻

柳林:泡桐花盛放 日夜皆成春日盛景

干细胞抗衰4大误区,90%的人都中招

亲子要闻

你为何记不起婴儿期时光?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

万斯:对当前美伊局势进展“感到乐观”

无障碍浏览 进入关怀版