网易首页 > 网易号 > 正文 申请入驻

同一句话贵68%:GPT-5对斯洛伐克语的隐形加价

0
分享至

斯洛伐克语用户向GPT-5发一句提示词,账单比英国用户发同样一句话高出约68%。不是汇率问题,是模型切分文本的方式不同。


发现这件事的过程很朴素:发票金额和草稿纸上的估算对不上。英文基准和价目表说一套,斯洛伐克语提示词的账单说另一套。于是有人停止猜测,开始实测——同样的1,012个句子、204种语言、35个分词器,结果整理成“Token税指数”。

核心结论先摆出来:

  • 在GPT-4o、GPT-4.1和GPT-5背后的分词器上,斯洛伐克语所需token是英语的1.68倍;在2023年的GPT-4分词器上是2.13倍
  • 35个分词器的中位数是1.81倍。主流模型中最好的是Llama 4,1.56倍;最差的是Falcon 3,2.27倍
  • 只有欧洲语料训练的分词器接近持平:EuroLLM为1.35倍,Teuken为1.41倍。斯洛伐克语原生分词器SlovakBERT为0.77倍,比英语还便宜。差距是选择,不是物理规律。
  • 斯洛伐克语并不特殊。在GPT-5的分词器上,204种语言里有161种至少付出1.5倍,42种达到2倍以上。桑塔利语是13.7倍

“贵68%”落到实际使用上是三件事同时发生。钱:每月1000欧元的英文负载,在GPT-5上换成斯洛伐克语是1680欧元,Claude Sonnet 4.6上是1800欧元,Qwen 3上是2070欧元,提示词和回答都一样。上下文:128k窗口装的是128k token而不是词,斯洛伐克语下文档、RAG分块和聊天记录大约少装40%的词,模型更早“忘事”。延迟:输出逐token生成,同样内容的斯洛伐克语回答要多走1.6到2倍的步数,流式输出肉眼可见地慢,用户往往先注意到这个,再注意到账单。

更扎心的一点:按原始UTF-8字节算,同样文本斯洛伐克语只比英语长9%。语言本身不长,是分词器不认识它。

分词器是从训练文本里建出来的压缩词典。BPE扫描数十亿句子,把出现频率足够高的片段收进词表。英语在互联网上积累了三十年的文本量,词典里塞满“the”“ing”“tion”和整词。在GPT-5的分词器上,一个英语token平均4.9个字符,一个斯洛伐克语token平均2.9个字符。

斯洛伐克语在三个具体环节上雪上加霜:变音符号(č š ž ť ď ľ ň ô ä)各占两个字节,如果分词器没把“ľudí”学成一个整体,可能切成ľ+ud+í,第一段甚至是双字节字符的单个字节;屈折变化多,英语有house和houses,斯洛伐克语有dom、domu、domov、domy、domom、domami、dome,每个形式都是分词器必须见过足够多次才能记住的独立字符串;语料里斯洛伐克语不够多,这是真正的原因——网络足迹约两倍的捷克语在同一分词器上比斯洛伐克语好几分(GPT-5上1.60倍对1.68倍),使用者四倍的波兰语是1.64倍。税跟着训练文本量走,不跟语言难度走。

好消息在GPT这条线上。OpenAI 2023年的分词器(cl100k_base,GPT-4/3.5)对斯洛伐克语收2.13倍,2024年的(o200k_base,GPT-4o到GPT-5)收1.68倍。词表翻倍到20万条,给斯洛伐克语打了21%的折扣,没人专门宣布过。Anthropic走了同一条路:Claude 2是2.25倍,Sonnet 4.6是1.80倍,5.5系列是1.58倍。

坏消息在人们为了省钱而自托管的开源权重模型里。Qwen 3(2.07倍)、Kimi K2(2.01倍)、DeepSeek V3(1.91倍)对斯洛伐克语都比GPT-5更差。模型本身很优秀,分词器是为中文和英文建的。拿它们跑斯洛伐克语,“便宜”的模型每句话要多花约四分之一的算力,比你想替换掉的API还贵。

托管模型的分词器改不了,能改的是发过去的东西:选模型前先把这笔税算进预算,每百万token的价格乘以自己语言的比率,便宜20%但分词器差25%的模型并不便宜;系统提示词和工具schema保持英文,它们每次调用都发出去,是提示词里语言唯一可控的部分,用户文本可以是斯洛伐克语,那800 token的指令块不必是;RAG分块按token而不是字符来定大小,用真实分词器量,按英文文档调的切块器在斯洛伐克语上会溢出;优先用更新的分词器家族,还停在GPT-4时代或Llama 3时代部署的,换到20万词表的模型是15%到20%的成本下降,质量不妥协;自托管先试EuroLLM和Teuken,它们是特意用中欧文本训练的,也是斯洛伐克语下仅有的低于1.5倍的两个。

测量方法:语料用FLORES-200 devtest,1,012个来自维基百科的句子,经专业翻译成204种语言,每种语言承载完全相同的信息。每套语料过每个分词器,比率是该语言总token数除以英语总token数,附bootstrap 95%置信区间。商业分词器(OpenAI、Anthropic)通过官方库或token计数端点,开源模型通过Hugging Face分词器。代码在MIT协议下开源,数据有DOI,任何人都能复跑。

有一个提醒需要说清楚:分词器更便宜不等于模型更好。Teuken压缩斯洛伐克语很在行,回答仍然不如GPT-5。比率告诉你每句话付多少钱,不告诉你拿回来什么。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
郎平接受鲁豫专访,自曝颈椎、髋关节、膝关节全都换了;现在是钓鱼高手,从不“空军”;盛赞在《夺冠》中演郎平的巩俐“演得非常像”

郎平接受鲁豫专访,自曝颈椎、髋关节、膝关节全都换了;现在是钓鱼高手,从不“空军”;盛赞在《夺冠》中演郎平的巩俐“演得非常像”

极目新闻
2026-11-20 19:43:20
俄乌炸桥冲突再升级,相关谈判设想被放弃,普京预告“更沉重打击”

俄乌炸桥冲突再升级,相关谈判设想被放弃,普京预告“更沉重打击”

环球网资讯
2026-11-21 07:06:38
太夸张!A股罕见一幕!还会有新低?

太夸张!A股罕见一幕!还会有新低?

龙行天下虎
2026-11-21 00:00:26
37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

极目新闻
2026-11-20 09:35:14
刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

韩小娱
2026-11-19 08:49:36
女生雨天等车时被轿车水花从头浇到脚,雨伞都被冲变形……上海一司机被罚150元!

女生雨天等车时被轿车水花从头浇到脚,雨伞都被冲变形……上海一司机被罚150元!

新民晚报
2026-11-20 19:55:27
悲催!20多年倾尽60万培养的211毕业生遭裁员,河南老父亲发帖控诉,引发轩然大波

悲催!20多年倾尽60万培养的211毕业生遭裁员,河南老父亲发帖控诉,引发轩然大波

火山詩话
2026-11-20 09:53:44
1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

老马拉车莫少装
2026-10-16 17:34:01
白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

极目新闻
2026-11-19 09:25:11
汪祥旺退休四年仍被罢免,光谷那把椅子,坐过的人不止他一个!

汪祥旺退休四年仍被罢免,光谷那把椅子,坐过的人不止他一个!

王姐懒人家常菜
2026-11-21 05:52:24
官媒发文,高调官宣47岁沈腾喜讯,全网恭喜,地位又变了!

官媒发文,高调官宣47岁沈腾喜讯,全网恭喜,地位又变了!

叨唠
2026-11-21 04:53:26
定了!天津这所211大学,即将搬迁!

定了!天津这所211大学,即将搬迁!

天津人
2026-11-21 06:11:54
兴奋剂违规!28岁国羽名将遭禁赛3年 曾获全运会冠军 教练被禁1年半

兴奋剂违规!28岁国羽名将遭禁赛3年 曾获全运会冠军 教练被禁1年半

我爱英超
2026-11-20 19:31:46
油价从6块冲到9块再回8块,账单降了,老百姓的心却回不去了

油价从6块冲到9块再回8块,账单降了,老百姓的心却回不去了

沙雕小琳琳
2026-11-21 00:57:39
扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

头狼追球
2026-11-20 13:01:14
局势彻底变天了!54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?引发舆论热议!

局势彻底变天了!54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?引发舆论热议!

林杰论事
2026-11-20 12:42:26
广东两孩男子晒42岁妻子例假到访消息 全网集体共情

广东两孩男子晒42岁妻子例假到访消息 全网集体共情

奇思妙想生活家
2026-11-21 02:40:38
中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

迷彩人生
2026-11-13 10:25:30
中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

经纬戎韬
2026-11-20 00:09:28
现货黄金直线跳水,跌破760元!深圳水贝金店老板直呼“补早了”:870元至880元时补过一批货,没想到跌得更快

现货黄金直线跳水,跌破760元!深圳水贝金店老板直呼“补早了”:870元至880元时补过一批货,没想到跌得更快

封面新闻
2026-11-20 14:10:14
2026-11-21 09:51:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
241文章数 90关注度
往期回顾 全部

教育要闻

2026年留学趋势复盘:国内教育与国际教育生源争夺战升级

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
游戏
家居
艺术
公开课

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

PC Gamer试玩GTA6百小时:双主角出色但任务重复

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版