最近,AI研究员Aran Komatsuzaki发了一条推特:The non-English tax is real.
![]()
然后附上了一张图。
他做了什么测试?
把Sutton的《Bitter Lesson》这篇文章,翻译成多种语言,统计各大模型处理不同语言时,token消耗量相对英文的倍数。
英文基准是1.0x,数字越高,同样内容花的钱越多。
![]()
现在最火的Anthropic(也就是Claude):中文1.65x,日文1.94x,韩文2.59x,阿拉伯文2.74x,印地语3.11x。
也就是说:一个印度用户用Claude处理同等信息量,花的钱是美国用户的三倍多。
OpenAI(ChatGPT)相对克制:中文1.15x,韩文1.40x,印地语1.37x。
贵,但没贵到离谱。
国内模型呢?Qwen 0.85x,DeepSeek V4 0.87x,Kimi 0.81x——全部小于1,处理中文比处理英文还省。
![]()
同一套内容,美国模型和中国模型的计费结果,可以差出一倍。
为什么会有这个差距?
现在表面上,各家模型的定价是完全一样的——每百万token多少钱,全球统一,没有任何显性价格歧视,无论你在北京买和在纽约买token,单价都是相同的。
差距藏在分词逻辑里。
大模型处理文本,靠的是tokenizer把文字切成碎片。
英文和这些模型的词表高度匹配,一个词往往就是一个token。
中文、阿拉伯文、hindi得切更多碎片才能表达同样的意思。
价格没变,但你买到的有效内容量,天然少一截。这不是bug,是tokenizer设计本身的结构性结果——谁训练的模型,词表就向谁的语言倾斜。
这笔钱,现在还不起眼。
现在大多数人把AI当搜索引擎用,偶尔问几个问题,多花几个token无所谓。
但再往后走——AI全面嵌入现有工作流程,token消耗会变成企业的常规运营成本,就像电费、水费、燃气费,每个月都要付的那种。
到那时,哪个国家的企业能用更低的token成本跑AI,哪个国家就在这场产业浪潮里拿到了系统性的成本优势。
这不是一笔小钱,是整个产业层面的竞争力差距。
说到这里,不得不和懂王的关税比一下。
关税是明牌博弈:每加一轮,全球媒体炸锅,受影响品类全部曝光,各国政府表态,企业有反制,WTO有框架,至少大家都知道发生了什么,还能上桌谈。
token税完全不同。没有公告,没有谈判,用户只看到账单上的token单价,压根不知道自己消耗的token数量从一开始就比别人多。
鹅不叫,毛照拔。
掌握大模型的国家,等于掌握了一种新型征税权——征的不是货物,是算力使用权,而且没有国界,只要你用这个模型,税就一直在收。
这比懂王的关税,不知道高明到哪里去了。
所以LLM的卡位,不只是面子问题。
当token消费变成水电一样的基础设施账单,这个流量怎么计算,由谁制定规则,就直接决定了非英语国家企业的AI成本底线。
DeepSeek V4把中文token消耗压到0.87x,Qwen压到0.85x,是在这套定价结构里,给中文用户留出来的成本空间。
今天寒武纪和芯原双双20cm涨停,表面是AI芯片国产化的逻辑。
![]()
但底下那层更具体:算力、模型、分词,三件事缺一件,隐形税就断不了根。
关税战打的是货物流动。token战打的是信息流动的定价权。
后者更深,更久,也更难察觉。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.