用AI点外卖，少说俩字或许能省钱？

想象一下，你正在经营一家智能养虾场（OpenClaw），通过AI系统管理数千亩龙虾池塘。清晨，你对AI助手说：“帮我订个披萨。”系统迅速响应，后台计费系统记录下这简单的6个字。到了中午，你换了一种说法：“帮我预订一份意大利薄底萨拉斯米肠披萨。”同样的需求，更详细的描述，但这一次，计费系统记录的“词元”数量其实大不相同。

图片来源：AI生成

这不是科幻场景，而是每天都在发生的真实计费逻辑。在AI大模型时代，token是人工智能（尤其是大语言模型）处理中信息的最小单位，也是模型计费和处理的基本单位。2026年3月25日，全国科学技术名词审定委员会正式发布《关于发布试用人工智能领域名词token中文名“词元”的公告》，将这个困扰业界多年的术语统一命名为“词元”，标志着这一概念正式进入国家规范术语体系。

词元（Token）是大模型处理信息的最小信息单元，具有智能时代可计量、可定价、可交易的特征。

从“字”到“词元”：计费单位的革命

传统认知中，我们按字数计费——写多少字付多少钱。但在AI世界里，这个逻辑被彻底颠覆。

大模型厂商的计费公式可以简化为：

plain

费用=(输入词元数×输入单价+输出词元数×输出单价)/1,000,000

国家数据局最新数据显示，截至2026年3月，我国日均词元调用量已突破140万亿，相比2024年初的1000亿增长超过1000倍。如此庞大的调用量背后，是一个精密的计费系统。以阿里云百炼平台为例，Qwen3.6-Plus最低输入价格2元/每百万Tokens，最低输出价格12元/每百万Tokens。看似微小的差异，在大规模调用场景下，会被显著放大，从而带来明显的成本差异。

Qwen3.6-Plus推理服务价格

图片来源：阿里云官网

BPE算法：打包常用字，拆分生僻词

要理解为什么“帮我订个披萨”和“帮我预订一份意大利薄底萨拉斯米肠披萨”会产生不同的词元数量，需要深入字节对编码（Byte Pair Encoding，BPE）算法的核心机制。（除了BPE算法外，常见的还有WordPiece、Unigram等算法，本文将以BPE算法为例。）

BPE算法最早由Philip Gage于1994年提出，用于数据压缩。2016年，瑞士苏黎世大学的Rico Sennrich等人将其引入自然语言处理领域，发表了奠基性论文《Neural Machine Translation of Rare Words with Subword Units》，开创了子词分词的新纪元。

BPE算法的运作原理可以概括为：不断合并训练语料中出现频率最高的符号对，直到达到预定词汇表大小。

让我们用一个简化示例说明，假设训练语料包含以下词汇及出现频率：

“hug”：10次

“pug”：5次

“pun”：12次

“bun”：4次

“hugs”：5次

第一步：将所有词拆分为字符，添加结束符

“hug” → “h u g ”

“pug” → “p u g ”

“pun” → “p u n ”

“bun” → “b u n ”

“hugs” → “h u g s ”

初始词汇表仅包含基础字符：{b, g, h, n, p, s, u, }

第二步：统计相邻字符对的出现频率

“u g”：15次（来自“hug”的10次 + “hugs”的5次）

“u n”：16次（来自“pun”的12次 + “bun”的4次）

“p u”：17次（来自“pug”的5次 + “pun”的12次）

第三步：合并最高频字符对

假设“p u”频率最高（17次），创建新符号“pu”，

词汇表扩展为：{b, g, h, n, p, s, u, , pu}

第四步：迭代重复

继续统计新语料中的字符对频率，合并下一个最高频对，直到达到预设的词汇表大小（如GPT-2为50,257个token）。

多个常用字被打包成单个词元

像“的”“是”“了”“在”等超高频汉字，在训练语料中反复出现，BPE算法会将它们与相邻高频字组合成固定词元。例如：

“的” → 单独1个token

“中国” → 1个token（高频组合）

“人工智能” → 2个token（“人工”+“智能”）

单个生僻字和长词被拆解成多个词元

对于低频字或专业术语，BPE算法缺乏足够的合并动力，只能拆分为基础字符甚至UTF-8字节：

“薹”（生僻字）→ 可能被拆为2-3个token

“意大利薄底萨拉斯米肠披萨” → 可能被拆为10+个token

这种差异直接体现在计费上。实测数据显示，同样长度的内容，中文消耗的token数约为英文的2-2.7倍。以GPT-4o计费标准计算，处理100万字符的中文文本比英文贵约50%。

高计费差异背后的经济逻辑

理解BPE算法后，我们就能解释开头养虾场的计费差异：

图片来源：作者制作

这种计费机制有其合理性：低频词需要模型进行更多计算来理解和生成，消耗更多算力资源。但从用户角度看，这意味着表达越精确，成本越高。

那如何降低词元成本呢？对于普通用户和开发者，理解BPE算法可以显著降低使用成本：

1. 精简表达

避免冗余修饰词。“订披萨”比“预定一份意大利薄底萨拉斯米肠披萨”可显著减少词元消耗。

2.使用高频词汇

BPE算法偏爱高频组合。用“电脑”而非“电子计算机”，用“手机”而非“移动电话”。

3.善用缓存

阿里云百炼等平台支持上下文缓存，命中缓存的输入token价格通常只有普通输入的1/10。对于重复性查询，保持上下文连贯可大幅降低成本。

4.选择中文优化模型

通义千问、DeepSeek等国产模型针对中文优化，同等内容下token消耗比国际模型少30%-50%。

5.监控token使用

使用tiktoken等工具预先计算token数量，避免超出预算。OpenAI的tiktoken库基于Rust实现，可精确统计各模型的token消耗。

词元的定名不仅是一个术语的统一，更标志着AI产业进入精细化运营阶段。当“帮我订个披萨”和“帮我预定一份意大利薄底萨拉斯米肠披萨”产生不同的账单时，我们实际上见证了一种新的语言经济学诞生——表达的精确度与计算成本直接挂钩。

BPE算法通过频率统计实现的“打包”与“拆分”机制，本质上是用统计学方法模拟人类语言的层级结构。常用字“廉价”，生僻词更“高价”，这种看似不均衡的分配，实则是大数据时代效率与成本的平衡之道。

图片来源：AI生成

正如全国科技名词委公告所言，“词元”一词“符合单义性、科学性、简明性、协调性等科技名词审定原则”。当我们下次与AI对话时，或许可以多想一想：这句话，值多少个词元？

参考文献：

1.Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. arXiv:1508.07909.

2.Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI.

3.http://www.cnterm.cn/news/mtsm/202603/t20260327_828265.html

4.http://www.cnterm.cn/news/mtsm/202603/t20260327_828253.html

5.http://finance.people.com.cn/n1/2026/0330/c1004-40691865.html

6.https://tech.cnr.cn/gstj/20260327/t20260327_527564025.shtml

7.http://www.cnterm.cn/news/tzgg/202603/t20260325_827999.html

来源：蝌蚪五线谱

编辑：小鹿

转载内容仅代表作者观点

不代表中科院物理所立场

如需转载请联系原公众号