大模型中的Token，一文读懂

Token是大模型最基础、最常见的概念，如何翻译没有定论，“标记”“词”“令牌”都有，复旦大学计算机学院邱锡鹏教授将其翻译为“词元”，个人认为比较恰当。

众所周知，大语言模型训练语料数量、上下文的限制、生成速度都用Token表示。

比如：

• 通义千问-7B使用超过2.4万亿tokens的数据进行预训练，

• 模型后面带着8k、32k，就是指在生成响应或进行预测时最大文本长度

• 评估大模型生成速度的TPS，指的是每秒输出token数

Token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。

Token可以是单个字符，也可以是多个字符组成的序列。

网上各种资料，关于一个 token是多少汉字说法不一。

最为知名的大模型ChatGPT，模型使用Byte Pair Encoding(BPE，一种子词分词方法，可以将词语进一步划分为更小的可重复部分)进行文本编码，这种编码方式在处理不同语言时的效率可能会有所不同。

GPT-3：每词输出最高上限为2049个Token，大约可以写出1000字的中文文章、1720字的英文文章 GPT-4：每词输出最高上限为32768个Token,约是16056个中文字、25000个英文字

对于汉语等字形语言，一个token可能只包含一个字符，但对于英语等词素语言，一个token可能包含一个或多个单词。

OpenAI官方文档中介绍:“1000个token通常代表750个英文单词或500个汉字。1 个token大约为 4 个字符或 0.75 个单词。”

1个字母=1个字符，举例，hello=5字符 1个汉字=1个字符，举例，你好=2字符

这里有OpenAI官方的token计算工具 :https://platform.openai.com/tokenizer

就如刚才所说，不同模型可能有自己的切分方法，对应地，一个Token对应地汉字数也不一样。一个Token对应汉字，0.75到1.8个汉字不等。

百度文心一言也提供了token计算器来在线计算文心大模型的字符转token数。

网址：https://console.bce.baidu.com/support/#/tokenizer

阿里通义千问也有：https://dashscope.console.aliyun.com/tokenizer

所以一个Token有多少个汉字，具体取决于分词器的设计。

目前的各种tokenization技术，涉及到将文本分割成有意义的单元，以捕捉其语义和句法结构，如字级、子字级(例如，使用字节对编码或 WordPiece)或字符级。

根据特定语言和特定任务的需求，每种技术都有自己的优势和权衡。比如Qwen-7B采用UTF-8字节级别的BPE tokenization方式，并依赖OpenAI开源的tiktoken软件包执行分词。

• 字节对编码（BPE）：为AI模型构建子词词汇，用于合并出现频繁的字符/子字对。

• 子词级tokenization：为复杂语言和词汇划分单词。将单词拆分成更小的单元，这对于复杂的语言很重要。

• 单词级tokenization：用于语言处理的基本文本tokenization。每个单词都被用作一个不同的token，它很简单，但受到限制。

• 句子片段：用习得的子词片段分割文本，基于所学子单词片段的分段。

• 分词tokenization：采用不同合并方法的子词单元。

• 字节级tokenization：使用字节级token处理文本多样性，将每个字节视为令牌，这对于多语言任务非常重要。

• 混合tokenization：平衡精细细节和可解释性，结合词级和子词级tokenization。

关于tokenization，如果大家感兴趣，下一篇我详细讲讲。

最后再推荐一个网站，可以一目了然地查看大模型性能：https://llmbenchmark.liduos.com/?r=cdr

这个网站会实时展示不同大模型的：TTFT、TPS 和 Total，表头支持排序和筛选。

llmbenchmark.liduos.com是@juberti的团队发布thefastest.ai的国内版

大家如果对国外大模型API性能感兴趣可以访问：https://thefastest.ai

这个项目还是开源的：https://github.com/fixie-ai/thefastest.ai

最后推一下我的星球：只聊技术变现，不复制粘贴资讯，不会搬运他人观点。我会在这里分享对新技术的思考，风口赚钱项目，介绍变现套路，为大家答疑解惑。你可以把我当作你的另一双眼睛，帮你筛选，解读最有价值的信息。现在加入附赠1）AI资料大礼包；2）GPT、Claude 、Gemini、Llama、Qwen、DeepSeek、Minimax、Moonshot、Yi、GLM国内网络免费使用；3）部分公众号付费专栏或付费阅读的文章免费畅读；4）AI绘画、高效AI工具、高质量资料分享；5）微信群&有问必答