网易首页 > 网易号 > 正文 申请入驻

大模型中的Token,一文读懂

0
分享至

Token是大模型最基础、最常见的概念,如何翻译没有定论,“标记”“词”“令牌”都有,复旦大学计算机学院邱锡鹏教授将其翻译为“词元”,个人认为比较恰当。

众所周知,大语言模型训练语料数量、上下文的限制、生成速度都用Token表示。

比如:

  • 通义千问-7B使用超过2.4万亿tokens的数据进行预训练,

  • 模型后面带着8k、32k,就是指在生成响应或进行预测时最大文本长度

  • 评估大模型生成速度的TPS,指的是每秒输出token数

Token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。

Token可以是单个字符,也可以是多个字符组成的序列。

网上各种资料,关于一个 token是多少汉字说法不一。

最为知名的大模型ChatGPT,模型使用Byte Pair Encoding(BPE,一种子词分词方法,可以将词语进一步划分为更小的可重复部分)进行文本编码,这种编码方式在处理不同语言时的效率可能会有所不同。

GPT-3:每词输出最高上限为2049个Token,大约可以写出1000字的中文文章、1720字的英文文章 GPT-4:每词输出最高上限为32768个Token,约是16056个中文字、25000个英文字

对于汉语等字形语言,一个token可能只包含一个字符,但对于英语等词素语言,一个token可能包含一个或多个单词。

OpenAI官方文档中介绍:“1000个token通常代表750个英文单词或500个汉字。1 个token大约为 4 个字符或 0.75 个单词。”

1个字母=1个字符,举例,hello=5字符 1个汉字=1个字符,举例,你好=2字符

这里有OpenAI官方的token计算工具 :https://platform.openai.com/tokenizer

就如刚才所说,不同模型可能有自己的切分方法,对应地,一个Token对应地汉字数也不一样。一个Token对应汉字,0.75到1.8个汉字不等。

百度文心一言也提供了token计算器来在线计算文心大模型的字符转token数。

网址:https://console.bce.baidu.com/support/#/tokenizer

阿里通义千问也有:https://dashscope.console.aliyun.com/tokenizer

所以一个Token有多少个汉字,具体取决于分词器的设计。

目前的各种tokenization技术,涉及到将文本分割成有意义的单元,以捕捉其语义和句法结构,如字级、子字级(例如,使用字节对编码或 WordPiece)或字符级。

根据特定语言和特定任务的需求,每种技术都有自己的优势和权衡。比如Qwen-7B采用UTF-8字节级别的BPE tokenization方式,并依赖OpenAI开源的tiktoken软件包执行分词。

  • 字节对编码(BPE):为AI模型构建子词词汇,用于合并出现频繁的字符/子字对。

  • 子词级tokenization:为复杂语言和词汇划分单词。将单词拆分成更小的单元,这对于复杂的语言很重要。

  • 单词级tokenization:用于语言处理的基本文本tokenization。每个单词都被用作一个不同的token,它很简单,但受到限制。

  • 句子片段:用习得的子词片段分割文本,基于所学子单词片段的分段。

  • 分词tokenization:采用不同合并方法的子词单元。

  • 字节级tokenization:使用字节级token处理文本多样性,将每个字节视为令牌,这对于多语言任务非常重要。

  • 混合tokenization:平衡精细细节和可解释性,结合词级和子词级tokenization。

关于tokenization,如果大家感兴趣,下一篇我详细讲讲。

最后再推荐一个网站,可以一目了然地查看大模型性能:https://llmbenchmark.liduos.com/?r=cdr

这个网站会实时展示不同大模型的:TTFT、TPS 和 Total,表头支持排序和筛选。

llmbenchmark.liduos.com是@juberti的团队发布thefastest.ai的国内版

大家如果对国外大模型API性能感兴趣可以访问:https://thefastest.ai

这个项目还是开源的:https://github.com/fixie-ai/thefastest.ai

最后推一下我的星球:只聊技术变现,不复制粘贴资讯,不会搬运他人观点。我会在这里分享对新技术的思考,风口赚钱项目,介绍变现套路,为大家答疑解惑。你可以把我当作你的另一双眼睛,帮你筛选,解读最有价值的信息。现在加入附赠1)AI资料大礼包;2)GPT、Claude 、Gemini、Llama、Qwen、DeepSeek、Minimax、Moonshot、Yi、GLM国内网络免费使用;3)部分公众号付费专栏或付费阅读的文章免费畅读;4)AI绘画、高效AI工具、高质量资料分享;5)微信群&有问必答

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
法国士兵被曝在乌执行机密任务,俄外长提出警告

法国士兵被曝在乌执行机密任务,俄外长提出警告

参考消息
2026-11-18 18:21:54
9连胜+联盟第一!场均39+7+8!恭喜东契奇,你距离MVP越来越近了

9连胜+联盟第一!场均39+7+8!恭喜东契奇,你距离MVP越来越近了

兵哥篮球故事
2026-11-18 19:06:32
小米回应雷军APEC发言紧张:这么大的国际场合,紧张太正常啦

小米回应雷军APEC发言紧张:这么大的国际场合,紧张太正常啦

潇湘晨报
2026-11-17 20:47:10
比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

琅琊财经
2026-07-31 22:02:18
中国“第一女神探”聂海芬,光环背后是多少老百姓含冤入狱?

中国“第一女神探”聂海芬,光环背后是多少老百姓含冤入狱?

星宇共鸣
2025-05-21 18:05:05
被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

梦醉为红颜一笑
2026-11-17 18:57:37
从确诊到去世仅15天,“央视最帅主持人”的遭遇为人们敲响警钟

从确诊到去世仅15天,“央视最帅主持人”的遭遇为人们敲响警钟

银河史记
2025-11-03 19:31:33
三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

小马姨
2026-11-16 09:42:14
大逆转!湖人118-114击败黄蜂!东契奇创79年纪录,格兰姆斯爆砍47分

大逆转!湖人118-114击败黄蜂!东契奇创79年纪录,格兰姆斯爆砍47分

篮球大视野
2026-11-18 15:12:35
晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

温读
2025-03-13 18:28:10
002242,强势涨停!昨日曾“地天板”

002242,强势涨停!昨日曾“地天板”

证券时报
2026-11-18 11:08:06
1984年,铁路警察王林生请假回到湖南探望母亲,之后就失去踪迹,枪库里的16支手枪以及1510发子弹也不见踪影

1984年,铁路警察王林生请假回到湖南探望母亲,之后就失去踪迹,枪库里的16支手枪以及1510发子弹也不见踪影

唠叨说历史
2026-11-17 11:30:50
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
冷空气 “控场”,贵州最低气温跌到1℃

冷空气 “控场”,贵州最低气温跌到1℃

新浪财经
2026-11-18 16:13:47
比股票还亏得惨的基金,今年前三季度亏损前10,有的亏近50%!

比股票还亏得惨的基金,今年前三季度亏损前10,有的亏近50%!

财经智多星
2026-10-04 10:27:17
不查不知道,一查吓一跳,原来为国争光的王虹,私下生活这么壕

不查不知道,一查吓一跳,原来为国争光的王虹,私下生活这么壕

北海史记
2026-11-05 18:19:36
深圳高光时刻:特朗普率17人天团访华!普京凌晨抵达获高规格迎接

深圳高光时刻:特朗普率17人天团访华!普京凌晨抵达获高规格迎接

时尚的弄潮
2026-11-18 14:09:16
两名俄军逃兵潜入基辅,干了三个月外卖骑手,攒到工资买了手机打算逃离,才被乌克兰发现

两名俄军逃兵潜入基辅,干了三个月外卖骑手,攒到工资买了手机打算逃离,才被乌克兰发现

扶苏聊历史
2026-10-31 14:38:33
王毅外长的话,让日媒担忧:中国对日本的定性,或已发生根本转变

王毅外长的话,让日媒担忧:中国对日本的定性,或已发生根本转变

一路荒凉如歌a
2026-11-18 01:57:39
带着对皇马的怀旧感情回归!穆帅表示2013年本可留在皇马,但出于热爱离开

带着对皇马的怀旧感情回归!穆帅表示2013年本可留在皇马,但出于热爱离开

福酱的小时光
2026-11-18 17:04:47
2026-11-18 19:52:49
Ai学习的老章 incentive-icons
Ai学习的老章
Ai学习的老章
3588文章数 11223关注度
往期回顾 全部

教育要闻

孩子厌学三个原因打通一点就愿上学

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

科技要闻

离职后首份声明!黄仁勋认错愿回归

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
艺术
旅游
健康
手机

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

旅游要闻

官方通报“民宿烤全羊分量不足”:该民宿存在“未明码标价”问题,已立案调查

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

消息称荣耀明年没有常规大折叠手机,取而代之的是阔折叠

无障碍浏览 进入关怀版