网易首页 > 网易号 > 正文 申请入驻

大模型中的Token,一文读懂

0
分享至

Token是大模型最基础、最常见的概念,如何翻译没有定论,“标记”“词”“令牌”都有,复旦大学计算机学院邱锡鹏教授将其翻译为“词元”,个人认为比较恰当。

众所周知,大语言模型训练语料数量、上下文的限制、生成速度都用Token表示。

比如:

  • 通义千问-7B使用超过2.4万亿tokens的数据进行预训练,

  • 模型后面带着8k、32k,就是指在生成响应或进行预测时最大文本长度

  • 评估大模型生成速度的TPS,指的是每秒输出token数

Token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。

Token可以是单个字符,也可以是多个字符组成的序列。

网上各种资料,关于一个 token是多少汉字说法不一。

最为知名的大模型ChatGPT,模型使用Byte Pair Encoding(BPE,一种子词分词方法,可以将词语进一步划分为更小的可重复部分)进行文本编码,这种编码方式在处理不同语言时的效率可能会有所不同。

GPT-3:每词输出最高上限为2049个Token,大约可以写出1000字的中文文章、1720字的英文文章 GPT-4:每词输出最高上限为32768个Token,约是16056个中文字、25000个英文字

对于汉语等字形语言,一个token可能只包含一个字符,但对于英语等词素语言,一个token可能包含一个或多个单词。

OpenAI官方文档中介绍:“1000个token通常代表750个英文单词或500个汉字。1 个token大约为 4 个字符或 0.75 个单词。”

1个字母=1个字符,举例,hello=5字符 1个汉字=1个字符,举例,你好=2字符

这里有OpenAI官方的token计算工具 :https://platform.openai.com/tokenizer

就如刚才所说,不同模型可能有自己的切分方法,对应地,一个Token对应地汉字数也不一样。一个Token对应汉字,0.75到1.8个汉字不等。

百度文心一言也提供了token计算器来在线计算文心大模型的字符转token数。

网址:https://console.bce.baidu.com/support/#/tokenizer

阿里通义千问也有:https://dashscope.console.aliyun.com/tokenizer

所以一个Token有多少个汉字,具体取决于分词器的设计。

目前的各种tokenization技术,涉及到将文本分割成有意义的单元,以捕捉其语义和句法结构,如字级、子字级(例如,使用字节对编码或 WordPiece)或字符级。

根据特定语言和特定任务的需求,每种技术都有自己的优势和权衡。比如Qwen-7B采用UTF-8字节级别的BPE tokenization方式,并依赖OpenAI开源的tiktoken软件包执行分词。

  • 字节对编码(BPE):为AI模型构建子词词汇,用于合并出现频繁的字符/子字对。

  • 子词级tokenization:为复杂语言和词汇划分单词。将单词拆分成更小的单元,这对于复杂的语言很重要。

  • 单词级tokenization:用于语言处理的基本文本tokenization。每个单词都被用作一个不同的token,它很简单,但受到限制。

  • 句子片段:用习得的子词片段分割文本,基于所学子单词片段的分段。

  • 分词tokenization:采用不同合并方法的子词单元。

  • 字节级tokenization:使用字节级token处理文本多样性,将每个字节视为令牌,这对于多语言任务非常重要。

  • 混合tokenization:平衡精细细节和可解释性,结合词级和子词级tokenization。

关于tokenization,如果大家感兴趣,下一篇我详细讲讲。

最后再推荐一个网站,可以一目了然地查看大模型性能:https://llmbenchmark.liduos.com/?r=cdr

这个网站会实时展示不同大模型的:TTFT、TPS 和 Total,表头支持排序和筛选。

llmbenchmark.liduos.com是@juberti的团队发布thefastest.ai的国内版

大家如果对国外大模型API性能感兴趣可以访问:https://thefastest.ai

这个项目还是开源的:https://github.com/fixie-ai/thefastest.ai

最后推一下我的星球:只聊技术变现,不复制粘贴资讯,不会搬运他人观点。我会在这里分享对新技术的思考,风口赚钱项目,介绍变现套路,为大家答疑解惑。你可以把我当作你的另一双眼睛,帮你筛选,解读最有价值的信息。现在加入附赠1)AI资料大礼包;2)GPT、Claude 、Gemini、Llama、Qwen、DeepSeek、Minimax、Moonshot、Yi、GLM国内网络免费使用;3)部分公众号付费专栏或付费阅读的文章免费畅读;4)AI绘画、高效AI工具、高质量资料分享;5)微信群&有问必答

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
丁彦雨航当面向巩晓彬说声道歉,逍遥王称其交友不慎暗讽睢冉

丁彦雨航当面向巩晓彬说声道歉,逍遥王称其交友不慎暗讽睢冉

姜大叔侃球
2026-11-19 22:25:35
手握人民币的国人请注意:咱们的货币,或正被全球资本重新定价

手握人民币的国人请注意:咱们的货币,或正被全球资本重新定价

混沌录
2026-11-19 18:35:05
41岁詹姆斯一战创多项纪录:一数据全联盟第一+率队创42年来最佳

41岁詹姆斯一战创多项纪录:一数据全联盟第一+率队创42年来最佳

Emily说个球
2026-11-19 11:08:21
克宫打算继续将战争持续到冬季,特朗普特使警告这是俄罗斯最后的机会

克宫打算继续将战争持续到冬季,特朗普特使警告这是俄罗斯最后的机会

山河路口
2026-11-19 13:18:45
清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

文史道
2024-11-25 06:45:02
39岁北京大腕郝泊言离世,生前热爱健身,这次给所有人提了个醒

39岁北京大腕郝泊言离世,生前热爱健身,这次给所有人提了个醒

阅尽天下大事
2026-11-20 01:02:45
乌克兰于11月19日凌晨再次袭击克里米亚大桥

乌克兰于11月19日凌晨再次袭击克里米亚大桥

山河路口
2026-11-19 09:20:41
凌晨3:00,美联储全面宣战!50基点加息重回视野

凌晨3:00,美联储全面宣战!50基点加息重回视野

魏家东
2026-11-19 17:23:35
笑不活!老外买的中国纪念品,不理解但尊重

笑不活!老外买的中国纪念品,不理解但尊重

另子维爱读史
2026-10-19 21:05:28
曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

人生录
2026-11-19 08:08:31
APEC晚宴菜单曝光,看看都吃了啥

APEC晚宴菜单曝光,看看都吃了啥

极目新闻
2026-11-19 10:23:08
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

LULU生活家
2026-11-19 16:59:58
何家劲痛骂移民老友:卖光香港家当去加拿大,如今哭说回不来,图啥

何家劲痛骂移民老友:卖光香港家当去加拿大,如今哭说回不来,图啥

头号电影院
2026-11-19 16:31:11
欧媒不明白:中国拿下85%造船订单,为何心脏发动机也要自己造

欧媒不明白:中国拿下85%造船订单,为何心脏发动机也要自己造

兴趣知识
2026-11-20 00:53:41
火箭小将终爆发!三分7中6成球队最大功臣 能否彻底找回手感?

火箭小将终爆发!三分7中6成球队最大功臣 能否彻底找回手感?

惊奇侃球
2026-11-19 23:54:50
多地接连辟谣:“建材市场3C大检查”为不实信息

多地接连辟谣:“建材市场3C大检查”为不实信息

澎湃新闻
2026-11-18 21:09:02
脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

暮色史观
2026-11-19 10:24:15
争议!中国女排队员:国外没有瘦肉精 网友:中国食品安全不容抹黑

争议!中国女排队员:国外没有瘦肉精 网友:中国食品安全不容抹黑

念洲
2026-11-19 08:21:57
英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

环球趣闻分享
2026-11-18 14:57:47
2026-11-20 03:12:49
Ai学习的老章 incentive-icons
Ai学习的老章
Ai学习的老章
3590文章数 11223关注度
往期回顾 全部

教育要闻

【85个传播学核心词】最后不知道背什么就背它!!!

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

科技要闻

提前三个月加薪!英伟达全员会稳军心

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

家居
健康
旅游
数码
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

旅游要闻

深圳游客打卡山城!重庆文旅集团秋假专属礼包获好评,大家感叹不虚此行

数码要闻

联想Legion Go Beam掌机谍照曝光:取消标志性触控板 改用16:9屏幕

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版