网易首页 > 网易号 > 正文 申请入驻

大模型中的Token,一文读懂

0
分享至

Token是大模型最基础、最常见的概念,如何翻译没有定论,“标记”“词”“令牌”都有,复旦大学计算机学院邱锡鹏教授将其翻译为“词元”,个人认为比较恰当。

众所周知,大语言模型训练语料数量、上下文的限制、生成速度都用Token表示。

比如:

  • 通义千问-7B使用超过2.4万亿tokens的数据进行预训练,

  • 模型后面带着8k、32k,就是指在生成响应或进行预测时最大文本长度

  • 评估大模型生成速度的TPS,指的是每秒输出token数

Token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。

Token可以是单个字符,也可以是多个字符组成的序列。

网上各种资料,关于一个 token是多少汉字说法不一。

最为知名的大模型ChatGPT,模型使用Byte Pair Encoding(BPE,一种子词分词方法,可以将词语进一步划分为更小的可重复部分)进行文本编码,这种编码方式在处理不同语言时的效率可能会有所不同。

GPT-3:每词输出最高上限为2049个Token,大约可以写出1000字的中文文章、1720字的英文文章 GPT-4:每词输出最高上限为32768个Token,约是16056个中文字、25000个英文字

对于汉语等字形语言,一个token可能只包含一个字符,但对于英语等词素语言,一个token可能包含一个或多个单词。

OpenAI官方文档中介绍:“1000个token通常代表750个英文单词或500个汉字。1 个token大约为 4 个字符或 0.75 个单词。”

1个字母=1个字符,举例,hello=5字符 1个汉字=1个字符,举例,你好=2字符

这里有OpenAI官方的token计算工具 :https://platform.openai.com/tokenizer

就如刚才所说,不同模型可能有自己的切分方法,对应地,一个Token对应地汉字数也不一样。一个Token对应汉字,0.75到1.8个汉字不等。

百度文心一言也提供了token计算器来在线计算文心大模型的字符转token数。

网址:https://console.bce.baidu.com/support/#/tokenizer

阿里通义千问也有:https://dashscope.console.aliyun.com/tokenizer

所以一个Token有多少个汉字,具体取决于分词器的设计。

目前的各种tokenization技术,涉及到将文本分割成有意义的单元,以捕捉其语义和句法结构,如字级、子字级(例如,使用字节对编码或 WordPiece)或字符级。

根据特定语言和特定任务的需求,每种技术都有自己的优势和权衡。比如Qwen-7B采用UTF-8字节级别的BPE tokenization方式,并依赖OpenAI开源的tiktoken软件包执行分词。

  • 字节对编码(BPE):为AI模型构建子词词汇,用于合并出现频繁的字符/子字对。

  • 子词级tokenization:为复杂语言和词汇划分单词。将单词拆分成更小的单元,这对于复杂的语言很重要。

  • 单词级tokenization:用于语言处理的基本文本tokenization。每个单词都被用作一个不同的token,它很简单,但受到限制。

  • 句子片段:用习得的子词片段分割文本,基于所学子单词片段的分段。

  • 分词tokenization:采用不同合并方法的子词单元。

  • 字节级tokenization:使用字节级token处理文本多样性,将每个字节视为令牌,这对于多语言任务非常重要。

  • 混合tokenization:平衡精细细节和可解释性,结合词级和子词级tokenization。

关于tokenization,如果大家感兴趣,下一篇我详细讲讲。

最后再推荐一个网站,可以一目了然地查看大模型性能:https://llmbenchmark.liduos.com/?r=cdr

这个网站会实时展示不同大模型的:TTFT、TPS 和 Total,表头支持排序和筛选。

llmbenchmark.liduos.com是@juberti的团队发布thefastest.ai的国内版

大家如果对国外大模型API性能感兴趣可以访问:https://thefastest.ai

这个项目还是开源的:https://github.com/fixie-ai/thefastest.ai

最后推一下我的星球:只聊技术变现,不复制粘贴资讯,不会搬运他人观点。我会在这里分享对新技术的思考,风口赚钱项目,介绍变现套路,为大家答疑解惑。你可以把我当作你的另一双眼睛,帮你筛选,解读最有价值的信息。现在加入附赠1)AI资料大礼包;2)GPT、Claude 、Gemini、Llama、Qwen、DeepSeek、Minimax、Moonshot、Yi、GLM国内网络免费使用;3)部分公众号付费专栏或付费阅读的文章免费畅读;4)AI绘画、高效AI工具、高质量资料分享;5)微信群&有问必答

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

极目新闻
2026-11-16 19:06:52
爆冷3连败!从西部第一跌落神坛,夺冠热门倒下,NBA确实变天了

爆冷3连败!从西部第一跌落神坛,夺冠热门倒下,NBA确实变天了

篮球扫地僧
2026-11-16 16:56:16
萨拉波娃:17岁夺温网后买了张床垫 39岁仍性感迷人被赞美艳吸血鬼

萨拉波娃:17岁夺温网后买了张床垫 39岁仍性感迷人被赞美艳吸血鬼

劲爆体坛
2026-11-16 08:30:02
亚马尔辱华!网友要求蒙牛发声明解约 3大代言人翻车:刚解约姆巴佩

亚马尔辱华!网友要求蒙牛发声明解约 3大代言人翻车:刚解约姆巴佩

念洲
2026-11-16 07:49:47
央视镜头下,殷桃的“真实颜值”,治好了我的容貌焦虑

央视镜头下,殷桃的“真实颜值”,治好了我的容貌焦虑

娱乐圈十三太保
2026-11-13 15:56:34
说一个暴论:大多数中产家庭的孩子,最终都会“跌回底层”

说一个暴论:大多数中产家庭的孩子,最终都会“跌回底层”

舒山有鹿
2026-11-16 15:46:47
杀人诛心?大连英博“致谢信”,让申花国安球迷破防,蓉城排第1

杀人诛心?大连英博“致谢信”,让申花国安球迷破防,蓉城排第1

汪星人哟
2026-11-16 20:23:06
年终冠军刚捧杯,热搜第一却是没参赛的郑钦文,不少球迷第一眼以为看错了

年终冠军刚捧杯,热搜第一却是没参赛的郑钦文,不少球迷第一眼以为看错了

爱体育的小悠悠
2026-11-17 01:26:10
“分手”14年,一别两宽,蒋欣高调官宣喜讯,早已和王阳拉开距离

“分手”14年,一别两宽,蒋欣高调官宣喜讯,早已和王阳拉开距离

时间巡查
2026-11-16 06:37:23
防止埃博拉病毒病疫情传入我国,海关总署发布公告

防止埃博拉病毒病疫情传入我国,海关总署发布公告

界面新闻
2026-11-16 16:38:55
普京:和平协议签完后,欧洲军队若还敢来乌克兰,俄军立即开打!

普京:和平协议签完后,欧洲军队若还敢来乌克兰,俄军立即开打!

墨策史
2026-11-15 12:05:10
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
董宇辉复刻俞敏洪,9个月保质期蛋糕翻车

董宇辉复刻俞敏洪,9个月保质期蛋糕翻车

Tech星球
2026-11-15 14:22:37
孙艺洲余文乐并列第一!《谷雨》演员评分出炉,张颂文9.2仅第三

孙艺洲余文乐并列第一!《谷雨》演员评分出炉,张颂文9.2仅第三

情感大头说说
2026-11-17 00:38:40
禁止参展!2026年两颗黄钻"无人接盘",西方破防:河南钻不许展出

禁止参展!2026年两颗黄钻"无人接盘",西方破防:河南钻不许展出

火星方阵
2026-11-14 16:31:13
你喜欢的人突然烂掉了是什么感觉?网友:物理上的烂啊

你喜欢的人突然烂掉了是什么感觉?网友:物理上的烂啊

夜深爱杂谈
2026-11-16 21:46:51
今晚开播!央一36集大剧来袭,演员阵容豪横,终于轮到家庭剧火了

今晚开播!央一36集大剧来袭,演员阵容豪横,终于轮到家庭剧火了

陈意小可爱
2026-11-16 13:07:22
5年1.85亿美金!6项生涯新高!NBA第二中锋要易主了

5年1.85亿美金!6项生涯新高!NBA第二中锋要易主了

微评体育圈
2026-11-17 00:05:18
于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

唠叨说历史
2026-11-16 15:37:18
前省委常委掌掴副市长,副市长不堪受辱辞官!

前省委常委掌掴副市长,副市长不堪受辱辞官!

兵叔评说
2026-11-16 14:24:20
2026-11-17 02:07:00
Ai学习的老章 incentive-icons
Ai学习的老章
Ai学习的老章
3587文章数 11221关注度
往期回顾 全部

教育要闻

10金31银3铜!河南学子在物理、化学奥赛全国决赛斩获优异成绩

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

手机
旅游
教育
时尚
公开课

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

自骂“烂人”的黄仁勋,冤不冤?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版