网易首页 > 网易号 > 正文 申请入驻

大模型是怎么把一句话"切"成token的?

0
分享至

随着AI使用进入日常生活后,我们总会看到“token”这一个词。那么,为什么同一句话,不同模型的token数不一样?答案藏在一个叫"分词器"的组件里。


图片来源网络

大模型本身不认识文字,它只认识数字。每段话送进模型前,必须先被分词器切成一串数字编号,每个编号对应的那个片段,就是token。

分词的核心难题,是平衡"粒度"。切太细,比如一个汉字一个token,整段话会变成超长的数字串,模型处理起来又慢又贵;切太粗,比如一整句一个token,模型学不会组合新句子,灵活性全无。

现在的通用做法是BPE算法,字节对编码。思路很巧:先给每个最小单位一个编号,然后统计哪些相邻片段最常一起出现,就把它们合并成一个新token,反复迭代。高频词"人工智能"会被合成一个token,低频组合则保留细碎片段。这样既不浪费编号,又保留了表达效率。

中英文的差异正源于此。英文天然有空格分词,常见单词容易合并成短token;中文没有空格,分词器得自己判断词边界,常见处理是每字或每词合并。所以同一段意思,英文token数往往比中文少,这直接影响了各家模型的计费策略——对中文用户不友好的切分,会让你多花钱。

token还有第二个关键作用:决定上下文上限。模型一次能处理的token总数是固定的,比如常见的几万token窗口。你输入越多,留给回答的空间越少。这就是为什么长文档丢进去,模型会"忘记"开头的内容——token预算被前面的内容占满了。

token化还影响模型"思维"。模型是在token层面做预测的,它不知道"apple"是苹果还是公司,只知道编号。多义词、新梗、错别字,都会因为token切分不同而产生不同理解。这也解释了为什么换个说法、把长词拆开,模型的回答可能完全不同。

了解token后,我们日常使用AI工具可以注意,写提示词尽量用模型熟悉的常见词,能减少歧义;长内容分段处理,避免超出窗口;对比中英文任务的token成本,选对模型更省钱。

token是AI理解世界的"字母表"。看懂它怎么切分文字,你就拿到了和模型高效对话的第一把钥匙。

声明:取材网络,谨慎辨别

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
足球小将在西班牙待不下去了!邝兆镭之后,又有一批坐穿板凳的小将或将在冬窗离开

足球小将在西班牙待不下去了!邝兆镭之后,又有一批坐穿板凳的小将或将在冬窗离开

中场阴谋家
2026-11-17 23:20:56
深圳APEC领导人会议今日开幕,你必须知道的10件事

深圳APEC领导人会议今日开幕,你必须知道的10件事

刘润
2026-11-18 08:07:50
这两条新闻一起看,又来把普通人当傻子了

这两条新闻一起看,又来把普通人当傻子了

清书先生
2026-11-18 17:18:51
就在今天!一个80年未见的NBA历史纪录,缺少库里下被勇士达成了

就在今天!一个80年未见的NBA历史纪录,缺少库里下被勇士达成了

生活新鲜市
2026-11-18 05:40:10
热搜第一!“我愿意为自己的行为负责,只求放过我的家人!”14岁初中生发长文喊话明星虞书欣引热议

热搜第一!“我愿意为自己的行为负责,只求放过我的家人!”14岁初中生发长文喊话明星虞书欣引热议

笨鸟摘文
2026-11-18 11:55:31
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
又投中5个三分!抱歉雷阿伦:你的历史第三要不保了

又投中5个三分!抱歉雷阿伦:你的历史第三要不保了

篮球大视野
2026-11-17 20:36:34
高盛预测2050年美国GDP37.2万亿美元,印度22.2万亿美元,日本6万亿美元,中国呢?

高盛预测2050年美国GDP37.2万亿美元,印度22.2万亿美元,日本6万亿美元,中国呢?

巢客HOME
2026-11-18 05:15:04
拒逆转!多森姆30+5+4,利拉德25+5+3,火箭很无奈,西部第三易主

拒逆转!多森姆30+5+4,利拉德25+5+3,火箭很无奈,西部第三易主

篮球大视野
2026-11-18 12:16:34
当年为什么查办褚时健?

当年为什么查办褚时健?

百晓生谈历史
2025-08-20 21:55:53
再见,巴萨!后防“顶星”同意签约利物浦!钦点顶级中卫“空降”

再见,巴萨!后防“顶星”同意签约利物浦!钦点顶级中卫“空降”

头狼追球
2026-11-18 16:47:01
内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

裕丰娱间说
2026-11-18 11:39:59
缺德到这种程度,已经不是讽刺的问题了!

缺德到这种程度,已经不是讽刺的问题了!

胖胖说他不胖
2026-11-17 09:00:28
李在明携夫人凌晨抵达深圳 走上红毯一路鼓掌

李在明携夫人凌晨抵达深圳 走上红毯一路鼓掌

看看新闻Knews
2026-11-18 02:55:20
高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

杨仔述
2026-11-18 12:57:26
从60跌到21暴跌64%,今天又20CM闪崩跌停,没走的股民全被一锅端

从60跌到21暴跌64%,今天又20CM闪崩跌停,没走的股民全被一锅端

财经智多星
2026-11-18 13:23:33
88块钱的山姆包能好到什么程度?化工博士实测后惊呆了...

88块钱的山姆包能好到什么程度?化工博士实测后惊呆了...

毕导
2026-11-17 17:38:25
特朗普抵达深圳,车队车前插中美两国国旗,中方战机在上空拉起彩烟;特朗普坐上专属座驾隔窗挥手

特朗普抵达深圳,车队车前插中美两国国旗,中方战机在上空拉起彩烟;特朗普坐上专属座驾隔窗挥手

极目新闻
2026-11-18 17:51:45
挤不进APEC,苏杰生终于承认:40年前印度就选了一条错路

挤不进APEC,苏杰生终于承认:40年前印度就选了一条错路

听风看局
2026-11-17 17:06:28
美国政府调查新加坡某公司,指控其涉嫌非法对华转运英伟达芯片?外交部:中方在美国输华芯片的问题上的立场是一贯的

美国政府调查新加坡某公司,指控其涉嫌非法对华转运英伟达芯片?外交部:中方在美国输华芯片的问题上的立场是一贯的

每日经济新闻
2026-11-18 10:26:44
2026-11-18 18:44:49
星星项链
星星项链
每天会有直播哦
181文章数 3关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳 中国军人在“空军一号”边上岿然不动

头条要闻

特朗普抵达深圳 中国军人在“空军一号”边上岿然不动

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
艺术
房产
亲子
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

房产要闻

效果图曝光!三亚超级万象城,长这样!

亲子要闻

坚持原则如何在训练中体现

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版