随着AI使用进入日常生活后,我们总会看到“token”这一个词。那么,为什么同一句话,不同模型的token数不一样?答案藏在一个叫"分词器"的组件里。
![]()
图片来源网络
大模型本身不认识文字,它只认识数字。每段话送进模型前,必须先被分词器切成一串数字编号,每个编号对应的那个片段,就是token。
分词的核心难题,是平衡"粒度"。切太细,比如一个汉字一个token,整段话会变成超长的数字串,模型处理起来又慢又贵;切太粗,比如一整句一个token,模型学不会组合新句子,灵活性全无。
现在的通用做法是BPE算法,字节对编码。思路很巧:先给每个最小单位一个编号,然后统计哪些相邻片段最常一起出现,就把它们合并成一个新token,反复迭代。高频词"人工智能"会被合成一个token,低频组合则保留细碎片段。这样既不浪费编号,又保留了表达效率。
中英文的差异正源于此。英文天然有空格分词,常见单词容易合并成短token;中文没有空格,分词器得自己判断词边界,常见处理是每字或每词合并。所以同一段意思,英文token数往往比中文少,这直接影响了各家模型的计费策略——对中文用户不友好的切分,会让你多花钱。
token还有第二个关键作用:决定上下文上限。模型一次能处理的token总数是固定的,比如常见的几万token窗口。你输入越多,留给回答的空间越少。这就是为什么长文档丢进去,模型会"忘记"开头的内容——token预算被前面的内容占满了。
token化还影响模型"思维"。模型是在token层面做预测的,它不知道"apple"是苹果还是公司,只知道编号。多义词、新梗、错别字,都会因为token切分不同而产生不同理解。这也解释了为什么换个说法、把长词拆开,模型的回答可能完全不同。
了解token后,我们日常使用AI工具可以注意,写提示词尽量用模型熟悉的常见词,能减少歧义;长内容分段处理,避免超出窗口;对比中英文任务的token成本,选对模型更省钱。
token是AI理解世界的"字母表"。看懂它怎么切分文字,你就拿到了和模型高效对话的第一把钥匙。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.