传播学 | Token（词元）

（1）概念

词元是人工智能大模型为了高效处理数据，把数据进行拆分后的“最小信息载体”，可以理解为“字/词片段/符号”等。Token是AI理解文本的最小单位，就像人类阅读时自动拆分的“信息颗粒”，AI不是按字而是按oken处理文本。比如“我爱中国！”，可拆分成“我”“爱”“中国”“！”4个词元。

人工智能时代，信息传输的核心度量就是token（词元），无论是文本、图像、视频还是激光雷达的点云数据，都能通过 Token 化处理转化为离散化的符号或向量表示。

（2）Token 计算的核心原理

①分词模型与编码映射

不同的LLM（如GPT系列、Claude、Llama）会采用各自独特的分词模型，这就会导致针对同一文本，不同的模型可能会产生不同数量的Token。词汇表将Token 映射到唯一的数值表示。由于LLM使用数字输入，所以词汇表中的每个Token都被赋予一个唯一标识符或索引。这种映射允许LLM将文本数据作为数字序列进行处理和操作，从而实现高效的计算和建模。

②主流分词模型与编码规则

在Token计算中，分词模型的选择至关重要。不同的模型采用不同的分词算法，无论是基于字节对的分词算法（Byte Pair Encoding，BPE）还是基于单词的分词算法，都会影响如何对文本进行拆分。

③计算流程拆解（以GPT-4为例）

当使用GPT-4进行Token计算时，整个流程可以拆解为几个关键步骤：首先，预处理输入文本；然后，运用分词模型进行拆分；最后，通过编码映射将分词后的语义单元转换为模型可识别的整数ID。

（3）Token的作用

①解决词汇表爆炸问题

如果每个词都单独处理，模型需要记住数百万个词。通过将词拆分成更小的Token，只需要几千个Token就能组合出几乎所有的词。

②处理未知词汇

当模型遇到没见过的词时，如果是基于Token的，它可以用已知的Token来“拼凑"理解。比如遇到"深度学习"，即使没学过这个词也知道“深度”和“学习”这两个Token。

③统一多语言处理

不同语言的词汇结构差异很大，但通过Token化，可以建立统一的方式来处理各种语言。

（4）Token设计的局限性

①大小写区分

不同大小写的单词被视为不同的标记。“hello”是Token (31373),“Helo°是(15496)，而“HELLO”有三个Token(13909,3069,46)。这意味着模型在处理文本时，对于大小写不同的相同单词，会当作不同的单元来处理，可能会增加模型的学习负担和计算量。

②数字分块不一致

数值“380°在GPT中标记为单个“380” Token。但是“381”表示为两个Token("38”,“1")。“382”同样是两个Token,但"383"是单个Token ("383")。这种数字分块的不一致性或许就是为什么基于GPT的模型并不总是擅长数学计算的原因之一，因为模型难以对数字形成统一、准确的理解和处理方式。

③尾随的空格

有些Token有空格，这将导致提示词和单词补全的有趣行为。例如，带有尾部空格的“once upona”被编码为"once"、"upon"、"a"、"")。然而,"once ona time"被编码为("once", "upon","a","time")。这说明文本中的空格在Token化过程中也会产生影响，模型对于带有空格和不带有空格的相同文本片段，会生成不同的Token序列，进而可能影响模型的输出结果。

（5）Token化：Token的应用

将文本划分为不同token的正式过程称为tokenization（Token化）。tokenization捕获文本的含义和语法结构，从而需要将文本分割成重要的组成部分。

tokenization是将输入和输出文本分割成更小的单元，由LLMAl模型处理的过程。tokenization可以帮助模型处理不同的语言、词汇表和格式，并降低计算和内存成本，还可以通过影响token的意义和语境来影响所生成文本的质量和多样性。根据文本的复杂性和可变性，可以使用不同的方法进行tokenization，比如基于规则的方法、统计方法或神经方法。

新闻传播学专业公众号

微信号 : media-power

▇ 新传考研智库 洞察社会脉动