Token 到底是什么？

Token 到底是什么前言一、大模型的基本工作原理二、Tokenizer 的编码和解码过程1. 编码2. 解码三、Tokenizer的训练过程1. 案例-BPE算法四、Tokenizer 的使用过程1. 编码2. 解码五、Token 与字数的换算关系前言相信大家都听说过Context Window这个概念它代表了模型一次能够处理的最大信息量比如GPT-5.2的Context Window为 40 万这就代表它一次最多能够处理 40 万个Token。注意了这里说的不是 40 万个字也不是 40 万个词而是 40 万个Token。相信Token这个词大家都有听过但究竟什么是TokenToken是怎么生成的它和字或者词到底有什么关系今天我就来彻底为大家讲明白Token这个概念我们首先要从大模型的基本运行原理开始讲起。一、大模型的基本工作原理大模型本质上是一个巨大的数学函数内部全是矩阵运算它输入的是数字输出的也是数字根本就不理解人类的文字所以在人类和大模型之间必须站着一个【翻译官】这个【翻译官】的名字就叫做Tokenizer。Tokenizer一共负责 “编码” 和 “解码” 两个环节其中 “编码” 的意思就是把文字转换为数字而 “解码” 就是反过来把数字转回文字。二、Tokenizer 的编码和解码过程1. 编码编码过程文字 - 数字分两个步骤第一步切分它把用户的问题拿过来将它切成一个个最小的单位这些切出来的碎片就叫做Token。第二步映射因为模型只认数字所以Tokenizer会把每一个Token映射为一个对应的数字这个数字就叫做Token ID。Token ID与Token是一对一的关系Token是文字而Token ID是数字它们就是一个硬币的正反面所表达的内容是一样的只不过表现形式不同而已。经过这两步后我们原本的一句话就变成一串Token ID列表然后Tokenizer就会把这个列表传给模型模型在内部一通运算最后吐出来一个Token ID。这时Tokenizer再次登场它要把这个Token ID翻译回Token这次发挥作用的就是“解码”环节了。2. 解码解码过程数字 - 文字只有一步映射。注意解码环节不需要切分因为模型每次只会给出一个Token。解码阶段完成后我们就拿到了大模型输出的第一个Token。当然如果模型没有说完的话它还可以输出第二个Token、第三个Token等等…“编码”和“解码”涉及到切分和映射这几个环节切分和映射分别是如何实现的呢要搞清楚这一点我们就需要先搞清楚Tokenizer这个东西是怎么被制造出来的。三、Tokenizer的训练过程我们今天以BPE为例给大家演示一下Tokenizer的训练流程它的原理很简单大致说来就是从一堆文章里面找出哪些字经常一起使用然后把这些经常一起使用的字合起来作为一个Token。1. 案例-BPE算法首先我们要准备个文章作为训练材料然后用这个训练材料做出两个产物一个是词表另外一个是合并规则。第一步将训练材料中所有的单字拿过来放到词表里面比如“马”、“克”、“喜”、“欢”…等等它们都是Token第二步为词表里面的每一个字分配一个数字也就是Token ID有些人可能会以为Token ID和Embedding向量类似含义相近的词对应的Token ID应该也相近但其实Token ID只是个编号并没有特殊的语义只要保证Token和Token ID是一对一的关系就行。有了词表之后我们就可以把用户的问题切分为Token了。只用单字的效率太低了我们希望每一个词都是一个Token比如“马克”、“喜欢”、“人工智能” 等等让这些常见的词作为Token才是最佳方案所以呢我们最好能够把这些词也加入到词表里面。第三步让算法扫描整段训练材料统计哪些 “字” 或者是哪些 “词” 喜欢待在一起然后将其进行合并加入到词表中为其分配Token ID并将对应的公式记录在合并规则中。算法扫描后发现“智” 和 “能” 这两个字在这段话里一共出现了五次频率最高。于是算法进行了第一次合并将 “智能” 加入到词表中为其分配一个Token ID并把智 能 —— 智能这个公式记录在合并规则中。从此以后在Tokenizer的眼里“智能” 就是一个整体会处理为一个Token算法继续扫描发现“人”和“工”一共出现了三次当前频率最高。于是使用同样的流程将其合并更新词表并记录下人 工——人工的这个合并规则算法继续扫描发现当前频率最高的是 “人工” 和 “智能” 于是使用同样的流程将进行合并这样Tokenizer就认识“人工智能”这个词了。按照这个规则继续对训练材料进行处理…全部处理完后我们的Tokenizer就训练完毕了它的核心组件就是词表和合并规则。下面我们回到模型的运行流程里看看这个Tokenizer是怎么用的。四、Tokenizer 的使用过程1. 编码切分阶段将用户的问题先分成一个一个的单字再与训练好的合并规则进行比对、合并这样一句完整的用户问题就被切分为了四个Token映射阶段根据词表的映射规则把切分后所得到的Token转换为Token ID2. 解码将模型返回的TokenID与词表进行映射。五、Token 与字数的换算关系40万 Token ≠ 40万字因为Tokenizer不光是一个翻译机它还是一个压缩机。它把经常在一起出现的字合并成了一个 Token例如上面将原本9个字的 “马克喜欢人工智能吗” 合并为四个Token所以Tokenizer可以使模型的输入更少因此模型的训练和推理效率也更高。⚠️量化参考1个Token ≈ 0.75个英文单词1个Token ≈ 1.5-2个汉字40万Token ≈ 60-80万汉字 或 30万英文单词上述博客来自Token 到底是什么—— 揭秘大模型背后的“文字压缩术”