这是一篇把"Token"讲明白的科普级综述！

一、模型读到的不是字，是一块块带编号的拼图

• 解释分词器把文本切成 token 并编号，模型计算的是数字编号而非字符。
• 以 strawberry 为例：常见词被整体打包，模型没有逐字母读取，因此难以数出字母 r；替换字母会打碎熟悉字块，导致输出怪异。
• 以 California、Japan 的字节读取和 Americans 未收录词表为例，说明模型看到的单位与人类不同；intelligence、带引号形式及空格变化也会改变切分编号。
• 说明切碎文本的动机：缩短序列、降低计算与参数成本，但便利背后有代价。

二、这些字块怎么来：从字母开始，反复合并最常见的一对

• 字块表不是人工字典，而是算法从海量语料统计得出；分词器通常先独立训练，与大模型训练语料分开。
• 介绍 BPE：从单个字母或字节出发，反复合并出现次数最多的相邻对，直到达到目标词表大小。
• 用 “low” 与 “lower” 的极简例子总结合并过程：先合并高频相邻字母，再逐步形成更大字块。
• 指出 BPE 的贪心合并不保证全局最短；Unigram 通过删减候选词表优化概率，WordPiece 依据预测能力合并，BERT 曾使用 WordPiece。
• 归纳关键认知：同一个词可能有多种切法，模型看到哪一种取决于其分词器。

三、这套认字法的代价：能力、成本、公平与安全

• 能力代价：字块打包使内部细节不易被模型拆开观察；数字切分如 8675309 被从左往右三位一组切分，与人类从右往左进位借位的运算规律相悖，影响多位数算术。
• 反证实验：打乱切分规则或直接读底层字节的模型，在数字母和多位数算术上表现更好，说明问题与字块打包有关。
• 成本与公平代价：API 按 token 计费且输出通常更贵；英文常用词打包更短，低资源语言和非拉丁语系语言更易被切碎；注意力开销随序列长度平方增长；论文图显示同一份《世界人权宣言》按生成费用折算劳动时间，美国最短、缅甸最长，相差 54.3 倍，但这是劳动时间维度与收入差距叠加的结果，并非缅甸语 token 单价本身贵 54 倍。
• 安全代价：稀有 token 如 SolidGoldMagikarp 在模型正文语料中少见，向量表示接近随机，可能破坏理解并成为攻击入口；同形字替换或插入零宽连接符可打乱分词并绕过安全审核。
• 生态现状：截至 2025 年 11 月 3 日，Hugging Face 约 74 万个候选模型中过半可加载，其中 94% 的模型分词器与另一模型逐字节相同；全网 279 亿次历史下载中 BERT 分词器占 23.2%。Claude 被逆向估计缩减词表，切分行为更接近动态规划，但相关因果仅为外界推测，论文未证实。

四、能不能让大模型换一种认字法

• 纯字节路线：直接读底层字节，词表仅需 256 个基础单元，可覆盖多语言并消除生词问题，但序列显著变长，逐字节输出导致推理速度难以接受。
• 动态切分路线：如 Meta 的 BLT，根据字节流信息量变化预测语义边界并动态切分，把切分权交给模型。
• 文本视觉化路线：如 PIXEL 将文字渲染为图像识别，在跨语种和生僻字形上表现突出；DeepSeek-OCR 等工作显示该方向有潜力，难点在输出端转回可编辑文字。
• 综述判断：新思路各有亮点，但替换现有分词地基的训练与评测成本很高；建议方向包括更好的分词器缩放定律、针对子词缺陷的替代方案和更可靠的评测基准。

写在最后

• 回到 strawberry 问题：模型并非记性差或偷懒，而是它“睁眼”看到的是分词器提前打包好的数字编号。
• 文章提醒读者关注文本进入模型的第一步被切成了什么，并指出 2025 年三个机器学习顶会论文摘要中提及分词相关词的占比最多只有 2%，但这一环节深刻影响模型擅长什么、在哪里出错。