BPE（Byte Pair Encoding）

BPE 的发展经历了两个阶段。压缩算法阶段（1994-2015）：Philip Gage 于 1994 年发表 BPE 算法，用于文本数据压缩。算法核心是迭代合并最高频字节对，通过查找表实现压缩和解压。这一时期 BPE 主要用于 Unix 系统的 compress 命令等工具。

NLP 分词阶段（2016-至今）：Sennrich et al.（2016）将 BPE 改造为子词分词方法，应用于神经机器翻译。关键创新是将 BPE 从字节级提升到 token 级，合并规则从字节对变为 token 对。

2018 年 Google 的 WordPiece（BPE 的变体，使用似然而非频率指导合并）随 BERT 发布。2019 年 SentencePiece 提供语言无关的分词框架，支持 BPE 和 Unigram 两种算法，被 LLaMA、T5 等模型采用。

2024 年 OpenAI 发布 tiktoken 库和 o200k 分词器，针对多语言和代码做了专门优化。截至 2026 年，BPE 及其变体是 LLM 分词器的主流选择，词表大小从 32K（LLaMA 2）到 200K（GPT-4o）。

BPE 的训练算法分为三步：

• 初始化：将语料中每个字符作为独立 token，构建初始词表（通常 256 个字节）。
• 频率统计：遍历语料，统计所有相邻 token 对的出现频率。
• 合并与迭代：找到频率最高的 token 对，合并为新 token 加入词表，将语料中所有该 pair 替换为新 token。重复步骤 2-3 直到词表达到目标大小。BPE 的变体包括：WordPiece（Google）——使用训练数据似然（而非频率）选择合并对，对低频 pair 更保守；Unigram（Kudo, 2018）——从大词表开始，迭代删除使训练数据似然下降最小的 token，直到达到目标大小，支持多种分词粒度；SentencePiece——在原始字节（而非字符）上运行 BPE/Unigram，实现语言无关的分词，特别适合中日韩等无空格语言。

分词器是 LLM 处理文本的第一道工序，决定了模型如何「看见」语言。BPE 的选择对 LLM 有三个关键影响：

• 上下文窗口利用率：同一文本在不同分词器下的 token 数量差异可达 2-3 倍。例如「unbelievable」在字符级需要 12 个 token，在 BPE 子词级只需 3 个（un+believ+able）。128K 上下文窗口在不同分词器下能容纳的实际内容量差异巨大。
• 多语言能力：为英文优化的 BPE 分词器处理中文时可能需要 3-5 倍的 token 数量。GPT-4 的 o200k 分词器针对中文做了专门优化，将中文 token 效率提升约 40%。
• 推理成本：API 按 token 计费，分词效率低意味着同样的内容要付更多钱。分词器还影响模型对词义的理解——子词级分词保留了有意义的语义单元（如「un」表示否定），比字符级分词提供更丰富的语义信息。