大模型中的 Tokenizer 是什么？BPE 如何工作？

Tokenizer 负责文本↔token ID 转换。BPE 从字符级开始，反复合并语料中最频繁的相邻符号对，最终得到子词词表，能处理未登录词且词表可控。

一、先把结论讲清楚

为什么需要子词：纯词级词表大、OOV 多；纯字符级序列太长。BPE 流程：1) 初始字符级词表；2) 统计相邻符号对频率；

二、拆开机制和判断点

3. 合并最高频对为新符号；4) 重复至词表达目标大小。实践：GPT 系用 BPE，SentencePiece 支持多语言统一词表。

三、补上例子、边界和取舍

Tokenizer 与模型绑定，换模型必须换 tokenizer。中文常被切成较多 token，影响计费与上下文长度。

面试里可以补一句：大模型中的 Tokenizer 是什么 在大模型场景下通常要同时权衡效果、延迟、成本和安全边界。回答时最好带一个例子，比如上下文过长、幻觉、缓存命中或工具调用失败时，系统应该如何降级和观测。