Perplexity（困惑度）

困惑度衡量「模型平均要在多少个候选词中猜测下一个词」，是语言建模中最直接的概率指标。

• 数学定义：PPL = exp(−(1/N) Σ log P(wᵢ|w₁…wᵢ₋₁))，即测试集上每词负对数概率之均值的指数。
• 直觉含义：PPL = k 意味着模型平均表现如同在 k 个等概率候选中随机选择；k 越小越自信。
• 历史参照：早期 n-gram 模型在 Penn Treebank 上 PPL 常达数百；现代 LLM 已可压至个位数。
• 命名歧义：Perplexity.ai 是一家 AI 搜索产品公司，与本词条的统计指标含义完全不同，切勿混淆。

困惑度的计算基于语言模型对测试序列的自回归概率分解。

• 链式法则：P(w₁…wN) = ∏ P(wᵢ|w₁…wᵢ₋₁)，模型对每一步做条件概率预测。
• 等价交叉熵：PPL = exp(H)，其中 H 为测试集上的平均交叉熵损失（单位 nats），故训练 loss 与 PPL 通过指数关系相互转换。
• 数据无泄露要求：测试集必须与训练集严格隔离，否则 PPL 会虚假偏低，失去评估意义。
• Token 化依赖：PPL 对分词方案（词级 / BPE / 字符级）极为敏感，不同粒度之间的数值不可直接横向比较。

困惑度在多个 NLP 工程场景中被作为快速、无监督的质量信号使用。

• 模型对比：在 WikiText-2、WikiText-103、C4 等标准测试集上比较不同模型的拟合能力，GPTQ、LLaMA 等论文均以此为基准。
• 训练监控：验证集 PPL 的持续下降是训练收敛的直接信号，异常回升往往提示过拟合或数据问题。
• 量化与压缩评估：模型量化（如 GPTQ、AWQ）后的 PPL 退化幅度是衡量精度损失的标准方法。
• 领域适配验证：微调（fine-tuning）或持续预训练后，目标领域测试集上的 PPL 下降说明模型向该分布靠拢。
• 快速筛选：在资源有限的消融实验中，PPL 比人工评测成本低、速度快，可用于快速淘汰差方案。

PPL 是代理指标，实际使用中有若干常见陷阱。

• 低 PPL ≠ 高质量：模型倾向输出高频平凡词或记住训练数据，均可压低 PPL，但生成文本可能枯燥重复。
• 创造性与 PPL 负相关：多样性、新颖性强的生成往往拉高 PPL，不宜单用 PPL 评价开放式生成任务。
• 词表大小影响可比性：词表越大，同等质量模型的 PPL 通常越高，跨模型比较须确认词表一致。
• 数据集不可混用：不同测试集的难度、领域各异，跨数据集的 PPL 数值无法直接横向比较。
• 需与下游指标联看：实际评测中应配合 BLEU、ROUGE、人工评测或任务准确率等指标综合判断。

困惑度与多个相邻指标有紧密关联但各有侧重。

• PPL vs 交叉熵（Cross-Entropy）：两者本质等价，PPL = exp(H)；交叉熵以 bits/nats 计，PPL 以「有效候选数」计，更直觉友好。
• PPL vs BLEU/ROUGE：BLEU、ROUGE 需要参考答案（有监督），PPL 无需参考可无监督计算；BLEU 衡量 n-gram 匹配，PPL 衡量概率拟合。
• PPL vs BPC（Bits Per Character）：两者理念一致，BPC 常用于字符级模型，PPL 更多用于词/token 级模型；BPC 越低同样代表越好。
• PPL vs FID：FID 用于图像生成质量评估（基于特征分布），与 PPL 的文本概率指标是不同模态的评估框架。

困惑度指标的演变折射了语言建模技术的整体进步。

• 1951：Shannon 发表《Prediction and Entropy of Printed English》，奠定语言熵与困惑度的理论基础。
• 1980-2000 年代：统计 n-gram 语言模型时代，Penn Treebank 成为 PPL 标准基准，Kneser-Ney 平滑等方法不断刷新记录。
• 2013-2017：神经语言模型（LSTM、RNN）崛起，WikiText-2/103 成为新基准，PPL 大幅下降。
• 2018-2020：BERT、GPT-2 等预训练模型将 PPL 推向新低，GPT-2 在 WikiText-103 上达到约 10.8。
• 2020 年代至今：大规模 LLM（GPT-3、LLaMA 系列）使 PPL 进一步压缩，研究重心逐渐转向下游任务基准（MMLU、HumanEval），但 PPL 在量化压缩评估中依然是核心指标。