BLEU

BLEU 的核心思路：好译文在词语和短语层面应与人工参考译文高度重合。

• n-gram 精确率：分别统计 1-gram 到 4-gram 在参考译文中出现的比例，取加权几何平均
• 修剪精确率（clipped precision）：每个 n-gram 的匹配次数上限为它在参考译文中的最大出现次数，防止重复词刷分
• 简洁惩罚（Brevity Penalty，BP）：若候选译文总长度短于参考译文，乘以惩罚因子，抑制通过输出极短句子刷高精确率
• 得分范围：0 到 1 之间，学术论文通常以百分制报告（如 BLEU-4 = 30.5）
• 语料级统计：BLEU 在大规模语料上聚合后才有统计意义，单句 BLEU 噪声很大

计算分三步，最终得分 = BP × exp(Σ wₙ · log pₙ)。

• 第一步，逐阶精确率：对 n=1,2,3,4，统计候选译文中有多少 n-gram 出现在参考译文里，分别得到 p₁…p₄
• 第二步，几何平均：对四个精确率取对数加权平均（默认权重各 1/4），再取指数；任意 pₙ=0 时得分为 0
• 第三步，简洁惩罚：候选长度 c ≥ 参考长度 r 时 BP=1，否则 BP = exp(1 − r/c)
• 多参考：存在多条参考译文时，每个 n-gram 的匹配上限取所有参考中的最大值，BP 取长度最接近候选的那条参考
• 实现注意：分词方式直接影响得分，不同实现之间分数不可直接比较（SacreBLEU 解决了这一问题）

标准 BLEU 有几个常见变体，适用于不同场景。

• SacreBLEU：2018 年 Matt Post 提出，固定分词规则，消除实现差异，已成为学术论文报告 BLEU 的事实标准
• corpus-BLEU：先在整个语料上聚合 n-gram 统计再计算，结果稳定，是论文主流做法
• sentence-BLEU：对单句计算，因数据稀疏方差极大，需配合加平滑（如 add-k 或 Chen & Cherry 平滑）使用
• BLEU-1/2/3/4：分别只使用最高到 n=1/2/3/4 的精确率；BLEU-4 最常见，也对短句最敏感
• chrF/chrF++：基于字符级 n-gram 的改进变体，对形态丰富语言（如德语、芬兰语）表现更稳定

BLEU 最初专为机器翻译设计，后被借用到多个生成任务。

• 机器翻译评测：WMT 等竞赛的标配指标，便于不同系统横向对比
• 图像描述生成（image captioning）：MS-COCO 评测套件中 BLEU-4 是核心指标之一
• 文本摘要：部分数据集用 BLEU 配合 ROUGE 联合评估生成质量
• 超参数选择与早停：训练阶段在验证集上用 BLEU 作信号，因其不可微一般不直接进损失函数
• 基线比较：新方法论文中 BLEU 通常作为必报基线，便于与历史结果对比

BLEU 有几个广为人知的系统性缺陷，使用时需明确其边界。

• 对同义改写不敏感：语义完全正确但用词不同的译文（如「沙发」vs「软椅」）可能得分极低，只做字符串匹配不理解词义
• 单句噪声大：4-gram 在短句中极易出现零匹配，导致整体得分为 0，统计意义仅在语料级
• 不衡量流畅性与连贯性：语法混乱但词汇重叠高的句子仍可得高分
• 不衡量事实准确性：幻觉内容只要词汇与参考重合就不会被惩罚
• 过度依赖参考质量：参考译文本身质量差时，BLEU 对优质候选的惩罚反而更重
• 误区「BLEU 高 = 翻译好」：单一指标代替不了全面评估，现代评测通常将 BLEU 与 chrF、COMET、人工评估组合使用

BLEU 常与同领域的其他评估指标混淆或并列使用。

• BLEU vs ROUGE：BLEU 侧重精确率（候选中有多少命中参考），ROUGE 侧重召回率（参考中有多少被候选覆盖）；ROUGE 常用于摘要，BLEU 常用于翻译
• BLEU vs METEOR：METEOR 额外考虑词干匹配和同义词匹配，对改写更宽容，与人工评分相关性通常优于 BLEU
• BLEU vs COMET/BLEURT：后者基于预训练语言模型，能捕捉语义相似性，与人工评分相关性更高，但计算成本更高
• BLEU vs TER：TER（Translation Edit Rate）衡量把候选改成参考需要多少编辑步骤，角度互补；低 TER 与高 BLEU 通常同向但不等价
• BLEU vs LLM-as-judge：大语言模型直接打分能处理语义和风格，但成本高、结果难以复现

BLEU 从提出到成为标准，再到受到挑战，历经约二十年演变。

• 2002：Papineni、Roukos、Ward、Zhu 在 ACL 发表原始 BLEU 论文，随即成为机器翻译评测事实标准
• 2006：Callison-Burch 等发表「Re-evaluating the Role of BLEU in Machine Translation Research」，系统指出 BLEU 与人工评估相关性的局限
• 2014：MS-COCO 图像描述生成基准采用 BLEU-4，将其推广到翻译之外的生成任务
• 2018：Matt Post 发布 SacreBLEU，针对不同实现分词不一致导致分数不可比的问题提出标准化方案
• 2020 年前后：COMET、BLEURT 等基于预训练模型的指标相继发表，在与人工评分相关性上大幅超越 BLEU
• 2023 年至今：LLM-as-judge 范式兴起，BLEU 在开放域生成评测中地位进一步下降，但在翻译基线比较中仍不可缺席