LLM-as-Judge 的可靠性危机：保形预测与传递性分析揭示大规模不一致性

自然语言生成（NLG）评估是 NLP 研究的核心环节。从机器翻译到文本摘要，从对话系统到代码生成，每一项进展都需要可靠的评估方法来衡量。

近年来，LLM-as-Judge（让大语言模型充当评委）已成为最流行的自动化评估方法之一。它的核心思路很直观：既然 GPT-4、Claude 等模型在语言理解上远超人类，为什么不用它们来评估文本质量呢？

实践证明确实有效。大量研究表明，LLM 评委的评分与人类判断具有高度相关性（Spearman ρ > 0.8）。这使其成为大规模模型比较的标准工具。

但一个根本性问题被长期忽视：LLM 评委在每一个具体案例中的可靠性如何？

2026 年 4 月，一篇题为「Diagnosing LLM Judge Reliability: Conformal Prediction Sets and Transitivity Violations」的论文给出了令人不安的答案：

• 33-67% 的文档存在至少一次传递性违反（即 A>B>C 但 C>A 的逻辑矛盾）
• 相关性的评估最为可靠，而流畅性和一致性的评估几乎不可靠
• 评估标准的选择比使用哪个评委模型更重要

这些发现意味着，过去两年基于 LLM-as-Judge 发表的数百篇论文中，可能有大量结论建立在不可靠的逐例判断之上。

1.1 什么是 LLM-as-Judge？

传统的 NLG 评估依赖人工标注者——请人类评委阅读模型生成的文本，然后在多个维度上打分（如相关性、流畅性、连贯性、信息量等）。这种方法准确但昂贵、缓慢、难以规模化。

LLM-as-Judge 用大语言模型替代人类评委。典型做法是：

1. 将待评估文本和参考文本输入 LLM
2. 通过精心设计的 prompt，让 LLM 在 1-5 分的 Likert 量表上对文本质量打分
3. 比较 LLM 评分与人类评分的相关性

代表性工作包括 Zheng et al. (2023) 的「Judging LLM-as-a-Judge」、G-Eval 框架等。

1.2 为什么它如此受欢迎？

• 规模化：一个 API 调用即可评估数千条样本
• 一致性：同一 prompt 下 LLM 的评分理论上比人类更稳定
• 多维度：可同时评估相关性、流畅性、事实性等多个维度
• 成本：相比雇佣人工标注团队，成本降低数个量级

1.3 被忽视的问题

然而，现有评估几乎都聚焦于聚合层面的相关性（aggregate correlation）——即 LLM 评委的平均评分是否与人类平均评分一致。这忽略了一个关键问题：

对于单个具体样本，LLM 评委的判断可靠吗？

这正是这篇新论文要回答的问题。

2.1 传递性是什么？

传递性（Transitivity）是理性判断的基本逻辑要求：如果评委认为 A > B（A 优于 B），且 B > C（B 优于 C），那么评委必须认为 A > C。

如果评委判断 A > B、B > C 但 C > A，就构成了传递性违反——一个定向三元环（directed 3-cycle），这在逻辑上是不可能的。

2.2 实验设计

研究者在 SummEval 数据集上进行了系统性测试。SummEval 包含 100 篇新闻文档，每篇文档有 8 种不同的摘要版本。研究者让 4 个不同的 LLM 评委在 4 个评估标准（相关性 relevance、一致性 consistency、连贯性 coherence、流畅性 fluency）上对所有摘要进行打分。

然后，对于每篇文档，检查其 8 个摘要的排序是否满足传递性。

2.3 令人震惊的发现

聚合层面：传递性违反率非常低（ρ̄ = 0.8%-4.1%）。这意味着从整体来看，LLM 评委似乎相当一致。

逐例层面：但 33-67% 的文档 存在至少一个定向三元环！

这是一个巨大的差异。为什么？

因为聚合指标会被「大多数简单样本的正确判断」所稀释。一篇文档可能有 28 对比较（8 选 2），其中 27 对满足传递性，只有 1 对违反——聚合违反率很低，但那 1 对违反意味着评委对这篇文档的判断存在根本性的逻辑矛盾。

2.4 这意味着什么？

如果一篇文档的摘要排序中存在 A > B > C > A 的循环，这意味着：

1. 评委无法对这篇文档形成一致的判断
2. 基于这种判断做出的结论（如「模型 X 优于模型 Y」）是不可靠的
3. 聚合相关性指标完全掩盖了这些问题

更糟的是，传递性违反在不同评估标准间的分布极不均匀——某些标准上的违反率远高于其他标准，这说明评估任务本身的性质对可靠性有决定性影响。

3.1 什么是保形预测？

保形预测（Conformal Prediction） 是一种统计学框架，能够为任何机器学习模型的预测提供有理论保证的不确定性量化。

核心思想：不输出一个点预测（如「这个摘要是 4 分」），而是输出一个预测集（如「这个摘要的分数在 3-5 分之间」），并保证真实值以 ≥ (1-α) 的概率落在该集合内。

例如，设定 α = 0.1（即 90% 的置信水平），保形预测会输出一个分数区间，保证真实的人类评分有至少 90% 的概率落在这个区间内。

3.2 预测集宽度 = 可靠性指标

这篇论文的关键洞察是：保形预测集的宽度可以作为逐例可靠性的指标。

• 窄集合（如 {4} 或 {3,4}）：评委对这篇文档的判断很确定 → 可靠
• 宽集合（如 {1,2,3,4,5}）：评委对这篇文档的判断很不确定 → 不可靠

研究者在 1,918 个样本上验证了这一假设：预测集宽度与逐例可靠性之间存在极强的正相关（Spearman ρ = +0.576，p < 10⁻¹⁰⁰）。

3.3 跨评委的一致性验证

更令人信服的是，研究者在 4 个不同的 LLM 评委之间发现：预测集宽度在不同评委间具有稳定的相关性（r̄ = 0.32-0.38）。

这意味着什么？意味着预测集宽度捕捉的是文档本身的难度，而不是某个评委特有的噪声。

如果一份摘要对所有评委来说都很难判断，那么所有评委都会输出宽集合。这证明了保形预测集宽度是一个客观的可靠性指标，而非模型特定的 artifacts。

3.4 分标准的发现

研究者在 4 个评委 × 4 个标准的实验中发现：

一个关键结论：标准（criterion）的选择比评委（judge）模型更重要。无论使用哪个 LLM 作为评委，相关性的评估始终最可靠，而流畅性和一致性的评估始终不可靠。

这暗示了一个深层问题：LLM 对某些语言维度的判断本质上就是不稳定的，换用更强大的模型也无法根本解决。

4.1 主要发现

1. 传递性违反的逐例普遍性：33-67% 的文档存在至少一个定向三元环，远超低聚合违反率所暗示的水平。这揭示了 LLM 评委在复杂判断中的系统性不一致。

2. 保形预测集宽度作为可靠性指标：与逐例可靠性的强相关性（ρ = 0.576）证实了其有效性。跨评委的一致性（r̄ = 0.32-0.38）进一步证明它捕捉的是文档难度而非模型噪声。

3. 标准优先于评委：评估标准的选择对结果可靠性的影响远大于评委模型的选择。相关性可适度可靠，连贯性中等，流畅性和一致性不可靠。

4. 聚合指标掩盖逐例问题：低聚合违反率（< 5%）与高逐例违反率（> 33%）之间的巨大差异，警示我们不要被「整体相关性高」所误导。

4.2 对研究领域的影响

这项研究对 NLG 研究领域的影响是深远的：

• 论文评审：大量使用 LLM-as-Judge 的论文可能需要重新审视其结论的可靠性
• 模型比较：如果两个模型在「不可靠标准」上的差异很小，我们无法确定这是真实差异还是评委噪声
• 基准设计：未来基准应当包含逐例可靠性指标，而非仅报告聚合相关性

4.3 实践指南

基于这项研究，我们建议在使用 LLM-as-Judge 时遵循以下最佳实践：

1. 优先选择可靠的评估标准：相关性 > 连贯性 > 一致性/流畅性
2. 使用保形预测量化不确定性：为每个评分提供预测集，而非仅输出点估计
3. 检查传递性：在多方比较中主动检测传递性违反
4. 不要仅依赖聚合指标：逐例分析比整体相关性更重要
5. 考虑多评委投票：使用多个 LLM 评委并通过共识判断降低个体噪声

5.1 Split Conformal Prediction 原理

Split Conformal Prediction 是保形预测的一种高效变体，分为两个阶段：

阶段一：校准（Calibration）

1. 将已有标注数据分为训练集和校准集
2. 在校准集上训练/使用评委模型
3. 计算每个校准样本的「非一致性分数」（nonconformity score）
4. 根据这些分数的分位数确定预测集的构造阈值

阶段二：预测（Prediction）

1. 对新样本，评委模型输出初步评分
2. 根据校准阶段确定的阈值，构造预测集
3. 保证真实值以 ≥ (1-α) 的概率落在预测集内

5.2 在 LLM-as-Judge 中的具体实现

对于 1-5 分的 Likert 评分，实现步骤如下：

5.3 预测集宽度的解读

• 宽度 = 1（如 {4}）：评委非常确定，预测为单一分数
• 宽度 = 2（如 {3,4}）：评委较为确定
• 宽度 = 3（如 {2,3,4}）：评委有一定不确定性
• 宽度 = 4（如 {2,3,4,5}）：评委很不确定
• 宽度 = 5（如 {1,2,3,4,5}）：评委完全不确定，几乎等于随机猜测

研究者发现，当预测集宽度 ≥ 4 时，该样本上的 LLM 判断几乎不可信，应当标注为「低可靠性」并从关键分析中排除。

# 保形预测在 LLM-as-Judge 中的完整实现示例
import numpy as np
from typing import List, Set, Tuple

class ConformalLLMJudge:
    """使用保形预测量化 LLM-as-Judge 的逐例可靠性"""
    
    def __init__(self, llm_judge_fn, alpha: float = 0.1):
        self.llm_judge = llm_judge_fn
        self.alpha = alpha
        self.q_hat = None
        
    def calibrate(self, calibration_data: List[Tuple[str, int]]):
        """校准阶段：使用已标注数据确定阈值
        
        Args:
            calibration_data: [(文本, 人类评分), ...]
        """
        scores = []
        for text, human_score in calibration_data:
            llm_score = self.llm_judge(text)
            # 非一致性分数
            scores.append(abs(llm_score - human_score))
        
        n = len(scores)
        # 修正分位数
        self.q_hat = np.quantile(
            np.array(scores),
            min(np.ceil((n + 1) * (1 - self.alpha)) / n, 1.0)
        )
        return self.q_hat
    
    def predict(self, text: str) -> Tuple[int, Set[int], int]:
        """预测阶段：返回 (点估计, 预测集, 集合宽度)"""
        if self.q_hat is None:
            raise ValueError("请先调用 calibrate() 进行校准")
        
        llm_score = self.llm_judge(text)
        lower = max(1, int(np.ceil(llm_score - self.q_hat)))
        upper = min(5, int(np.floor(llm_score + self.q_hat)))
        prediction_set = set(range(lower, upper + 1))
        width = len(prediction_set)
        
        return llm_score, prediction_set, width
    
    def check_transitivity(self, scores: List[int]) -> bool:
        """检查传递性：如果 A > B > C，检查是否 A > C
        
        Args:
            scores: 同一文档多个摘要的评分列表
            
        Returns:
            True 如果满足传递性，False 如果存在违反
        """
        n = len(scores)
        for i in range(n):
            for j in range(n):
                for k in range(n):
                    if i != j and j != k and i != k:
                        if scores[i] > scores[j] and scores[j] > scores[k]:
                            if scores[k] >= scores[i]:
                                return False  # 发现传递性违反
        return True

# 使用示例
# judge = ConformalLLMJudge(llm_judge_fn=my_gpt4_judge)
# judge.calibrate(calibration_data)
# score, pred_set, width = judge.predict("待评估摘要文本")
# print(f"评分: {score}, 预测集: {pred_set}, 宽度: {width}")
# if width >= 4:
#     print("⚠️ 低可靠性判断，建议人工复核")

6.1 当前研究的局限性

1. 仅限于摘要任务：实验在 SummEval 数据集上进行，其他 NLG 任务（如翻译、对话、代码生成）的结论可能不同
2. 4 个评委 ≠ 全部：使用的 4 个 LLM 评委不能代表所有 LLM，更强大的模型（如 GPT-5、Claude Opus 4.6）可能表现更好
3. 保形预测需要校准数据：这要求已有高质量的人类标注数据，对于新的评估标准或语言可能不适用
4. 未考虑上下文效应：LLM 评委的评分可能受到 prompt 设计、上下文长度、系统消息等因素的显著影响

6.2 未来研究方向

1. 跨任务泛化：将诊断工具扩展到翻译、对话、代码生成等更多 NLG 任务
2. 动态可靠性筛选：在大规模评估中，自动排除低可靠性样本，仅保留高置信度判断
3. 评委集成：研究多个 LLM 评委的加权投票是否能显著降低传递性违反率
4. 不确定性感知基准：下一代 NLG 基准应当同时报告聚合相关性和逐例可靠性
5. 人类-LLM 混合评估：在低可靠性样本上自动回退到人类评估，实现成本与质量的最佳平衡

这篇论文为 LLM-as-Judge 的可靠性问题提供了一套可操作的诊断工具。它告诉我们两个重要事实：

事实一：聚合相关性高 ≠ 逐例判断可靠。 就像天气预报说「平均准确率 90%」并不意味着「每天的预报都可靠」一样，LLM 评委的整体表现不能保证其每一个判断都是正确的。

事实二：评估标准的选择比评委模型更重要。 无论使用哪个 LLM，相关性的评估始终比流畅性更可靠。这意味着我们在设计评估方案时，应当优先考虑「评估什么」，而不是「用什么评估」。

给研究者的建议

1. 不要仅报告聚合指标：在论文中同时报告传递性违反率和保形预测集宽度分布
2. 使用保形预测量化不确定性：为每个评分提供置信区间，让读者自行判断
3. 审慎解读「不可靠标准」的结果：流畅性和一致性上的微小差异可能只是噪声
4. 考虑人工复核低可靠性样本：当保形预测集宽度 ≥ 4 时，建议引入人类评委

给从业者的建议

1. 生产环境中优先使用相关性评估：在自动化评估流水线中，将相关性作为主要指标
2. 建立可靠性阈值：当逐例可靠性低于阈值时，自动触发人工审核
3. 多评委交叉验证：关键决策使用多个 LLM 评委，仅当达成共识时才采信

LLM-as-Judge 不会消失，但它需要变得更加透明和可靠。这篇论文为我们指明了方向：不要只看平均分，要看每个分数背后的不确定性。

• Diagnosing LLM Judge Reliability: Conformal Prediction Sets and Transitivity Violations (arXiv:2604.15302, 2026-04-16)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (Liu et al., 2023)
• SummEval: Re-evaluating Summarization Evaluation (Fabbri et al., 2021)
• A Tutorial on Conformal Prediction (Shafer & Vovk, 2008)