评测基准（Benchmark）

评测基准通过固定题库、统一评分规则，让不同模型在相同条件下「参加同一场考试」。

• 标准化对比：屏蔽工程差异，使研究者能公平比较不同架构、不同规模的模型
• 多维度覆盖：单一 benchmark 通常聚焦某类能力（如数学、代码、常识），需多个组合才能全面评估
• 社区驱动：主流基准由学术机构或开源社区维护，结果可在排行榜（leaderboard）上公开查阅
• 局限明显：高分不等于好用——「考试分数」与真实业务效果之间仍存在显著落差

按能力维度划分，主流评测基准大致分为以下几类。

• 综合知识推理：MMLU（57 个学科选择题）、AGIEval（针对人类考试题目）——测试模型的广度知识储备
• 数学推理：GSM8K（小学数学应用题，8500 题）、MATH（竞赛级数学）——衡量逐步推理与符号运算能力
• 代码生成：HumanEval（164 道 Python 函数补全题）、MBPP（基础编程题）——评估代码正确率（Pass@k）
• 长文本理解：SCROLLS、LongBench——测试超长上下文下的信息检索与总结能力
• 安全与对齐：TruthfulQA（抗幻觉）、BBQ（偏见检测）——关注模型的可信度和公平性

一个完整的 benchmark 评测流程包含数据、评分和报告三个环节。

• 固定测试集：题目与答案在发布后保持不变，通常分为公开集（用于调试）和隐藏集（防止过拟合）
• 自动评分：选择题用精确匹配，代码题用单元测试（Pass@k），生成题可用 BLEU/ROUGE 或 LLM 裁判（LLM-as-judge）
• Few-shot 设定：多数基准采用 0-shot 或 5-shot 提示，以减少提示工程对结果的影响
• 结果聚合：多个子任务取平均或加权平均，汇成单一总分，便于排名

评测分数被广泛引用，但也带来了若干系统性误解，需要警惕。

• 数据污染（contamination）：训练数据中若包含测试题目，模型会「记住答案」而非真正理解；实证研究发现泄漏比例从 1% 到 45% 不等，仅调整选项顺序就可让 MMLU 准确率下降逾 13%
• 古德哈特定律（Goodhart's Law）：「当一个指标变成优化目标，它就不再是好指标」；专门针对基准优化的模型往往在真实场景中表现平庸
• 饱和问题：顶级模型在 GSM8K、HumanEval 等早期基准上已接近满分，区分度下降，催生了更难的替代品
• 与业务脱节：benchmark 通常为封闭题，而真实场景是开放、上下文依赖的，高分模型不一定更「好用」
• 需结合人工评测：对话质量、指令遵循等主观能力，仍需人工标注或 Arena（如 LMSYS Chatbot Arena）众包对比来补充

评测基准常与其他评估手段混用，以下对比有助于厘清边界。

• Benchmark vs 人工评测：前者可自动化、成本低、可复现；后者更贴近真实感受，但昂贵且难以标准化
• Benchmark vs A/B 测试：A/B 测试在真实用户流量中比较，评估的是业务指标（如留存率），而 benchmark 评估的是模型能力指标
• Benchmark vs 评估数据集（eval set）：eval set 通常指某项目内部的测试集；benchmark 特指公开、跨团队可复现的标准测试
• Benchmark vs 排行榜（Leaderboard）：排行榜是展示 benchmark 结果的平台（如 Open LLM Leaderboard），两者是「考题」与「成绩单」的关系

随着模型能力快速提升，评测基准本身也在持续迭代演进。

• 2018：GLUE 发布，成为 NLP 时代第一个广泛使用的多任务综合基准，推动了 BERT 等模型的崛起
• 2019：SuperGLUE 因 GLUE 很快被饱和而推出，难度显著提升
• 2021：MMLU（Hendrycks 等）、HumanEval（OpenAI Chen 等）、GSM8K（OpenAI Cobbe 等）同年发布，共同奠定 GPT 时代的评测框架
• 2023：LMSYS Chatbot Arena 上线，引入基于 ELO 排名的人工众包对比，补充自动评分的不足
• 2024：GPQA（博士级科学题）、Humanity's Last Exam 等高难度基准相继出现，应对顶级模型的饱和问题
• 2025 至今：多模态基准（图像、视频、音频）与 Agent 评测基准成为新热点，静态题库向动态交互测试演进