如何评估 LLM 在真实场景（非基准测试）中的能力？

传统基准测试（MMLU、HumanEval）与真实场景表现存在显著差距。2026 年 Pelican Benchmark 提出以真实用户任务为核心的评测方法论，结合人工评估、A/B 测试和领域专项评测，构建更可靠的 LLM 能力评估体系。核心指标是 25 cents/pelican（完成一个标准真实任务的成本），评测维度包括准确性、有用性、安全性、延迟、成本、一致性和长尾处理能力。

一、基准测试的局限性

传统 LLM 基准测试（MMLU、HumanEval、GSM8K、ARC 等）在 2026 年已暴露出严重的可信度问题：

数据污染（Data Contamination）：基准测试的题目已被大量模型纳入训练数据，模型在基准上的高分可能来自记忆而非理解。2026 年多个模型被发现在 MMLU 上存在数据泄露——对训练集中出现过的题目得分远高于新题目。

任务窄化：基准测试通常衡量孤立能力（数学推理、代码生成、知识问答），但真实场景需要多步推理、工具调用、上下文管理、错误恢复等综合能力。一个模型可能在 HumanEval 上得分 95%，但在实际编码助手场景中因为无法处理模糊需求、不会主动澄清而表现糟糕。

与用户体验脱节：基准测试衡量的是"模型能做什么"，而用户关心的是"模型在我的场景中做得好不好"。一个翻译模型可能在 BLEU 分数上领先，但用户实际体验中可能因为文化适配差、术语不一致而不如得分更低的模型。

二、Pelican Benchmark 方法论

2026 年 7 月，Simon Willison 在分析 Kimi K3 时推广了 Pelican Benchmark 方法论——以真实用户任务为核心的评测框架。

核心理念：不使用标准化的学术基准，而是定义一组代表真实使用场景的任务（如"将一篇英文技术博客翻译为中文并保留代码格式"、"根据用户描述生成一个 React 组件"），用实际完成质量作为评测标准。

成本效率指标：25 cents/pelican——完成一个标准真实任务的成本（以美元计）。这比单纯的 token 价格更有意义，因为它同时反映了模型能力和定价。一个 token 价格高但完成任务质量好的模型，可能比 token 价格低但需要多次重试的模型更划算。

评测流程：1) 定义 50-100 个代表性任务（覆盖目标场景的核心用例和长尾用例）；2) 每个任务在相同条件下运行 3 次取中位数；3) 由人工评估者对输出做 1-5 分质量评分；4) 计算每个模型的总成本和平均质量分。

三、真实场景评测框架设计

第一步：任务定义。从实际使用场景中提取任务，覆盖三个层次：核心任务（占 80% 使用量，如代码补全、文档摘要）、边界任务（占 15%，如多语言混合、超长上下文）、对抗任务（占 5%，如恶意输入、模糊指令）。

第二步：数据准备。使用真实数据而非人工构造的测试数据。从生产日志中采样（脱敏后），确保数据分布与真实使用一致。数据量建议：每个任务类型至少 30 个样本以确保统计显著性。

第三步：评测指标。多维度评估：

第四步：人工评估。人工评估是真实场景评测的核心环节，但成本高、主观性强。优化方法：使用双盲评估（评估者不知道模型名称）、多评估者交叉验证（每个输出至少 2 人评估）、Kappa 一致性系数 > 0.7 才采纳结果。

第五步：A/B 测试。在线上环境中直接对比两个模型——相同任务随机分配给模型 A 或模型 B，收集用户满意度、任务完成率、重试率等指标。这是最接近真实场景的评测方式，但需要足够的流量才能获得统计显著性。

四、实操建议

对于资源有限的团队，推荐三层评测策略：第一层（必做）——定义 10 个核心任务 + 人工评估，成本约 $500/次评测；第二层（推荐）——扩展到 50 个任务 + 自动化指标 + 人工评估，成本约 $2000/次；第三层（理想）——线上 A/B 测试 + 持续监控 + 定期全量评测。