Pelican Benchmark
Pelican Benchmark测 LLM 推理效率的新标尺
亦作、亦称：Pelican · 鹈鹕基准
Pelican Benchmark 是 Simon Willison 提出的 LLM 评测新方法论——用'每 pelican 成本'替代传统分数，同时衡量推理质量、效率和成本，更贴近真实使用场景。
评测方法论创新
传统 LLM 评测（MMLU、HumanEval、GSM8K）只关注'准确率'——模型在标准化测试集上的得分。但企业选型需要考虑的远不止准确率：推理效率——生成 1000 token 需要多少时间？成本——完成一个任务需要多少 API 费用？推理深度——模型是否真正'思考'了还是快速猜测？Pelican Benchmark 通过标准化推理任务同时衡量这三个维度，产出'每 pelican 成本'作为综合指标。
在 Kimi K3 评测中的应用
Simon Willison 在评测 Kimi K3（2.8T 参数 MoE 模型）时首次使用 Pelican Benchmark。
关键发现： Kimi K3 完成一个标准化推理任务的成本约为 25 cents/pelican（13,241 reasoning tokens）。
与竞品对比： GPT-5.6 定价 $15/$60 per million tokens，Claude 3.5 定价 $3/$15 per million tokens，Kimi K3 在性价比上具有显著优势。
社区反响： 这一评测方法论被 HN 社区广泛讨论（291 pts），被认为是 LLM 评测从'学术 benchmark'走向'实用经济学'的重要一步。
方法论意义与局限
Pelican Benchmark 的核心贡献是将 LLM 评测从单一准确率维度扩展到质量×效率×成本三维空间。
意义： 传统 benchmark（MMLU、HumanEval）只衡量模型能力上限，不衡量实际使用价值。Pelican 填补了'实际性价比'这一空白。
局限： 标准化推理任务的选择会影响结果——不同任务类型（代码生成 vs 数学推理 vs 文本理解）的成本结构不同。此外，pelican 指标对 prompt 工程敏感——优化 prompt 可以显著降低成本，但这引入了评测者偏差。
常见误解
日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。
- 「测 LLM 推理效率的新标尺」
相关术语
和本术语关联紧密的其他词条，便于串联理解。
🎯 考点练习
含该术语的高频面试题，含标准答案与追问。
- 中级场景高频查看详解 →
如何评估 LLM 在真实场景（非基准测试）中的能力？
传统基准测试（MMLU、HumanEval）与真实场景表现存在显著差距。2026 年 Pelican Benchmark 提出以真实用户任务为核心的评测方法论，结合人工评估、A/B 测试和领域专项评测，构建更可靠的 LLM 能力评估体系。
- 初级概念高频查看详解 →
什么是大语言模型（LLM）？它能做什么、不能做什么？
LLM 是基于 Transformer、在海量文本上预训练的自回归语言模型，擅长语言任务，但不擅长精确计算、实时信息，且会产生幻觉。
- 高级系统设计查看详解 →
当 LLM 上下文窗口达到 1M token 时，"Lost in the Middle" 效应对 RAG 系统设计有何影响？如何工程化缓解？
即使上下文窗口达到 1M token，"Lost in the Middle"（Liu et al. 2023）与 Context Rot（Chroma 2026）仍使模型对中间位置信息的利用率显著下降——标称容量不等于有效容量。RAG 系统不能把检索结果无脑堆叠进超长上下文，而须做检索重排（首尾优先）、分层上下文预算（工作记忆 vs 长尾知识）、分块聚合（map-reduce）与位置探针评测。本题考察候选人能否把位置偏置从论文概念转化为 RAG 工程约束。
- 高级系统设计查看详解 →
基准污染诊断：当 SWE-bench Verified 得分异常高但实际能力不匹配时，如何系统性诊断并调整评估策略？
OpenAI SWE-bench Verified 审计发现 59.4% 任务存在缺陷，前沿模型被检测到从训练数据中召回答案（adwaitx.com 2026-02 技术分析）。当模型在基准上得分异常高（如 80%+）但实际能力不匹配时，候选人需要展示三条独立诊断路径（n-gram overlap 精确重叠、embedding similarity 语义重叠、ablation study 因果归因）的交叉验证能力，以及污染确认后从「单一基准分数」转向「基准组合 + 私有评测 + 过程评估」的评估策略重构能力。本题区分「会跑 benchmark」与「理解 benchmark 为什么可信」的候选人。
延伸阅读
从知识库精选 1 篇文章，帮助深入理解该术语。
外部参考
维基百科：查看「Pelican Benchmark」词条本页内容为本站原创撰写；维基百科链接仅作延伸参考。