Pelican Benchmark
Pelican Benchmark测 LLM 推理效率的新标尺
亦作、亦称：Pelican · 鹈鹕基准
Pelican Benchmark 是 Simon Willison 提出的 LLM 评测新方法论——用'每 pelican 成本'替代传统分数，同时衡量推理质量、效率和成本，更贴近真实使用场景。
评测方法论创新
传统 LLM 评测（MMLU、HumanEval、GSM8K）只关注'准确率'——模型在标准化测试集上的得分。但企业选型需要考虑的远不止准确率：推理效率——生成 1000 token 需要多少时间？成本——完成一个任务需要多少 API 费用？推理深度——模型是否真正'思考'了还是快速猜测？Pelican Benchmark 通过标准化推理任务同时衡量这三个维度，产出'每 pelican 成本'作为综合指标。
在 Kimi K3 评测中的应用
Simon Willison 在评测 Kimi K3（2.8T 参数 MoE 模型）时首次使用 Pelican Benchmark。
关键发现： Kimi K3 完成一个标准化推理任务的成本约为 25 cents/pelican（13,241 reasoning tokens）。
与竞品对比： GPT-5.6 定价 $15/$60 per million tokens，Claude 3.5 定价 $3/$15 per million tokens，Kimi K3 在性价比上具有显著优势。
社区反响： 这一评测方法论被 HN 社区广泛讨论（291 pts），被认为是 LLM 评测从'学术 benchmark'走向'实用经济学'的重要一步。
方法论意义与局限
Pelican Benchmark 的核心贡献是将 LLM 评测从单一准确率维度扩展到质量×效率×成本三维空间。
意义： 传统 benchmark（MMLU、HumanEval）只衡量模型能力上限，不衡量实际使用价值。Pelican 填补了'实际性价比'这一空白。
局限： 标准化推理任务的选择会影响结果——不同任务类型（代码生成 vs 数学推理 vs 文本理解）的成本结构不同。此外，pelican 指标对 prompt 工程敏感——优化 prompt 可以显著降低成本，但这引入了评测者偏差。
常见误解
日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。
- 「测 LLM 推理效率的新标尺」
相关术语
和本术语关联紧密的其他词条，便于串联理解。
🎯 考点练习
含该术语的高频面试题，含标准答案与追问。
- 中级场景高频查看详解 →
如何评估 LLM 在真实场景（非基准测试）中的能力？
传统基准测试（MMLU、HumanEval）与真实场景表现存在显著差距。2026 年 Pelican Benchmark 提出以真实用户任务为核心的评测方法论，结合人工评估、A/B 测试和领域专项评测，构建更可靠的 LLM 能力评估体系。
- 初级概念高频查看详解 →
什么是大语言模型（LLM）？它能做什么、不能做什么？
LLM 是基于 Transformer、在海量文本上预训练的自回归语言模型，擅长语言任务，但不擅长精确计算、实时信息，且会产生幻觉。
- 高级概念查看详解 →
解释 MoE 架构中 Expert 路由策略的演进
从传统 top-k 显式路由到 Stable LatentMoE 潜空间路由的演进，解决路由不稳定、Expert 利用率不均和超长上下文下的扩展性问题。
- 中级概念查看详解 →
DSL 如何提升 LLM 使用的可靠性？举例说明
Martin Fowler 提出用 DSL（领域特定语言）替代自然语言作为 LLM 的输入/输出接口，通过语法严格、类型安全和可验证性显著提升可靠性。
延伸阅读
从知识库精选 1 篇文章，帮助深入理解该术语。
外部参考
维基百科：查看「Pelican Benchmark」词条本页内容为本站原创撰写；维基百科链接仅作延伸参考。
