arXiv 新研究：BenchJack 系统性审计 AI Agent 基准测试，揭露评估体系漏洞

BenchJack：系统性审计 AI Agent 基准测试

2026 年 5 月，arXiv 论文。

论文信息

• 标题：Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack
• 来源：arXiv cs.AI

核心发现

• BenchJack 是一个系统性审计 AI Agent 基准测试的框架
• 通过该框架发现主流 Agent 评估体系存在漏洞
• Agent 可能通过特定方式"欺骗"基准测试，获得虚高评分

行业影响

这与 LLM-as-Judge 的可靠性危机一脉相承：

• AI Agent 评估体系本身需要被评估
• 基准测试的设计需要更加健壮
• Agent 能力评估需要多维度交叉验证

与网站的关联

本网站已有多篇文章讨论 Agent 评估问题（Agent 评测与基准测试、MiroEval、ViGoR 等），BenchJack 为这个话题提供了新的方法论。

来源： arXiv
链接： https://arxiv.org