Benchmark Contamination（基准污染）

基准污染的根本症状是训练集与测试集在样本层面重叠。

公开基准（MMLU、HumanEval、SWE-bench、GSM8K）的题目与解答早已进入 Common Crawl、GitHub、StackOverflow 等大规模预训练语料，模型在预训练阶段就见过考题。

SWE-bench Verified 的审计发现 59.4% 任务存在缺陷——不是任务本身错，而是任务在训练语料中可被召回。结果是前沿模型在污染基准上的分数不再反映泛化能力，而反映训练语料与测试集的重叠程度。

检测基准污染的两条主流量化路径。

n-gram overlap：计算训练样本与测试样本在 n-gram（通常 5-13 gram）层面的精确重叠比例，阈值以上判定为污染样本，优点是判定严格、可复现，缺点是对改写与翻译不敏感。

Embedding similarity：用嵌入模型把训练样本与测试样本映射到向量空间，按余弦相似度判定语义重叠，能捕获改写与同义表述，缺点是阈值选择依赖嵌入模型本身、可能误判。

两条路径通常组合使用：n-gram 抓精确泄露，embedding 抓语义泄露。OpenAI 在 SWE-bench Verified 分析中同时报告了两种度量。

缓解分三层。

动态基准：定期更新题目池、引入私有测试集、让基准随时间滚动，使训练语料追不上测试集更新（如 LiveBench、Chatbot Arena 的隐式评测）。

加密测试集：把测试题目以加密或哈希形式发布，模型开发者只能提交代码到评测服务器、无法拿到明文题目（OpenAI SWE-bench Verified 采用此路径）。

过程评测替代结果评测：不评最终答案而评推理过程、工具调用链、代码 diff，使记忆答案失去意义（SWE-bench 的 patch-eval 变体）。

三层并不互斥，产业实践是组合部署。

Benchmark Contamination 是 Data Leakage 在 LLM 评估场景的特化形态，但两者不等同。

Data Leakage（数据泄露）是更宽的机器学习概念：训练集里混入了测试集的信息，可能来自特征工程、时间穿越、标签泄露等任意通道。

Benchmark Contamination 特指 LLM 预训练语料与公开评估基准的重叠，载体是自然语言题目与答案，成因是互联网规模语料不可避免地覆盖公开基准。

边界含义：传统 ML 的 k-fold 交叉验证、时间切分等防泄露手段对 LLM 不完全适用——预训练只做一次，测试集必须在预训练之前就与训练语料物理隔离，否则污染已经写入权重。