核心要点
异常信号识别：模型在 SWE-bench Verified 上 80%+ 但在私有代码任务、人工盲测、跨基准迁移上明显掉分——分数与能力的「剪刀差」是污染的第一信号，不是结论。
n-gram overlap（精确重叠）：计算训练样本与测试样本在 5-13 gram 层面的精确重叠比例，阈值以上判定为污染样本；优点是判定严格、可复现，缺点是对改写与翻译不敏感。
embedding similarity（语义重叠）：用嵌入模型把训练/测试样本映射到向量空间，按余弦相似度判定语义重叠；能捕获改写与同义表述，缺点是阈值依赖嵌入模型本身、可能误判。两条路径组合使用：n-gram 抓精确泄露，embedding 抓语义泄露。
ablation study（因果归因）：在模型权重/激活中定位「对特定测试样本的响应是否来自记忆而非推理」——典型做法是遮蔽训练集中疑似污染样本后重训/微调，观察测试分数下降幅度；下降显著即因果归因成立。
污染确认后的策略重构：从「单一基准分数」转向「基准组合 + 私有评测 + 过程评估」三层防御——动态基准（LiveBench、Chatbot Arena 隐式评测）+ 加密/私有测试集 + 过程评测（评推理链、工具调用、代码 diff 而非最终答案）。
简要回答
当模型在 SWE-bench Verified 上得分异常高但实际能力不匹配时，系统性诊断分三步：第一步用 n-gram overlap 抓训练集与测试集的精确重叠，第二步用 embedding similarity 抓语义重叠（改写、同义表述），第三步用 ablation study 做因果归因——遮蔽疑似污染样本后重训，观察测试分数下降幅度确认污染是否写入权重。三条路径交叉验证避免单一方法的盲区。污染确认后，评估策略必须从「单一基准分数」转向三层防御：动态基准（让训练语料追不上测试集更新）、私有/加密测试集（模型开发者拿不到明文题目）、过程评测（评推理链而非答案，使记忆失去意义）。
标准回答
一、异常信号识别：分数与能力的剪刀差
基准污染的第一个信号不是「分数高」，而是「分数高但能力不匹配」。具体判据：(1) 在 SWE-bench Verified 上 80%+ 但在私有代码任务、人工盲测、跨基准迁移上明显掉分；(2) 模型对测试集内题目的解法与训练语料中的标准解法高度同构（连错误模式都一致）；(3) 同一模型家族在「公开基准」与「隐式评测」（如 Chatbot Arena）上的排名倒挂。这些信号单独都不构成结论，但组合出现时污染概率显著上升。
二、诊断路径一：n-gram overlap（精确重叠）
n-gram overlap 是最严格的污染检测：把训练语料与测试集按 5-13 gram 切分，计算精确重叠比例，超过阈值（通常 50%+ 的测试样本在训练集中有 >30% 的 n-gram 重叠）判定为污染样本。优点是判定严格、可复现、误判率低；缺点是对改写、翻译、语义等价表述完全不敏感——如果训练语料把测试题「换个说法」重述一遍，n-gram 抓不到。OpenAI 在 SWE-bench Verified 分析中把 n-gram overlap 作为第一道筛子。
三、诊断路径二：embedding similarity（语义重叠）
embedding similarity 用嵌入模型（如 OpenAI text-embedding-3、BGE、GTE）把训练样本与测试样本映射到向量空间，按余弦相似度判定语义重叠，阈值通常取 0.85-0.92。它能捕获 n-gram 漏掉的改写、同义表述、跨语言翻译；缺点是阈值选择依赖嵌入模型本身（不同嵌入模型给出的相似度分布不同），且可能把「主题相关但非污染」的样本误判为污染。实战中两条路径组合使用：n-gram 抓精确泄露，embedding 抓语义泄露，交集作为高置信污染集，并集作为疑似污染集。
四、诊断路径三：ablation study（因果归因）
前两条路径只能证明「重叠存在」，不能证明「污染写入权重并影响推理」。ablation study 做因果归因：在训练集中定位疑似污染样本，遮蔽后重训（或在已训模型上做知识编辑/激活遮蔽），观察测试分数下降幅度。下降显著（如 >10 分）即因果归因成立——污染不只是统计重叠，而是实际驱动了测试表现。这是三条路径中最贵但最有说服力的一条，因为它直接回答「污染是否真的在影响推理」而非「污染是否存在」。
五、污染确认后的评估策略重构
污染确认后，单一基准分数不再可信，评估策略必须重构为三层防御。(1) 动态基准：定期更新题目池、让训练语料追不上测试集更新，如 LiveBench（每月更新）、Chatbot Arena（隐式评测，用户不知道自己在评分）。(2) 私有/加密测试集：把测试题目以加密或哈希形式发布，模型开发者只能提交代码到评测服务器、无法拿到明文题目（OpenAI SWE-bench Verified 采用此路径）。(3) 过程评测替代结果评测：不评最终答案而评推理过程、工具调用链、代码 diff，使记忆答案失去意义（SWE-bench 的 patch-eval 变体）。三层并不互斥，产业实践是组合部署——任何一层单独都不够，组合起来才能把污染影响压到可控范围。
常见误区
误区一：把「分数高」直接等同于「污染」。高分可能是真实能力进步，也可能是污染——需要三条诊断路径交叉验证才能下结论。仅凭分数异常就指控污染，会损害评估公信力。
误区二：只用 n-gram overlap 一种方法。n-gram 对改写完全不敏感，如果训练语料对测试题做了同义重述，n-gram 会给出「零污染」的假阴性。必须配合 embedding similarity 抓语义重叠，再用 ablation study 做因果归因。
误区三：认为污染确认后该基准就彻底作废。基准的价值不在于「绝对纯净」而在于「可比性」——只要污染程度被量化并公开，基准仍可用于横向对比（前提是各模型面对同一污染分布）。真正该废弃的是「把单一基准分数当作能力终点」的评估习惯，而不是基准本身。
误区四：忽略 ablation study 的因果归因。n-gram 与 embedding 只能证明「重叠存在」，不能证明「污染写入权重」。没有 ablation study 的指控在学术上站不住脚——重叠可能是巧合、主题相关或数据清洗不彻底，不等于模型在「背答案」。
追问
追问 1：n-gram overlap 与 embedding similarity 的阈值应该怎么选？选错阈值会导致什么后果？
阈值选择是污染检测的核心工程决策，没有通用最优值。n-gram overlap 阈值通常取「测试样本在训练集中有 >30% 的 13-gram 重叠」，过严（如 90%）会漏掉改写型污染，过松（如 10%）会把常见短语（如 "hello world"、"import numpy"）误判为污染。embedding similarity 阈值通常取 0.85-0.92，依赖嵌入模型本身——不同嵌入模型给出的相似度分布不同，必须先用「已知无污染」与「已知污染」的对照集校准阈值。选错阈值的后果不对称：过严导致假阴性（漏掉真实污染，评估继续被污染分数误导），过松导致假阳性（误判无辜基准，浪费重训与重评成本）。实战做法是两条路径组合：n-gram 与 embedding 的交集作为高置信污染集，并集作为疑似污染集，疑似集再用 ablation study 做因果归因。
追问 2：ablation study 的成本很高，有没有更轻量的替代方案？在什么场景下必须做 ablation？
ablation study 的成本在于需要重训或知识编辑，对大模型可能不可行。轻量替代方案有三：(1) 成员推断攻击（Membership Inference）：用模型对测试样本的 token 级困惑度分布推断该样本是否在训练集中，不需要重训；(2) 提取攻击（Extraction Attack）：用特定提示诱导模型逐字输出训练样本，能直接证明模型「记住了」测试题；(3) 跨模型对比：同一测试集在不同训练语料（如去污染前后）的模型上跑分，分数差即污染的近似归因。但三条替代都不能完全取代 ablation 的因果归因能力——它们能证明「记忆存在」，不能证明「记忆驱动了测试表现」。必须做 ablation 的场景：(1) 基准分数被用于重大决策（模型发布、采购、论文结论）；(2) 污染指控被用于公开争议，需要可复现的因果证据；(3) 模型供应商需要用 ablation 结果指导数据清洗策略。
追问 3：如果确认 SWE-bench Verified 被污染，现有模型在该基准上的分数还能用于横向对比吗？
能，但有前提条件。基准的价值不在于「绝对纯净」而在于「可比性」——只要污染程度被量化并公开，且各模型面对同一污染分布（同一版本的测试集、同一污染检测阈值），横向对比仍然有意义。真正该废弃的是「把单一基准分数当作能力终点」的评估习惯，而不是基准本身。具体做法：(1) 公开污染检测报告：n-gram + embedding 的污染比例、ablation 的归因幅度，让使用者知道分数的可信区间；(2) 交叉验证：横向对比时配合至少一个「低污染基准」（如 LiveBench、Chatbot Arena 隐式评测）；(3) 长期策略：迁移到动态基准与过程评测，使污染本身变得难以实现。边界要讲清楚：污染确认后继续裸用单一基准分数是失职，但完全废弃该基准也是过度反应——关键是量化污染并组合使用。
🔗 相似问题
同一考点的不同问法，换着练更稳
延伸学习
按主题分类的相关资源，便于系统复习