SWE-bench（软件工程任务基准）

SWE-bench 是专为评估大型语言模型解决真实软件工程任务而设计的基准测试集。

• 任务来源：从 12 个主流 Python 开源仓库（如 Django、scikit-learn、sympy 等）中筛选出约 2294 个任务实例
• 任务形式：给定仓库代码 + 一个真实 Issue 描述，要求输出能解决问题的代码修复补丁（diff 格式）
• 验证方式：用仓库原有单元测试框架自动验证，需使「fail-to-pass」测试通过
• 发表背景：Jimenez 等人于 ICLR 2024 正式发表，是首个系统性仓库级软件工程评测基准
• 意义：将 AI 编程评测从「写函数」提升到「修真实项目」的工程师层级

SWE-bench 的评测流程涵盖任务构建、模型推理和自动化验证三个核心环节。

• 数据构建：从 GitHub PR 中提取 Issue → 代码变更对，筛选含单元测试的高质量实例
• 上下文输入：模型接收完整仓库代码树 + Issue 文本，需理解跨文件依赖关系
• 输出要求：生成 unified diff 格式的补丁文件，可直接应用于仓库
• 自动评测：将补丁应用到仓库后，运行原始测试套件，统计「fail-to-pass」测试数量
• 关键指标：解决率（Resolve Rate），即模型成功修复的任务比例

为适应不同评测场景，SWE-bench 推出了多个官方子集和扩展版本。

• SWE-bench Lite：300 个精选任务，聚焦功能性 Bug 修复，降低评测成本，适合快速迭代对比
• SWE-bench Verified：2024 年 8 月发布，500 个经软件工程师人工核实「确实可解」的任务，减少噪声
• SWE-bench Multimodal：引入图像、表格等多模态 Issue 信息，评测多模态编码能力
• SWE-bench++：框架性扩展，支持从任意开源仓库自动生成新评测任务，提升规模
• 跨语言扩展：SWE-bench-Java 等针对非 Python 仓库的社区衍生版本

SWE-bench 被广泛用于学术研究和工业界的 AI 编程能力评测与竞争。

• 模型能力排行：各主流模型（GPT-4o、Claude、Gemini 等）的 SWE-bench 得分已成为编码能力公认参考
• 编码智能体评测：SWE-agent、Devin、GitHub Copilot Workspace 等产品均以此为核心评测指标
• 研究导向：指导上下文检索、多步规划、工具调用等 Agent 能力的研究方向
• 工业 benchmark 竞赛：企业在产品发布时公布 SWE-bench 得分，用于市场定位和技术对比
• 强化学习训练信号：部分研究将 SWE-bench 任务的测试结果作为 RL 奖励信号微调模型

SWE-bench 与 HumanEval、MBPP 等传统代码基准在评测维度上存在本质差异。

• 任务粒度：HumanEval/MBPP 评测单函数生成，SWE-bench 评测跨文件仓库级修复
• 真实性：SWE-bench 任务来源于真实 Issue，而非人工构造的算法题
• 上下文规模：SWE-bench 需处理数万行代码的仓库，对长上下文理解要求更高
• 验证严格性：用原始测试套件验证，不存在人工打分主观性
• 难度门槛：早期最强模型解决率不足 5%，远难于传统代码基准

SWE-bench 虽权威，但存在若干值得关注的局限性和常见误解。

• 语言偏向：原始版本仅覆盖 Python，对其他编程语言生态的代表性有限
• 数据污染风险：部分任务可能已出现在模型训练数据中，导致得分虚高
• 测试覆盖不完整：部分 Issue 的单元测试覆盖不足，可能出现「测试通过但实际错误」的情况
• 误区：高 SWE-bench 得分不等于在所有工程任务上表现优秀，仓库选取存在领域偏差
• 评测成本高：完整评测需大量算力和仓库环境，限制了小团队使用

SWE-bench 自提出后迅速成为 AI 编程能力评测领域的核心标准，推动了一系列重要进展。

• 2023 年：Jimenez 等人在 Princeton/Stanford 提出 SWE-bench，首次系统构建仓库级 Issue 修复基准
• 2024 年初：ICLR 2024 正式发表，SWE-agent 工具链同步开源，最优解决率约 12%
• 2024 年 8 月：SWE-bench Verified 发布，500 个人工核实任务提升评测可靠性
• 2024 年底：各主流模型竞相提升，Claude 3.5 Sonnet 等达到 49% 以上解决率
• 2025 年：SWE-bench++ 等扩展框架发布，多语言、多模态变体不断涌现，生态持续扩大
• 2025-2026 年：顶级编码智能体在 SWE-bench Verified 上解决率突破 70%，推动基准难度迭代升级