编码 Agent 的验证层应该如何设计？参考 OpenAI 科学计算报告

验证层设计要解决"生成廉价、验证稀缺"的经济学矛盾。核心是三层设计：（1）可验证性约束——要求 Agent 生成自带断言、模块清晰、确定可复现、附带验证规格的代码，把验证成本前移到生成阶段；（2）分层验证漏斗——从廉价到昂贵逐级过滤：静态检查→单元测试→性质测试→交叉验证→专家审查，99% 错误被前几层拦截；（3）验证驱动闭环——把验证嵌入生成工作流（generate-verify loop、best-of-N 排序），用验证信号实时引导生成，而非事后质检。科学计算是极端样本：缺乏标准答案、错误可以是"安静的"、正确性多维，如果在这里能建好验证，迁移到普通业务代码就是降维打击。

一、为什么验证是瓶颈

2026 年 7 月 OpenAI 科学计算报告（poolId 17）量化揭示：大模型生成代码的能力飞速提升，但验证正确性的能力严重滞后。生成一个候选解法只要几秒，判断它是否正确可能要几小时。当生成成本趋零，价值从"能不能写出来"转移到"能不能确认它对"，验证吞吐成为整条流水线的上限。

二、第一层设计：可验证性约束（Design for Verification）

破解验证瓶颈的第一性原理不是造更强的验证工具，而是让代码从一开始就容易被验证。把可验证性写进 Agent 的生成约束：①内置断言与不变量——代码自己声明"什么必须为真"（能量守恒、数值范围、量纲一致），运行时自动触发自我验证；②模块化契约——把复杂计算拆成可独立验证的小单元，每个单元有明确输入输出契约；③确定性优先——减少随机性、隐式状态、环境依赖，必须用随机时显式固定种子；④附带验证规格——生成代码的同时生成"这段代码应满足什么性质"的规格说明。

三、第二层设计：分层验证漏斗

验证不是单一动作，而是从廉价到昂贵的分层体系：①静态检查（毫秒级）——类型检查、Linter、量纲分析，无条件对所有候选执行；②单元测试/契约验证（秒级）——运行自带断言，验证模块契约；③性质测试（秒-分钟）——验证普适性质（守恒律、稳定性、对称性），对发现科学计算的"静默错误"特别有效；④交叉验证（分钟级）——用不同方法/实现/模型验证同一结论，多路径一致则可信度大增；⑤专家审查（小时级）——仅对通过前四层且影响重大的结果投入稀缺专家。漏斗的价值：把"线性全量审查"变成"逐级过滤"，验证吞吐提升数个数量级。

四、第三层设计：验证驱动工作流

把验证嵌入 Agent 工作流，而非放在末端做质检：①generate-verify loop——生成候选后立即验证，把失败原因反馈给 Agent 让它修正，验证从"事后裁判"变成"实时教练"；②best-of-N 采样 + 验证排序——生成 N 个候选，用验证通过率/置信度排序，选验证表现最好的；③spec-first——生成前先写验证规格，代码生成和验证都以规格为准；④验证预算分配——按候选重要性和置信度动态分配验证资源。

五、基础设施支撑

需要验证编排器（调度各层、漏斗裁决）、沙箱执行环境（隔离、可复现、资源受限）、结果缓存（避免重复验证）、反例库（沉淀错误模式反哺生成端）、验证可观测性（记录各层耗时与结果）。

六、边界认知

自动化验证能检查"代码是否正确实现了某个模型"，但很难检查"这个模型本身是否正确描述了现实"。建模假设的正确性、规格的完整性、新颖性判断，仍需领域专家。正确分工：自动化过滤已知类型错误，专家专注建模假设与价值权衡。