Constitutional AI

Constitutional AI（宪法式 AI，CAI）是 Anthropic 于 2022 年提出的一种 AI 对齐训练方法，通过一套书面原则（「宪法」）驱动模型对自身输出进行批评与修订，在大幅减少人工有害样本标注的前提下实现无害性对齐，是 Claude 系列模型的核心训练机制之一。

传统 RLHF 对齐依赖大量人工对有害内容逐条打标，成本高且对标注者造成心理负担。

• RLHF 的瓶颈：需要人工审阅大量有害输出，标注规模难以随模型能力同步扩展
• 隐式 vs 显式价值观：RLHF 将价值判断隐藏在人类偏好数据中，难以审查；CAI 将原则显式化为可读文本
• 可扩展监督：随着模型能力提升，CAI 提供一种「AI 辅助监督」路径，减少对人工判断的依赖
• 三 H 目标：Anthropic 希望同时实现有帮助（Helpful）、无害（Harmless）、诚实（Honest）三项特性

「宪法」是一组自然语言书写的行为准则，用于指导模型自我判断输出是否符合期望。

• 内容来源：Anthropic 公开的原则示例引用了联合国人权宣言等外部规范文件的表述
• 典型原则：「回复不应包含种族歧视内容」「不应协助用户伤害他人或自身」等
• 随机采样机制：训练时每次从原则集合中随机抽取一条施加约束，增强泛化覆盖面
• 透明可审查：原则以文本形式公开，利益相关方可参与讨论和修订，体现设计者价值取向

CAI 由两个串联阶段组成，分别对应监督微调与强化学习。

• 阶段一 SL-CAI（监督学习）：对红队提示生成初始回复 → 模型依据随机抽取的宪法原则批评该回复 → 模型生成修订版回复 → 循环多轮后用修订数据做 SFT（监督微调）
• 阶段二 RLAIF（AI 反馈强化学习）：让 SL-CAI 模型对候选回复对打分，判断哪条更符合原则 → 用 AI 生成的偏好标签训练偏好模型（Preference Model）→ 以 PPO 对策略模型进一步优化
• 人工介入最小化：人类只需撰写原则集合，无需对每条有害样本两两打标
• 首次命名 RLAIF：该论文是学术界正式系统描述并大规模实践「AI 反馈强化学习（RLAIF）」的早期文献

与 RLHF 相比，CAI 在可扩展性和透明性上具有明显优势。

• 减少人工标注：无害性偏好标签完全由 AI 生成，大幅降低人工标注成本
• 原则可解释：行为准则以自然语言明确表达，便于外部审计和公众参与
• 合成数据先驱：被认为是大规模将合成数据用于 RLHF 偏好训练的早期实践之一
• 帮助性与安全性兼顾：论文实验表明 CAI 模型在无害性提升的同时，帮助性评分未明显下降

CAI 并非万能，其效果高度依赖宪法设计质量与基础模型能力。

• 原则设计偏见：宪法由特定团队撰写，不可避免地携带制定者的文化与价值观偏见
• 覆盖盲区：原则集合可能遗漏边缘危害场景，导致模型在特殊情况下仍出现有害输出
• 模型能力前提：模型需具备足够的理解与推理能力才能有效执行自我批评，弱模型的修订质量有限
• 不解决幻觉问题：CAI 主要针对有害性对齐，不处理事实性错误，需与其他技术手段配合

从提出到持续演进，CAI 对学术界和工业界产生了广泛影响。

• 2022 年 12 月：Bai et al.（52 位作者）在 arXiv 发布论文，首次系统描述 CAI 方法（arXiv:2212.08073）
• 2023 年：Anthropic 将 CAI 应用于 Claude 系列模型；同年探索「集体宪法（Collective Constitutional AI）」，引入公众参与制定原则
• 2023—2024 年：多项后续研究评估 RLAIF 偏好标签质量与人工标注的一致性，CAI 成为对齐领域重要基线
• 2024 年至今：CAI 思路与 DPO、GRPO 等新型对齐方法结合，持续演化；Anthropic 将其视为实现三 H 目标的关键机制