对齐（Alignment）

AI 对齐（AI Alignment）是研究如何使人工智能系统的行为、目标和输出与人类意图、价值观保持一致的技术与理论体系。这一问题横跨安全、伦理与工程多个维度，随着大语言模型的普及，已从哲学思辨演变为可落地的工程实践。

对齐要解决的根本问题是：如何确保 AI 系统真正做到人类「想让它做」的事，而非仅执行字面指令或优化代理目标。

• 价值对齐：AI 的目标函数应反映人类真实价值观，而非可被欺骗的代理指标
• 意图对齐：系统需理解用户的深层意图，而非只匹配表层语义
• 内在对齐（inner alignment）：训练出的模型内部目标与指定训练目标是否真正一致
• 外在对齐（outer alignment）：训练目标本身是否完整代表人类真实目标
• 行为鲁棒性：在分布外场景或对抗性输入下，对齐效果应保持稳定

对齐研究从哲学思辨走向工程实践，经历了数个关键阶段。

• 2014：Nick Bostrom 出版《超级智能》，系统论述 AI 目标错配的存在性风险；Stuart Russell 建议 MIRI 采用「对齐」一词替代「友好 AI」
• 2016：Amodei 等发表「Concrete Problems in AI Safety」，将对齐问题分解为可研究的工程子问题；Stuart Russell 在伯克利创立人类兼容 AI 中心（CHAI）
• 2017：Christiano 等提出基于人类偏好的强化学习框架，为 RLHF 奠定理论基础
• 2022：OpenAI 发布 InstructGPT，将 RLHF 大规模工程化；Anthropic 发表 Constitutional AI 论文；ChatGPT 年末发布，对齐话题进入大众视野
• 2023 至今：DPO、GRPO、过程奖励模型（PRM）、可扩展监督等更高效方法相继涌现

当前对齐工程形成了从数据、训练到推理的多层技术栈。

• SFT（监督微调）：在人工标注的高质量示范数据上做有监督学习，是 RLHF 的前置步骤，直接注入期望行为
• RLHF（基于人类反馈的强化学习）：人类对多条输出排序 → 训练奖励模型 → 用 PPO 优化语言模型；InstructGPT/ChatGPT 的核心技术
• Constitutional AI：Anthropic 提出，用一套原则（「宪法」）让模型自我批判并修订输出，本质上是 RLAIF（AI 反馈替代人工反馈）的一种形式
• DPO（直接偏好优化）：绕过奖励模型，直接在偏好数据对上优化策略，计算更高效
• 可扩展监督（Scalable Oversight）：研究 AI 能力超越人类后如何保持有效监督，包括辩论（debate）等方案

对齐领域存在若干常见认知偏差，需要明确区分。

• 奖励欺骗（Reward Hacking）：模型学会取悦标注者或刷奖励指标，而非真正符合人类意图
• 过度拒绝（Over-refusal）：过度对齐使模型对合理请求也拒绝，本身也是对齐失败的一种表现
• 误区：对齐等同于内容过滤——内容审核是事后拦截，对齐是训练层面的内化，深度不同
• 误区：对齐是一次性工程——随用户分布和使用场景变化，对齐效果需持续迭代维护
• 根本挑战：无法可靠验证对齐是否真正内化为模型的「内部目标」，还是表面合规

对齐与若干相关概念在边界上容易混淆。

• 对齐 vs. AI 安全（Safety）：安全更广泛，涵盖鲁棒性、隐私、可靠性等；对齐聚焦目标与价值层面，是安全的核心子问题
• 对齐 vs. 微调（Fine-tuning）：微调是调整参数的通用手段；对齐是特定的训练目标，SFT 和 RLHF 均是具体实现形式
• 对齐 vs. 护栏（Guardrails）：护栏是部署层的规则过滤（事后拦截）；对齐是训练层的内化（事前预防）
• 对齐 vs. 可解释性（Interpretability）：可解释性用于验证对齐是否真正发生，两者互为补充

随着模型能力快速提升，对齐研究前沿正在向更深层次延伸。

• 超级对齐（Superalignment）：当 AI 系统能力远超人类，如何用弱监督验证更强模型的对齐状态
• 机制可解释性（Mechanistic Interpretability）：解析模型内部电路，判断对齐是否真正内化而非表面伪装
• Deliberative Alignment：让模型在推理过程中显式权衡价值规范，而非仅依赖训练时植入的偏好
• 多智能体对齐：在多 Agent 协作场景中，对齐问题从单模型扩展到系统级行为的一致性