DPO

DPO 将复杂的 RLHF 流程压缩为单阶段对比训练，与传统方案相比有显著差异。

• 传统 RLHF 需要三个独立阶段：监督微调（SFT）、奖励模型训练、PPO 强化学习迭代，同时运行策略模型、参考模型、奖励模型和价值网络。
• DPO 的核心贡献：在 Bradley-Terry 偏好模型假设下，可以解析地消去奖励模型，将对齐目标化简为纯监督式对数概率对比损失。
• 训练结构：只需策略模型与冻结的参考模型（SFT checkpoint），无需 RL 采样循环，工程复杂度大幅降低。
• 数据格式：每条训练样本为一个三元组（提示、偏好回答 y_w、非偏好回答 y_l），通常来自人工标注或模型生成后筛选。

DPO 的损失函数由最优策略的解析解推导而来。

• 理论基础：在 KL 散度约束下，最优奖励可以用策略模型与参考模型的对数概率之差解析表达，代入最大似然目标即得 DPO 损失。
• 损失目标：最大化策略相对参考模型在 y_w 上的「隐式奖励优势」，同时最小化其在 y_l 上的优势，本质是一个二元交叉熵分类目标。
• 超参数 β：控制策略偏离参考模型的幅度，β 越大越保守，通常取 0.1~0.5。
• 训练开销：每条样本需要四次前向推理（策略模型 + 参考模型 × y_w/y_l），显存占用约为 SFT 的两倍。
• 实现简洁：TRL、LLaMA-Factory 等主流框架均原生支持，代码改动量相较 PPO 极小。

DPO 之后衍生出多个针对不同痛点的改进变体。

• IPO（Identity Preference Optimization）：修正 DPO 在偏好确定性过高时的过拟合问题，引入额外正则化项。
• KTO（Kahneman-Tversky Optimization）：放宽成对偏好要求，允许单条正/负样本标注，降低数据收集成本。
• SimPO：去除对参考模型的依赖，改用长度归一化的平均对数似然作为隐式奖励，进一步简化训练。
• ORPO：将偏好损失与标准自回归语言模型损失合并，省去独立 SFT 阶段，一步完成对齐训练。
• GRPO：引入组内相对奖励归一化，与 DeepSeek-R1 等推理模型结合使用，适合有可验证奖励的任务。

DPO 已在多类对齐任务中得到广泛部署。

• 指令遵循：Zephyr 等社区模型以 DPO 配合合成偏好数据集（UltraFeedback）在标准评测中取得竞争力表现。
• 安全拒答与内容过滤：通过偏好数据标注有害输出为拒绝样本，引导模型学习安全边界。
• 风格与格式偏好：调整模型回答的语气、长度、格式，使其符合特定部署场景的用户预期。
• 主流开源系列：Llama、Mistral、Qwen 等模型的后训练报告均包含 DPO 或其变体的使用记录。
• 研究基线：因实现简单、可复现性好，是对齐研究中验证新假设的常用对照方法。

DPO 常被称为「RLHF 的简化版」，但两者存在本质差异。

• DPO vs RLHF（PPO）：RLHF 在训练中持续从当前策略采样新回答（在线学习），能获取实时奖励反馈；DPO 偏好数据在训练前固定（离线学习），存在分布漂移风险。
• DPO vs SFT：SFT 教模型「如何回答」，DPO 进一步告诉模型「哪种回答更受偏好」，二者相辅相成，DPO 通常在 SFT checkpoint 上继续训练。
• DPO vs GRPO：GRPO 依赖可验证的外部奖励信号（如数学答案正确性），适合推理任务；DPO 依赖人工偏好标注，更适合开放式生成对齐。
• DPO vs ORPO：ORPO 将对齐融入 SFT 损失，省去独立 SFT 阶段；DPO 需要先完成 SFT 再进行对齐训练，流程更明确。

DPO 在实际使用中存在若干常见陷阱。

• 数据质量敏感：若 y_w 与 y_l 差异模糊或含有标注噪声，模型容易学到表面特征而非真实偏好。
• 奖励余量退化：训练中常见隐患是隐式奖励余量（reward margin）上升，但策略对两类回答的绝对对数概率同步下降，导致整体生成质量退化；监控绝对概率比单看损失值更重要。
• 离线局限性：无法像在线 RL 那样通过持续采样探索新改进空间，在复杂推理或长链任务上的天花板相对较低。
• 误区：视为万能方案：DPO 在开放式生成对齐上表现优秀，但对需要执行结果反馈（数学验证、代码执行）的任务，在线 RL 或过程奖励模型（PRM）仍有不可替代的优势。

DPO 是 RLHF 对齐路线持续简化演进的产物。

• 2017：PPO 算法由 OpenAI 提出（Schulman 等人），此后被引入语言模型对齐研究。
• 2022：OpenAI 发布 InstructGPT 论文，正式确立 SFT + RM + PPO 的三阶段 RLHF 范式，并展示人类反馈对齐的规模化效果。
• 2023 年 5 月：Rafailov 等人（斯坦福大学）发布 DPO 论文，提出无需奖励模型的直接对比优化方法，收录于 NeurIPS 2023。
• 2023 年下半年：Zephyr-7B（HuggingFace）以 DPO + 合成数据验证方法可行性，引发社区广泛跟进。
• 2024 年：SimPO、ORPO、KTO 等变体相继出现，进一步简化流程或降低数据要求；GRPO 随 DeepSeek-R1 兴起，将偏好优化扩展至可验证推理任务。
• 2024–2025 年：DPO 及其变体成为 Llama 3、Qwen 2.5、Mistral 等主流开源模型后训练管线的标配组件。