大语言模型2026-06-10·arXiv
arXiv论文：六种对齐算法的机制分析揭示几何变换差异
arXiv系统性分析六种对齐算法，发现KTO和GRPO增强线性可分性，DPO和ORPO反而退化可分性。
AI Master 解读
核心事件
arXiv发表论文对六种偏好优化方法进行系统性机制分析
行业影响
研究发现不同对齐目标导致截然不同的表征几何变换：KTO和GRPO增强线性可分性，DPO和ORPO退化可分性，PPO和SimPO基本保持基线几何。
行业影响： 对齐算法的内部机制差异为模型训练提供了新洞察，行为对齐不意味着统一的内部重构。
AI Master 建议
选择对齐方法时应考虑其对模型内部表征的影响。
arXiv发表对齐算法机制分析论文。
研究对象：
- PPO、DPO、SimPO、ORPO、GRPO、KTO
- 三个开源模型系列
核心发现：
- KTO和GRPO增强线性可分性
- DPO和ORPO退化可分性
- PPO和SimPO保持基线几何
- 偏好信号集中在早中期或中后期层
技术方法：
- 层间线性探测
- 稀疏自编码器
- 跨编码器
行业意义：
- 行为对齐不等于统一内部重构
- 需要对齐方法感知的优化目标
- 特征级审计标准化