ICML 2025: Free Process Rewards without Process Labels
2025 年 7 月，Sun et al. 在 ICML 2025 发表论文。
核心洞察
- 训练 ORM 时，模型隐式学会了逐步评估
- 通过 log-likelihood ratio 提取逐步奖励
- 无需额外的逐步标注数据
AI Master 解读
核心事件
ICML 2025 论文提出 FreePRM，无需过程标注的过程奖励模型。
行业影响
影响分析： PRM 训练成本高（需要逐步标注），FreePRM 证明只需 ORM 就能隐式获得 PRM 能力。大幅降低 PRM 应用门槛。
AI Master 建议
Implicit PRM 是推理模型训练的重要简化方向。
