ICLR 2025 Oral: Scaling Test-Time Compute Optimally
2025 年 1 月,Snell et al. 在 ICLR 2025 发表 Oral 论文。
核心发现
- 最优 Test-Time Compute 分配可超越 14 倍大模型
- Compute-Optimal 策略比 Best-of-N 效率高 4 倍
- 推理效果随计算量平滑提升(类似 Scaling Laws)
两大机制
- 并行扩展:生成多个候选,选择最佳
- 序列扩展:逐步推理,利用中间反馈
AI Master 解读
核心事件
ICLR 2025 Oral 论文系统证明 Test-Time Compute 的最优扩展比简单增加模型参数更有效。
行业影响
影响分析: 这为推理时计算扩展提供了理论基础。关键发现:根据问题难度动态分配计算资源,效率比固定预算高 4 倍。
AI Master 建议
这预示着推理系统将从固定预算转向自适应分配,是推理优化的核心方向。
