AI研究6 天前·ICLR 2025

ICLR 2025 Oral:Test-Time Compute 最优扩展可超越参数扩展

Snell et al. 在 ICLR 2025 发表 Oral 论文,证明最优分配推理时计算可超越 14 倍大模型。Compute-Optimal 策略比 Best-of-N 效率高 4 倍以上

ICLR 2025 Oral: Scaling Test-Time Compute Optimally

2025 年 1 月,Snell et al. 在 ICLR 2025 发表 Oral 论文。

核心发现

  • 最优 Test-Time Compute 分配可超越 14 倍大模型
  • Compute-Optimal 策略比 Best-of-N 效率高 4 倍
  • 推理效果随计算量平滑提升(类似 Scaling Laws)

两大机制

  1. 并行扩展:生成多个候选,选择最佳
  2. 序列扩展:逐步推理,利用中间反馈

AI Master 解读

核心事件

ICLR 2025 Oral 论文系统证明 Test-Time Compute 的最优扩展比简单增加模型参数更有效。

行业影响

影响分析: 这为推理时计算扩展提供了理论基础。关键发现:根据问题难度动态分配计算资源,效率比固定预算高 4 倍。

AI Master 建议

这预示着推理系统将从固定预算转向自适应分配,是推理优化的核心方向。