Scaling Laws 全景：从 Kaplan 到 Chinchilla 到推理时计算扩展

Scaling Laws（缩放定律） 描述的是模型性能（通常用 loss 衡量）与模型规模（参数量 N、训练数据量 D、计算量 C）之间的可预测的幂律关系。

如果说摩尔定律预测了芯片晶体管数量每 18-24 个月翻倍，那么 Scaling Laws 预测的是：每当你将训练计算量翻倍，模型的交叉熵 loss 就会以一个可预测的固定比例下降。

这一发现的深远意义在于：

1. 可预测性：不需要训练到目标规模就能预测大模型的性能
2. 资源优化：可以精确计算最优的参数-数据-算力分配方案
3. 路线指引：为整个行业提供了清晰的技术路线图

Scaling Laws 最早由 Kaplan et al. (2020) 在 OpenAI 发现，随后被 Hoffmann et al. (2022) 在 DeepMind 的 Chinchilla 论文中修正和完善。2024 年以来，Test-Time Compute Scaling 将这一理论从训练阶段扩展到了推理阶段，形成了完整的「训练-推理」双维缩放框架。

理解 Scaling Laws 的重要性怎么强调都不为过。在 Scaling Laws 出现之前，训练大模型更像是一门「炼金术」——研究者凭直觉和经验选择模型规模、数据量和超参数，结果高度不可预测。Scaling Laws 将这种不确定性转化为精确的工程计算：给定计算预算，你可以精确预测模型能达到的性能水平，以及最优的资源分配方案。这不仅节省了数十亿美元的试错成本，更重要的是为整个 AI 行业提供了清晰的技术路线图。

从更宏观的视角看，Scaling Laws 是继摩尔定律之后计算领域最重要的「指数增长」规律。摩尔定律描述了晶体管密度的指数增长，而 Scaling Laws 描述了 AI 能力的指数增长——两者共同构成了过去二十年信息技术革命的底层驱动力。

2020 年 1 月，OpenAI 的 Kaplan et al. 发表了里程碑式论文 "Scaling Laws for Neural Language Models"，首次系统揭示了 LLM 的缩放规律。

核心公式

Kaplan 发现 loss 与三个变量分别呈幂律关系。Loss 与模型参数量的关系为 L(N) = (N_c / N)^α_N，其中 N_c ≈ 8.8 × 10¹³，α_N ≈ 0.076。Loss 与训练数据量的关系为 L(D) = (D_c / D)^α_D，其中 D_c ≈ 5.4 × 10¹³，α_D ≈ 0.095。Loss 与训练计算量的关系为 L(C) = (C_c / C)^α_C，其中 C_c ≈ 3.1 × 10⁸，α_C ≈ 0.050。

Kaplan 的计算最优建议

Kaplan 认为，给定计算预算 C，最优的参数量 N 和数据量 D 应满足 N_opt ∝ C^0.73，D_opt ∝ C^0.27。

这意味着参数量的增长应远快于数据量的增长——计算预算增加 10 倍时，参数量应增加约 5.4 倍，而数据量仅增加 1.9 倍。

历史影响

Kaplan 的结论直接影响了 GPT-3（175B 参数，仅用 300B tokens 训练）的设计决策。GPT-3 的参数量远大于数据量所需，正是遵循了 Kaplan 的 0.73 次幂建议。具体来说，按照 Kaplan 的建议，GPT-3 的最优数据量应约为 175B^0.27 × 常数 ≈ 300B tokens，这与实际训练数据量高度吻合。

但这一结论在 2022 年被 DeepMind 的 Chinchilla 论文颠覆。Kaplan 的建议导致了一个系统性偏差：模型参数过大而训练数据不足，模型处于「严重欠训练」状态。GPT-3 的 tokens/参数比仅为 1.7:1，而 Chinchilla 建议的最优比为 20:1——差距超过 10 倍。

2022 年 3 月，DeepMind 的 Hoffmann et al. 发表了论文 "Training Compute-Optimal Large Language Models"，提出了与 Kaplan 截然不同的结论。

Chinchilla 的核心发现

Hoffmann 团队训练了 400 多个不同规模的模型（70M 到 16B 参数），使用更精确的测量方法，得出了关键修正：Chinchilla 的计算最优建议为 N_opt ∝ C^0.50，D_opt ∝ C^0.50。

这意味着参数量和数据量应该以相同速率增长。具体来说，每个参数应搭配约 20 个训练 token。

为什么 Kaplan 错了？

2024 年 Pearce & Song 的论文 "Reconciling Kaplan and Chinchilla Scaling Laws"（发表于 TMLR 2024）给出了答案：

1. 参数计数方式不同：Kaplan 只计算了非嵌入层参数（N\E），而 Chinchilla 计算了总参数（包括嵌入层）。嵌入层参数在模型较小时占比很大，导致 Kaplan 在小规模实验中高估了参数量的指数。

2. 实验规模差异：Kaplan 的实验在 0.79K - 1.58B 参数范围内进行，而 Chinchilla 在更大规模上验证。小规模的幂律指数不能简单外推到大规模。

修正这两个因素后，Kaplan 和 Chinchilla 的系数实际上是一致的（分别约为 0.78 和 0.74）。

这一发现对 scaling laws 研究的方法论启示是深远的：在幂律关系中，实验规模的选择会显著影响拟合结果。小规模的幂律指数不能简单外推到大规模，因为不同规模区间可能存在不同的「次级缩放规律」（sub-scaling laws）。Porian et al. (2024) 进一步发现，非最优训练策略（如学习率选择不当）会导致「次级缩放」现象——观测到的幂律指数偏离真实值。

Chinchilla 的实际影响

Chinchilla 的发现直接改变了行业实践：

• Meta LLaMA：7B 参数用 1T tokens（143:1），13B 用 1T tokens（77:1）——都远超 Chinchilla 最优比
• GPT-4 传闻：使用约 13T tokens 训练
• 行业共识：20 tokens/参数 成为基本准则

数学推导

给定计算预算 C = 6ND（6 是每 token 每参数约 6 FLOPs 的常数），最小化 loss 的约束优化问题为：L(N,D) = A/N^α + B/D^β + E_∞，约束条件 C = 6ND。使用拉格朗日乘数法，当 α ≈ β 时，最优解为 N ∝ D ∝ C^0.5。

Chinchilla 的最优解只考虑了训练成本，没有考虑推理成本。在真实部署中，模型每次推理都需要消耗算力，推理需求远大于训练次数。

Sardana et al. (2024)：Beyond Chinchilla-Optimal

Sardana 团队指出，如果考虑推理需求，最优策略应该过度训练小模型而非训练 Chinchilla 最优的大模型。总成本模型为 C_total = 6ND + R × 2N，其中 R 为预期推理次数。

当 R 很大时（如 ChatGPT 每天数十亿次请求），最优策略是：

• 训练更小的模型
• 用更多数据过度训练
• 牺牲训练效率换取推理效率

这就是为什么 LLaMA-3 用 15T tokens 训练 8B 模型（1875:1）反而是最优的。

数据墙（Data Wall）

2024-2025 年，行业面临一个严峻挑战：高质量文本数据即将耗尽。

据 Epoch AI 估计，互联网上可用的高质量文本数据约 10-15T tokens。如果按照 Chinchilla 最优比例，100B 参数模型需要 2T tokens，而 1T 参数模型需要 20T tokens——已经接近数据墙。

应对策略：

1. 数据重复：Gadre et al. (2024) 在论文 "Language Models Scale Reliably with Over-Training and on Downstream Tasks" 中证明，在 Chinchilla 最优配置之外继续训练（使用重复数据）仍然有效，loss 继续以可预测的速度下降。这意味着「数据墙」不是硬墙——你可以重复使用数据，只是效率递减。
2. 合成数据：用模型生成的数据训练下一代模型。但存在「模型坍缩」（model collapse）风险——Shumailov et al. (2023) 证明，连续多代使用合成数据训练会导致模型逐渐偏离真实数据分布，最终崩溃。解决方案是混合真实数据和合成数据，控制合成数据比例。
3. 多模态数据：图像、视频、音频数据的 token 化。一个 1 分钟的 1080p 视频约包含 180 万像素帧，token 化后可达数百万 token，远超文本数据密度。多模态数据有望将「数据墙」推后数个数量级。
4. 数据质量筛选：LIMA 论文（Zhou et al., 2023）证明，仅用 1000 条高质量数据就能达到与 52000 条数据相当的对齐效果。Gunasekar et al. (2023) 的 Phi-1 用 1B tokens 的「教科书质量」数据训练出 1.3B 模型，在代码生成上超越了许多 10x 大模型。这引出了「数据效率」这一核心工程问题。

2024 年 9 月，OpenAI 发布 o1 模型时揭示了一个新范式：推理时计算扩展（Test-Time Compute Scaling）。

核心思想

传统 LLM 在推理时「一次性生成」——给定输入，直接输出。这类似人类的「系统 1 思维」：快速、直觉、但容易出错。

Test-Time Compute Scaling 的核心洞察是：在推理时投入更多计算，可以显著提升复杂任务的准确率。这类似人类的「系统 2 思维」：慢下来、逐步推理、自我验证。

两种主要机制

1. 采样 + 验证（Sampling + Verification）

• 生成多个候选答案（Best-of-N）
• 用验证器（Verifier / PRM）选择最佳答案
• 准确率随采样数 N 呈幂律增长：Acc(N) ≈ a · N^b + c（b ∈ (0,1)）

2. 自适应推理链（Adaptive Reasoning Chains）

• 模型生成更长的 Chain-of-Thought
• 使用 Process Reward Model (PRM) 逐步验证
• 支持回溯和路径修正

Snell et al. (ICLR 2025 Oral)：计算最优推理

Snell 等人的研究证明了两个关键结论：

1. 推理时计算可以替代模型参数：在 FLOPs 匹配的评估中，小模型 + 大量推理计算 > 大模型 + 标准推理（14 倍大的模型被超越）

2. 计算最优分配：根据问题难度动态分配推理计算，效率比 Best-of-N 高 4 倍以上

这一发现的直觉解释是：对于简单问题，多次采样是浪费计算（因为一次 greedy decoding 就能答对）；对于极难问题，无论投入多少推理计算都可能无法解决（应该跳过或交给更大的模型）。计算最优策略将资源集中在「中等难度」问题上——这些问题有足够的成功率，值得投入额外计算来提升准确率。

推理时缩放的实践案例

Test-Time Compute Scaling 已经在多个场景中得到成功应用：

1. 数学推理：DeepSeek R1 通过 GRPO 训练 + 长 CoT 推理，在 AIME 2024 上达到 86.7%（多数投票），超过 OpenAI o1 的 74%。
2. 代码生成：Agent Q（2025）将 MCTS 搜索与 PRM 结合，在 SWE-bench 上将解决率从 12% 提升到 34%。
3. 科学推理：P1 模型通过 RL + Test-Time Agents 获得物理奥赛金牌，成为首个达到 SOTA 的开源模型。
4. 通用推理：OpenAI o3 在 ARC-AGI 上展示了推理时计算扩展的威力，通过更长的「思考」过程解决此前无法解决的抽象推理任务。

简单问题 → Greedy Decoding（最少计算）
中等问题 → 短 CoT + 少量采样
困难问题 → 长 CoT + PRM 引导搜索 + 多采样

推理时缩放的幂律关系为 Accuracy(N) ≈ a · N^b + c，其中 N 为推理时计算量（采样数 / CoT 长度 / 搜索步数），b ∈ (0, 1) 为亚线性增长指数，a 和 c 是取决于模型能力和任务难度的常数。

关键观察：b 值取决于模型能力。更强的模型 b 值更大，意味着每单位推理计算带来的收益更高。

这意味着推理计算和模型参数之间存在部分替代关系——一个小模型配合大量推理计算，可以在特定任务上匹敌甚至超越一个大模型配合标准推理。

# 推理时缩放的幂律关系
# Accuracy(N) ≈ a * N^b + c
#
# 参数说明：
#   N = 推理时计算量（采样数 / CoT 长度 / 搜索步数）
#   b ∈ (0, 1)：亚线性增长指数
#   a, c：取决于模型能力和任务难度的常数
#
# 示例：模型 A (b=0.5) vs 模型 B (b=0.3)
# 模型 A 从推理计算中获益更大

import numpy as np

def inference_scaling(N, a=1.0, b=0.5, c=0.1):
    """推理时缩放的幂律模型"""
    return a * (N ** b) + c

N_values = np.array([1, 4, 16, 64, 256])
for N in N_values:
    acc = inference_scaling(N)
    print(f"N={N:>3d}, Accuracy={acc:.3f}")

2025-2026 年的研究正在将训练时缩放和推理时缩放统一到一个框架中。

统一缩放定律的核心思想是：总性能是训练计算 C_train、推理计算 C_infer 和数据量 D 的函数。传统范式下 C_infer 约等于一次前向传播的常数，而新范式下 C_infer 可以远大于 C_train（推理时花几分钟思考）。

资源分配决策

给定总计算预算 C_total = C_train + C_infer，不同场景的最优分配策略差异巨大。

对行业的影响

1. 芯片需求结构变化：训练芯片（H100/B200）→ 推理芯片（推理优化 ASIC）
2. 模型架构演进：从「一次前向」到「多轮推理 + 搜索」
3. 成本模型重构：推理成本可能超过训练成本
4. 预测算力需求：到 2030 年，推理计算将占 AI 总算力的 75%

Effective Frontiers（2026）

最新的研究（Effective Frontiers, 2026）提出了统一的有效前沿概念：在 (训练FLOPs, 推理FLOPs, Loss) 的三维空间中，存在一个「有效前沿面」。任何在前沿面上的配置都是帕累托最优的——不可能在不增加某一维的情况下减少另一维。

不同任务在有效前沿面上的最优点不同：简单任务靠近「大训练 + 小推理」角，复杂任务靠近「小训练 + 大推理」角，大多数实际任务在中间区域。

8.1 训练阶段决策

给定计算预算 C，分配策略分三步走：

Step 1：确定 Chinchilla 最优配置——N_chinchilla = sqrt(C / 120)，D_chinchilla = 20 × N_chinchilla（每个参数 20 tokens）。

Step 2：考虑推理需求调整。如果预期推理次数 R 很大，减小 N（如 N = N_chinchilla / 3），增大 D（用更多数据训练小模型）。

Step 3：考虑数据可用性。如果高质量数据不足 D_chinchilla，可选方案包括：数据重复（仍然有效）、合成数据增强、或降低 N 以适应可用数据。

8.2 推理阶段决策

给定推理预算，策略选择也分三步：

Step 1：评估任务难度。简单任务（准确率 > 90% with greedy）不分配额外推理计算；中等任务（准确率 50-90%）使用短 CoT + 3-5 次采样；困难任务（准确率 < 50%）使用长 CoT + PRM + 16-64 次采样。

Step 2：选择验证方式。可验证任务（数学、代码）用编译器/测试用例验证；不可验证任务用 PRM 或 ORM 评分。

Step 3：自适应分配。先快速评估问题难度，根据难度动态调整推理预算，避免在简单问题上浪费计算。

关键数字速查

9.1 稀疏模型的 Scaling Laws

MoE（Mixture of Experts）模型的缩放定律与稠密模型不同：

• 活跃参数远小于总参数
• 训练 FLOPs 取决于活跃参数
• 推理内存取决于总参数
• 最优的专家数量和粒度的缩放规律仍在研究中

Meta (2024) 发现 MoE 模型的缩放比约为 8:1（数据:活跃参数），远高于稠密模型的 20:1。

9.2 涌现能力与 Scaling Laws

Scaling Laws 描述的是平均 loss 的平滑下降，但某些能力（如 CoT 推理、少样本学习）似乎在特定模型规模才「涌现」。

争议焦点：

• 真实涌现：某些能力确实需要超过临界规模（Wei et al., 2022）
• 表观涌现：涌现是因为评估指标的非线性（Schaeffer et al., 2023）
• 最新共识：大部分「涌现」是评估方式的产物，但少数能力（如复杂推理）确实存在阈值效应

9.3 Scaling Laws 的理论解释

为什么 Scaling Laws 存在？这是一个仍未完全解答的问题：

1. 随机矩阵理论：神经网络的行为可以用随机矩阵理论近似
2. 信息论视角：模型容量与数据信息量的匹配（Bilmes et al., 2026）
3. 统计物理：类似相变的临界现象
4. 随机图理论：语言知识的图结构导致幂律分布（2026 年新论文）

9.4 数据价值的 Scaling Laws

最新研究方向：不同数据对 loss 的贡献不同。核心问题是数据质量 Q、数据量 D 和多样性 V 如何共同决定最终性能。Bilmes et al. (2026) 提出了基于 Vendi Score 和矩阵谱函数的数据集价值评估框架，试图将「数据价值」从经验判断提升为精确的数学度量。

实际工程中，数据质量的影响远超预期。Phi-1 实验证明，1B tokens 的「教科书质量」数据可以胜过 10B tokens 的普通网络数据。这意味着 Scaling Laws 可能需要从三变量 (N, D, C) 扩展为四变量 (N, D, C, Q)，其中 Q 是数据质量的度量。

这引出了「数据估值」问题：如何精确衡量一个数据样本的训练价值？这是 2026 年最活跃的研究方向之一，也是 AI 公司核心竞争力的关键来源。

9.5 小结：Scaling Laws 的过去、现在与未来

回顾 Scaling Laws 的发展脉络，我们可以清晰地看到三个阶段：

第一阶段（2020-2022）：训练时缩放。 Kaplan 发现幂律关系，Chinchilla 修正为参数-数据等比增长。核心问题是「给定计算预算，如何训练最好的模型」。

第二阶段（2023-2024）：超越 Chinchilla。 研究者开始考虑推理成本、数据墙、稀疏架构等因素。核心问题是「如何在真实约束下优化训练和部署」。

第三阶段（2024-2026）：训练-推理双维缩放。 Test-Time Compute Scaling 开辟了第二增长曲线。核心问题是「如何在训练和推理之间最优分配计算资源」。

展望未来，Scaling Laws 可能进一步扩展到以下维度：

• 多模态缩放：文本 + 图像 + 视频 + 音频的统一缩放规律
• Agent 缩放：Agent 系统的性能如何随计算资源增长
• 数据质量缩放：将数据质量 Q 纳入缩放公式
• 硬件感知缩放：考虑不同硬件（GPU/TPU/ASIC）的效率差异