Test-Time Compute Scaling：推理时算力的新范式

2024 年 9 月，OpenAI 发布 o1——一个在回答前会"思考"很久的模型。它在 IMO 数学奥林匹克上得分超过人类金牌选手，但每次回答需要消耗数十倍于 GPT-4 的计算量。这标志着 AI 行业进入了一个新范式：不再只靠训练时堆参数，而是推理时堆算力。

Test-Time Compute Scaling（推理时计算扩展）的核心思想是：给定一个固定预算的推理算力，模型可以通过更"努力思考"来提升性能——生成更长的推理链、搜索更多候选答案、自我验证和修正。这与传统的 Scaling Law（增大模型参数、训练数据）形成互补。

为什么这件事重要？据 Sebastian Raschka 的分析（2025），推理时扩展的概念虽然早已有之（集成学习就是经典例子），但 OpenAI o1 的博客文章让它重新成为焦点。ICLR 2025 Oral 论文 Scaling LLM Test-Time Compute Optimally（Snell et al.）进一步证明：最优的推理时计算分配可以比单纯增大模型参数更有效。

本文的核心论点：Test-Time Compute Scaling 不是一个临时技巧，而是 AI 能力扩展的第二曲线。它正在从根本上改变 AI 产品的成本模型——从"训练一次，推理便宜"走向"训练一次，推理按需投入"。理解这个范式的技术细节，是做出正确产品和投资判断的前提。

ICLR 2025 Oral 论文将推理时计算方法分为两大类：第一类是基于过程奖励模型（PRM）的搜索，第二类是自适应更新模型分布。理解这两种机制的差异是理解整个领域的基础。

PRM 搜索的核心是训练一个过程奖励模型（Process Reward Model）——它不只看最终答案对不对，而是对推理链的每一步打分。在推理时，用这个 PRM 引导 beam search 或 best-of-N 采样：生成多条推理路径，用 PRM 在每一步筛选最有希望的路径。这本质上是将推理过程建模为马尔可夫决策过程，PRM 充当每一步的 heuristic。

自适应分布更新则更优雅——在推理时根据输入 prompt 动态调整模型的输出分布。典型方法是熵最小化（entropy minimization）或测试时训练（Test-Time Training, TTT）：在推理过程中用自监督信号微调模型参数，使其更好地适配当前 prompt 的分布。

来自 Snell et al. 的关键发现：两种方法的有效性强烈依赖于 prompt 难度。对于简单问题，两种方法都收益甚微；对于中等难度问题，PRM 搜索效果最好；对于极难问题，自适应更新可能更有效。这催生了"计算最优"（compute-optimal）策略——根据 prompt 难度动态分配推理算力。

这意味着什么？不是所有问题都值得"多想"。AI 系统需要学会判断哪些问题值得投入更多推理算力，哪些应该快速回答。这与人类认知中的"系统 1/系统 2"思维模型高度一致——快思考处理日常问题，慢思考处理复杂推理。

从工程角度看，这种"计算最优"策略的实现面临三个核心挑战。第一，如何准确评估 prompt 难度？简单的启发式方法（如 prompt 长度、领域分类）效果有限，更精准的方案需要模型对自身的不确定性进行校准。第二，如何在推理过程中动态调整算力分配？一旦模型开始生成推理链，中途决定"这个问题不值得继续思考"需要优雅的终止机制。第三，如何避免"过度思考"的陷阱？模型可能在已经足够自信的情况下仍然继续搜索，浪费算力而不提升质量。这些挑战的解决程度，将直接决定推理时计算在实际产品中的经济可行性。

量化推理时计算的价值需要看 benchmark 数据，而非仅凭直觉。2025-2026 年的多项评测给出了清晰答案。

数学推理（AIME / MATH-500）：OpenAI o1 在 AIME 2024 上达到 74% 正确率，GPT-4o 仅约 13%。DeepSeek-R1 在同等 benchmark 上达到 79.8%，且推理 token 消耗约为 o1 的 60%。关键差异不在参数量，而在推理策略的训练质量。

代码生成（LiveCodeBench / SWE-bench）：推理模型在需要多步调试的任务上优势更明显。o1-preview 在 LiveCodeBench 上比 GPT-4o 高 20+ 个百分点，因为模型可以在内部生成多个候选方案并自我验证。

成本-性能曲线：Snell et al. 的 ICLR 2025 论文给出了关键数据——在固定总计算预算下，将 50% 预算从训练转移到推理，数学任务性能提升 2-4 倍。但收益存在边际递减：推理 token 超过某个阈值后，额外算力的收益趋近于零。

对不同场景的适用性：数学/逻辑证明收益最高（答案可验证，PRM/RLVR 直接生效）；代码生成次之（测试用例提供客观反馈）；开放对话收益有限（无客观验证器）；创意写作收益最低（质量主观，多思考未必更好）。

工程启示：推理时计算不是万能药——它的 ROI 与任务的可验证性正相关。产品团队应首先评估目标任务的答案是否可以被自动验证，再决定是否投入推理时计算架构。对于混合任务（如 AI 编程助手），可以采用分层策略：代码编译/测试可验证的部分启用深度推理，自然语言解释部分使用标准模式。

OpenAI 的 o3 系列和 DeepSeek-R1-0528 等 2026 年新模型进一步验证了这一趋势：在相同训练预算下，增加推理时计算投入的边际收益已超过继续增大参数规模。对于企业客户而言，这意味着可以在不升级模型规格的前提下，通过调整推理策略显著提升任务完成质量。这一能力正在重塑 AI 采购决策——从「选最大的模型」转向「选最聪明的推理策略」。

推理时计算的工程实现经历了三代演进：从简单的 Chain-of-Thought（CoT）到树结构搜索，再到混合策略。每一代都在探索"如何用更多推理 token 换取更高质量的输出"。

第一代：线性 CoT。 最朴素的推理时扩展就是让模型"想得更长"——生成更长的推理链。OpenAI o1 和 DeepSeek-R1 都采用了这种方式：模型在回答前生成一个完整的推理过程（可能数千 token），最后给出答案。训练时使用 GRPO（Group Relative Policy Optimization）等强化学习算法，让模型学会在推理链中进行自我纠错。

第二代：Best-of-N 与自一致性。 生成 N 条独立的推理路径，通过投票或验证器选择最佳答案。Self-Consistency（Wang et al. 2022）是经典实现——对同一问题采样多条 CoT 路径，取多数票。Forest-of-Thought（Bi et al., ICML 2025）将这一思路推向极致：并行生成多棵推理树，每棵树内部进行 beam search，最终跨树投票。据 ICML 2025 论文，Forest-of-Thought 在复杂逻辑推理任务上显著优于单条 CoT，但具体提升幅度因任务和模型而异。

第三代：PRM 引导的树搜索。 结合过程奖励模型和树搜索——在推理树的每个节点用 PRM 评估，剪枝低分分支，扩展高分分支。这比 Best-of-N 高效得多，因为它在生成过程中就进行筛选，而非事后选择。OpenAI o1 的内部实现据信就采用了这种方式。

FastTTS（2025）针对边缘设备优化了树搜索——在资源受限的场景下，通过并行树搜索和提前终止策略，在保持推理质量的同时将延迟控制在可接受范围内。这对端侧部署推理模型至关重要。

推理模型的训练与标准 LLM 有本质区别——它需要模型学会"如何思考"，而不只是"如何回答"。这催生了 RLVR（Reinforcement Learning with Verifiable Rewards）范式。

GRPO（Group Relative Policy Optimization）是 DeepSeek 团队提出的强化学习算法，是 DeepSeek-R1 的核心训练方法。与 PPO 不同，GRPO 不需要单独训练奖励模型——它在每个 prompt 上生成一组回答，用组内相对排名作为奖励信号。对于答案可验证的任务（数学、代码），验证器直接给出客观奖励（正确=1，错误=0），完全消除了奖励模型的偏差。

RLVR 的范式意义在于：传统的 RLHF 依赖人类偏好标注——成本高、有偏差、难以评估推理的正确性。RLVR 用可验证的奖励信号取代人类偏好，对于答案可以被自动验证的任务（数学、代码、逻辑推理），这是更优的方案。据 Andrej Karpathy 在 2025 年的回顾中指出，RLVR 因其巨大的"能力/美元"收益比，已成为 2025 年 LLM 后训练的默认下一阶段。

训练成本的关键数据：DeepSeek-R1 的训练成本极低——据 Nature 发表的论文披露，R1 自身的训练仅花费 $294,000（512 张 H800），基础模型 DeepSeek-V3 的开发另花费约 $6M（2.788M H800 GPU-hours）。而 OpenAI o1 的训练成本据估计在数千万美元级别。GRPO + 可验证奖励的组合使得推理模型的训练成本大幅降低，这也是 DeepSeek-R1 能够开源的重要原因。

训练时的计算投入直接决定了推理时的计算效率。一个好的推理模型应该学会"在需要时多想，不需要时少想"——这本身就是 RL 训练出来的策略。如果训练不充分，模型可能在简单问题上过度思考（浪费推理算力），或在复杂问题上思考不足（答案质量差）。

值得注意的是，GRPO 与 RLVR 的结合还带来了一个意外的副产品：模型在训练过程中自发学会了"反思"和"回溯"的能力。DeepSeek-R1 的团队观察到，经过 RLVR 训练的模型会在推理过程中主动检查自己的中间步骤，发现错误后回溯并尝试不同的解题路径。这种 emergent behavior 并非训练目标的一部分，而是强化学习在足够大规模训练下自然涌现的能力。这一发现进一步支持了"推理时计算是值得投入的"这一核心论点——模型不仅能学会思考，还能学会如何更高效地思考。

将推理时计算落地到生产系统，需要重新设计 API 层、调度层和成本层。2026 年的最佳实践已经形成了相对清晰的架构模式。

API 层设计：OpenAI 的 o1 系列引入了 reasoning_effort 参数，Anthropic 的 Extended Thinking 模式允许用户开启深度思考。核心设计原则是将推理深度暴露为一级 API 参数，而非隐藏在模型内部。这让应用开发者可以按场景选择策略——客服机器人用 low，代码助手用 high。

调度层设计：推理时计算的最大挑战是延迟不可预测。一条 CoT 可能 500 token，也可能 5000 token。生产系统需要超时熔断（超过预算 token 后强制输出当前最佳答案）、并行候选（对高价值请求同时启动多条推理路径）、优先级队列（付费用户的深度推理请求优先调度 GPU 资源）。

成本层设计：传统按 input/output token 计费无法反映推理时计算的真实成本。2026 年出现的新计费模式包括思考 token 单独计费、按任务复杂度阶梯定价、推理预算包（用户购买月度思考额度，类似手机流量包）。

与 KV Cache 的协同：推理时计算会显著增加 KV Cache 占用——更长的推理链意味着更多的 KV 存储。PagedAttention + Prefix Caching 成为推理模型的标配基础设施。对于多轮对话中的推理模型，系统 prompt 的 Prefix Caching 命中率直接决定成本上限。

与 Agent 系统的结合：2026 年 Agent 框架（如 Claude Code、Devin）天然适合推理时计算——Agent 的多步工具调用本质上就是一种外部化的推理链。将 PRM 引入 Agent 循环，可以在每一步工具调用后评估进展，提前终止无效路径。未来 12 个月内，主流 Agent 框架都将内置推理预算控制器，并与 KV Cache 优化深度集成，降低长推理链的显存开销。

Test-Time Compute Scaling 正在从根本上改变 AI 的成本结构。传统的 LLM 部署成本模型是：训练成本（一次性）+ 推理成本（按 token 计费）。推理时扩展引入了第三个维度：推理质量与推理算力正相关。

成本模型的变化：以 OpenAI o1 为例，据行业估算，o1 的每次推理成本约为 GPT-4 的 10-50 倍（因为生成了大量内部推理 token）。但在 IMO 数学竞赛等高难度任务上，o1 的表现远超 GPT-4——单位正确率的成本反而更低。

这意味着什么？AI 产品不再只有"便宜但笨"和"贵但聪明"两个选项。通过动态分配推理算力，同一个模型可以在简单问题上保持低成本快速回答，在复杂问题上投入更多算力获取高质量答案。成本变成了产品设计的旋钮，而非固定参数。

产业影响：据 Spheron 的分析（2026），2026 年推理优化（包括 KV Cache 管理、推测解码、推理时计算分配）已经成为 LLM 部署中最大的成本杠杆。优化良好的推理系统可以将相同硬件的产出提升 4-40 倍。

对创业公司的影响：推理时计算降低了"超越大参数模型"的门槛。一个 7B 的推理模型 + 充分的推理时计算，在特定任务上可以匹敌甚至超过 70B 的非推理模型。这意味着创业公司不需要训练巨大的模型，只需要在推理策略上创新。DeepSeek-R1 用极低的训练成本达到了 OpenAI o1 的水平，就是最好的证明。

一个核心问题：推理时计算是否会取代训练时 Scaling？答案是否定的——它们是互补关系，但边界正在移动。

Snell et al. 的 ICLR 2025 Oral 论文给出了关键洞察：在固定总计算预算（训练 + 推理）下，最优分配策略是将更多预算分配给推理时计算，而非增大模型参数。具体来说，对于数学推理任务，最优策略下的推理时计算效率比单纯增大参数高 4 倍以上。

但有一个前提：模型必须有足够的"基础能力"才能从推理时计算中获益。一个 1B 参数的模型即使给它无限推理时间，也无法解决微分方程——它缺少必要的知识表示。推理时计算放大的是模型的推理能力，而非知识储备。

这意味着：训练时 Scaling 决定了模型的知识基座和能力下限，推理时 Scaling 决定了模型在特定任务上能达到的能力上限。两者的关系类似于"学历"与"考试时仔细程度"——学历保证了基础知识，仔细程度决定了考试发挥。

产业趋势：2025-2026 年的主流模型都在朝"更大参数 + 更强推理能力"双方向发展。GPT-5 据传参数量远超 GPT-4，同时内置推理模式；DeepSeek-V3 用 671B MoE 参数 + GRPO 训练推理能力；Google Gemini 2.0 同时扩展了参数规模和推理能力。

对未来 Scaling Law 的影响：传统的 Scaling Law（Kaplan et al. 2020）将性能与参数量、数据量、计算量关联。Test-Time Compute 引入了新的维度——推理时计算量。未来的 Scaling Law 需要同时考虑训练和推理两个阶段的计算分配。

具体而言，新的 Scaling Law 可能需要回答这样的核心问题：给定固定的总计算预算 C_total = C_train + C_inference × N_queries，最优的分配策略是什么？Snell et al. 的工作给出了初步答案——对于推理密集型任务，将更多预算分配给 C_inference 是更优的。但这个结论是否适用于所有任务类型（如创意写作、知识问答、多模态理解），仍然是一个开放问题。可以预见，2026-2027 年将出现大量关于"训练-推理计算最优分配"的理论和实验工作。

基于当前技术轨迹，以下是对 Test-Time Compute Scaling 未来 6-12 个月的五个核心判断。

趋势一：推理时计算将成为所有主流模型的标配。 2026 年底，所有主要模型提供商（OpenAI、Google、Anthropic、Meta）都将提供"推理模式"——用户可以选择快速回答或深度思考。这不再是差异化功能，而是基础设施。

趋势二：计算最优调度器将成为核心竞争力。 谁能让模型自动判断"这个问题需要多想"，谁就能在成本和体验上同时胜出。这本质上是一个元学习问题——模型需要学会对自己的不确定性进行校准。我预测 2026 年 Q4 会出现专门的"推理预算控制器"开源项目。

趋势三：推理时计算将催生新的商业模式。 按 token 计费将演变为按"思考 token"计费——基础回答便宜，深度推理加价。这与云计算的按需付费模式一脉相承。对于 AI 应用开发者，这意味着可以构建"分级智能"的产品——免费版用基础推理，付费版用深度推理。

趋势四：端侧推理时计算将兴起。 随着 FastTTS 等工作成熟，推理时计算将从云端走向边缘。手机上的小模型通过树搜索和自我验证，可以在本地完成复杂推理——这对隐私敏感场景（医疗、法律）特别重要。

趋势五：推理时计算将重新定义"模型大小"的含义。 未来衡量模型能力的指标不再是参数量，而是"参数 + 推理算力"的综合能力。一个 7B 模型 + 充分推理可能超过 70B 模型在特定任务上的表现。"有效参数量"将成为新的衡量标准。

风险因素：推理时计算的最大风险是延迟-质量权衡的用户接受度。如果用户习惯了即时回答，30 秒的"思考"可能被视为不可接受。产品层面需要精心设计等待体验（如流式展示思考过程）。

此外，推理时计算还面临一个更深层的挑战：可解释性与信任。当模型花费 30 秒"思考"后给出答案，用户自然会问"你在想什么？"。如果模型无法以人类可理解的方式展示其推理过程，用户可能难以信任这个答案。这与当前 AI 产品追求"黑箱但快速"的模式形成张力——推理时计算要求我们重新思考 AI 系统的透明度和可解释性。

Test-Time Compute Scaling 代表了 AI 发展的一个根本性转变：从追求"更大的模型"到追求"更聪明的推理"。这不是说模型参数不重要了——而是说，在参数规模达到一定水平后，推理时的智能分配成为提升能力的更高效途径。

对行业的深层影响可以从三个维度理解。

第一，AI 的民主化加速了。推理时计算降低了"达到前沿水平"的门槛。DeepSeek-R1 用不到 30 万美元的训练成本达到了 o1 水平——关键就在于 RLVR + GRPO 的训练效率和推理时的充分计算。创业公司和研究机构有了与巨头竞争的可能。

第二，AI 产品的成本模型更加灵活。"按思考深度付费"比"按 token 付费"更能反映实际价值。一个帮用户解决复杂数学问题的推理模型，即使消耗 100 倍 token，创造的价值也远超消耗 1 倍 token 的简单问答。

第三，推理基础设施将成为新的竞争焦点。KV Cache 管理、推测解码、推理时计算调度——这些推理基础设施的优化直接决定了 AI 产品的成本和体验。2026 年的推理引擎（vLLM、SGLang、TensorRT-LLM）正在快速演进，以支持这一新范式。

部署 checklist（2026 版）：为 API 提供 reasoning_effort 参数让用户按需选择思考深度；设置单次请求的最大内部推理 token 上限防止成本失控；将推理链以折叠/展开形式流式展示降低用户等待焦虑；用轻量分类器预判 prompt 难度使简单问题跳过推理模式；对高频 prompt 模板启用 Prefix Caching 减少重复推理开销。

最后的洞察：人类认知也有类似的推理时计算扩展——我们面对简单问题时凭直觉快速回答，面对复杂问题时停下来深思。AI 正在学习同样的认知策略。从更快到更深，不是退步，而是智能的进化。