Chain-of-Thought（CoT）

思维链（Chain-of-Thought，CoT）是一种提示技术，通过引导大型语言模型在给出最终答案前显式输出逐步推理过程，显著提升其在算术、逻辑推断和常识推理等复杂任务上的表现。其核心洞察是：把解题步骤写出来本身就是「在上下文中打草稿」，能让自回归模型突破单次前向传播的计算深度瓶颈。

CoT 让模型「先想后答」，将隐式推理变为可见的文字链条。

• 思维链（Chain of Thought）：解题过程中的一系列中间自然语言推理步骤，由模型自动生成
• 核心机制：在提示词中提供含逐步推理的示例，模型通过模仿格式激活推理行为，而非直接跳到答案
• 适用规模：原始论文实验表明，CoT 在参数量约 100B 以上的模型中才能稳定涌现；小模型效果有限
• 推理时干预：属于 inference-time 技术，不修改权重，部署成本低，可按需开启

CoT 的演化经历了从提示技巧到模型内生能力的跨越。

• 2022 年初：Jason Wei 等人（Google Brain）在 arXiv 发布 Few-shot CoT 原始论文（arXiv:2201.11903），同年正式收录于 NeurIPS 2022
• 2022 年：Kojima 等人提出 Zero-shot CoT，仅凭「Let's think step by step」即可激活推理，无需人工构造示例
• 2022 年：Wang 等人提出自一致性（Self-Consistency）——对同一问题采样多条推理路径后多数投票，进一步提升稳定性
• 2023 年：Yao 等人提出思维树（Tree of Thoughts），将线性推理链拓展为树状搜索，支持回溯
• 2024 年：OpenAI 发布 o1，将扩展思维链纳入训练目标，「推理模型」作为新类别正式确立，CoT 从提示技巧演变为模型内生能力
• 2025 年：DeepSeek-R1、Qwen-QwQ 等开源推理模型普及，长链 CoT 成为行业标配

自回归生成赋予 CoT 天然优势：中间步骤 token 成为后续生成的上下文条件。

• 少样本 CoT（Few-shot CoT）：提示词中附上若干含推理步骤的示例对，是原始论文的核心实验设置
• 零样本 CoT（Zero-shot CoT）：在问题末尾追加触发短语，无需示例即可激活，Kojima 等人 2022 年提出
• 计算深度扩展：生成中间步骤等价于借用更多 token 完成更深层推理，突破 Transformer 单步前向传播的计算瓶颈
• 错误传播风险：靠前的推理步骤若出错，后续步骤大概率在错误前提上继续推进，最终答案同样出错

在基础 CoT 之上，研究者发展出多种针对不同场景的增强变体。

• 自一致性（Self-Consistency）：并行采样多条推理路径，多数投票选出答案，降低单次采样的随机性（Wang et al., 2022）
• 零样本 CoT（Zero-shot CoT）：无需示例，仅追加触发短语即可激活逐步推理（Kojima et al., 2022）
• 程序辅助推理（PAL）：将推理步骤改写为可执行代码，借助解释器完成精确计算，规避纯文字推理的算术错误
• 思维树（Tree of Thoughts）：将推理扩展为树状结构，支持 BFS/DFS 搜索与回溯（Yao et al., 2023）
• ReAct 框架：将推理（Reason）与工具调用行动（Act）交替进行，适合需要检索外部信息的任务

CoT 常与几个相关概念混淆，以下逐一区分。

• CoT vs 少样本学习（Few-shot）：少样本示例可以不含推理步骤，CoT 的关键在于示例必须包含逐步推理过程，两者可叠加
• CoT vs 思维树（ToT）：CoT 生成单条线性推理链；ToT 引入树状搜索与回溯，搜索空间更大，计算开销也更高
• CoT vs RAG：RAG 解决「模型不知道某事实」，CoT 解决「模型不能正确推理」，两者针对不同短板，可组合使用
• CoT vs 推理模型：提示级 CoT 依赖用户触发；推理模型（如 o1、DeepSeek-R1）在训练中内化了长链推理，无需额外提示

CoT 在提升准确率的同时引入了不可忽视的成本。

• 优点：显著提升算术、逻辑、多跳推理等任务的准确率；推理过程可读，便于调试和审计
• Token 开销：推理链大幅增加输出 token 数，直接推高延迟与 API 成本
• 幻觉推理：模型可生成结构完整但逻辑错误的推理链，步骤「看起来合理」不保证结论正确
• 不解决事实幻觉：若模型不掌握某知识，推理链只会让错误显得「更有条理」
• 生产权衡：延迟敏感场景可用 Zero-shot CoT 或推理模型蒸馏方案替代 few-shot 方案

CoT 在需要多步骤推理的任务中效果最突出。

• 数学与算术：多步计算、方程求解、应用题是 CoT 效果最稳定的经典领域
• 代码调试：逐步追踪执行路径，适合定位逻辑错误或解释复杂算法
• 法律与合规推理：条文逐条套用、多条件判断，降低遗漏关键判断条件的概率
• 智能体规划：在 ReAct 框架中作为行动前的推理步骤，指导工具选择与调用顺序
• 推理基准评测：GSM8K、MATH、ARC 等主流推理基准的主流解法均依赖 CoT