核心要点

  • CoT 让模型先输出中间推理步骤再给答案,把多步推理外化为可见 token,减少跳步错误。

  • Zero-shot CoT:加「let us think step by step(请一步步思考)」即可触发;Few-shot CoT:示例里给完整推理链。

  • 适用于数学、逻辑、多步推理类任务;简单事实/分类任务收益有限甚至过度思考。

  • 进阶变体:Self-Consistency(多路径投票)、Tree-of-Thought(搜索式推理)。

简要回答

prompt 里要求模型「一步步思考」,或给带推理链的 few-shot 示例,让模型先输出中间步骤再给最终答案,复杂推理任务效果明显提升。

标准回答

两种形式

  • Zero-shot CoT:只需在指令后加一句「Let us think step by step(请一步步思考)」,即可激发模型输出推理链。
  • Few-shot CoT:在示例中给出 question → reasoning → answer 的完整链条,让模型模仿这种「先推理后作答」的格式。

为什么有效

把多步推理外化成可见的中间 token,相当于给模型更多「思考算力」,减少一步到位时的跳跃错误;大模型预训练中已有大量推理模式可被激活

局限

  • 增加输出 token,带来成本与延迟
  • 简单任务可能过度思考,反而出错。
  • 推理链本身也可能幻觉,看似有理实则错误。

进阶变体:Self-Consistency 采样多条推理路径再对答案投票;Tree-of-Thought 把推理组织成可搜索/回溯的树结构。

常见误区

⚠️ 常见踩坑

别以为 CoT 对所有任务都加分——简单分类/抽取任务上它徒增延迟、还可能因「过度推理」引入错误。也别把可见的推理链当成模型真实的内部计算:它只是生成的文本,可能事后编造(post-hoc rationalization),看起来合理不代表答案正确。

追问

追问 1CoT 对小模型有效吗?

7B 以下小模型 CoT 收益有限,易出现错误推理链;需足够参数量与指令跟随能力。可试 few-shot CoT 或改用工具/检索补足,而非强推长链推理。

追问 2什么是 Self-Consistency?

对同一问题采样多条 CoT 推理路径,对最终答案投票取众。可提升数学/推理准确率,代价是多次推理的成本与延迟,适合高价值、低 QPS 场景。

延伸学习

与本题相关的知识库文章、术语、工具与行业资讯。