Deep Think(深度思考)
Deep Think从头预训练的推理层
亦作、亦称:深度思考
Deep Think 代表推理能力从'提示技巧'到'架构能力'的范式转变——不是'想得更多',而是'思考方式更高级'。
技术架构
Deep Think 在基础模型之上叠加专门的推理 Transformer 层,用于多步推理和逻辑推导。与传统 CoT 的关键区别:传统 CoT 是提示工程,无需额外训练;Deep Think 从头预训练推理专用层,推理能力成为架构能力而非提示技巧。
动态计算分配
根据问题复杂度动态决定推理深度:简单问题快速回答,复杂问题深度思考。推理步骤以结构化形式记录,支持事后审计和错误追溯。检测到矛盾时自动回溯并修正。
与 CoT 对比
传统 CoT 受限于上下文窗口,推理深度固定;Deep Think 拥有独立的推理空间,可动态扩展。传统 CoT 依赖后续提示纠正错误;Deep Think 在推理过程中实时自我纠正。传统 CoT 中间步骤可见但不可审计;Deep Think 推理过程结构化,可审计。
常见误解
日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。
- 「从头预训练的推理层」
相关术语
和本术语关联紧密的其他词条,便于串联理解。
🎯 考点练习
含该术语的高频面试题,含标准答案与追问。
- 初级概念高频查看详解 →
什么是大语言模型(LLM)?它能做什么、不能做什么?
LLM 是基于 Transformer、在海量文本上预训练的自回归语言模型,擅长语言任务,但不擅长精确计算、实时信息,且会产生幻觉。
- 高级系统设计查看详解 →
当 LLM 上下文窗口达到 1M token 时,"Lost in the Middle" 效应对 RAG 系统设计有何影响?如何工程化缓解?
即使上下文窗口达到 1M token,"Lost in the Middle"(Liu et al. 2023)与 Context Rot(Chroma 2026)仍使模型对中间位置信息的利用率显著下降——标称容量不等于有效容量。RAG 系统不能把检索结果无脑堆叠进超长上下文,而须做检索重排(首尾优先)、分层上下文预算(工作记忆 vs 长尾知识)、分块聚合(map-reduce)与位置探针评测。本题考察候选人能否把位置偏置从论文概念转化为 RAG 工程约束。
- 高级系统设计查看详解 →
基准污染诊断:当 SWE-bench Verified 得分异常高但实际能力不匹配时,如何系统性诊断并调整评估策略?
OpenAI SWE-bench Verified 审计发现 59.4% 任务存在缺陷,前沿模型被检测到从训练数据中召回答案(adwaitx.com 2026-02 技术分析)。当模型在基准上得分异常高(如 80%+)但实际能力不匹配时,候选人需要展示三条独立诊断路径(n-gram overlap 精确重叠、embedding similarity 语义重叠、ablation study 因果归因)的交叉验证能力,以及污染确认后从「单一基准分数」转向「基准组合 + 私有评测 + 过程评估」的评估策略重构能力。本题区分「会跑 benchmark」与「理解 benchmark 为什么可信」的候选人。
- 高级概念查看详解 →
在 MoE 模型的大规模部署中,Expert Parallelism 面临哪些工程挑战?请从负载均衡、通信开销、故障恢复三个维度分析。
Expert Parallelism 把 MoE 专家分布到多 GPU 以突破单卡显存上限,但 Top-K 路由导致负载不均、All-to-All 通信跨节点成为瓶颈、Expert 级 checkpoint 与弹性恢复比 Dense 模型更复杂。
