Speculative Decoding Drafter(推测解码草稿模型)
Speculative Decoding Drafter用小模型猜下一步,大模型验证加速推理
亦作、亦称:推测解码草稿模型 · Speculative Decoding Drafter · Drafter Model
Speculative Decoding Drafter 是推测解码中快速生成候选 token 的小型模型,由大模型验证。腾讯 AngelSpec 框架统一支持 MTP 和 Block-Parallel 训练方法。
核心机制
Drafter 模型是推测解码的核心组件:用小型草稿模型快速生成候选 token 序列,由大型目标模型并行验证并接受/拒绝。接受率越高加速比越大。核心挑战是草稿模型与目标模型的分布对齐。
训练方法
腾讯开源 AngelSpec 框架统一支持两种推测解码训练方法:MTP(Multi-Token Prediction) 让模型在一次前向传播中预测多个未来 token;Block-Parallel 将序列分块并行训练草稿模型。两种方法可组合使用,在 Hy3 模型上验证有效。
工程意义
推测解码可将 LLM 推理速度提升 2-3 倍而不损失输出质量。Drafter 模型的质量直接决定接受率与加速比。2026 年随着 Agent 长链推理需求增长,推测解码从研究技术走向生产基础设施。
常见误解
日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。
- 「用小模型猜下一步,大模型验证加速推理」
- 「推测解码的草稿生成器」
相关术语
和本术语关联紧密的其他词条,便于串联理解。
🎯 考点练习
含该术语的高频面试题,含标准答案与追问。
- 初级概念高频查看详解 →
什么是大语言模型(LLM)?它能做什么、不能做什么?
LLM 是基于 Transformer、在海量文本上预训练的自回归语言模型,擅长语言任务,但不擅长精确计算、实时信息,且会产生幻觉。
- 中级概念查看详解 →
Claude Opus 5 如何在降低成本的同时提升安全性?「guardrails 激活频率降低 85%」意味着什么?
考察候选人对前沿模型「安全-可用性平衡」的理解:以 2026 年 7 月发布的 Claude Opus 5 为例,解读「guardrails 激活频率较 Fable 5 降低 85%」的真实含义、过度拒绝(over-refusal)问题,以及为什么「更少误拦」与「更安全」可以同时成立。
- 高级概念查看详解 →
比较 Subquadratic Attention 与标准 Self-Attention 的复杂度差异。长上下文 LLM 的工程挑战有哪些?
考察候选人对注意力机制复杂度的理解:标准自注意力为何是 O(n²)、亚二次注意力的实现路径(稀疏/低秩/线性/SSM)、SubQ 的工程突破,以及长上下文 LLM 在内存、延迟、成本上的工程挑战。
- 高级概念查看详解 →
解释 DeltaNet 如何利用 Delta Rule 实现线性注意力,与传统 softmax attention 的优劣对比
考察候选人对线性注意力架构演进的理解,特别是 DeltaNet 如何通过增量更新机制在 O(n) 复杂度下实现接近 Transformer 的记忆精度。
延伸阅读
从知识库精选 1 篇文章,帮助深入理解该术语。
外部参考
维基百科:查看「Speculative Decoding Drafter」词条本页内容为本站原创撰写;维基百科链接仅作延伸参考。
