DSpark（DeepSeek 推测解码框架）

DSpark 的核心架构包含两个关键组件。

第一是半自回归草稿模型（Semi-Autoregressive Draft Model）：不同于纯自回归草稿（逐个生成，受串行瓶颈限制）和纯并行草稿（如扩散草稿，质量不稳定），半自回归方式在部分串行约束下允许一定程度的并行生成——例如每步并行生成 4-8 个 token，同时保持前后依赖关系的基本约束，在草稿速度和质量之间取得平衡。

第二是置信度调度器（Confidence Scheduler）：在验证阶段，调度器实时统计目标模型对草稿 token 的接受概率。如果接受率高（>80%），说明草稿质量好，下一轮加大草稿步长（如从 4 增加到 8）；如果接受率低（<50%），说明草稿偏差大，缩短步长避免浪费验证算力。

这种自适应策略使 DSpark 在不同输入难度下都能保持高加速比。

2026 年主流的推测解码方案包括 DSpark、Eagle-3 和 Medusa。Eagle-3 通过在目标模型内部特征上做自回归，实现 7.2x 加速和 92.3% 接受率，但需要修改模型架构（在目标模型内部附加特征预测头），部署侵入性较高。

Medusa 在目标模型上附加轻量解码头，无需独立草稿模型，但解码头的设计需要针对特定模型架构定制。DSpark 的核心优势是完全不侵入目标模型——草稿模型是独立的，可以随意替换和升级，目标模型权重完全不变。

这意味着 DSpark 可以即插即用于任何 LLM 推理框架（vLLM、SGLang、TensorRT-LLM），无需重新训练或修改模型。

实测性能方面，DSpark 在 DeepSeek-V4 上达到 60-85% 延迟降低，高并发吞吐提升 4 倍；Eagle-3 加速更高（7.2x）但部署门槛也更高。对于需要快速上线、不希望修改模型权重的生产环境，DSpark 是当前最实用的选择。

DSpark 于 2026 年 6 月 27 日开源后，迅速被主流推理框架集成。

vLLM 在 v0.9 版本中原生支持 DSpark 草稿模型加载和置信度调度；SGLang 提供 DSpark 兼容的 Draft-and-Verify 接口；TensorRT-LLM 通过插件方式支持 DSpark 加速。

部署建议：对于在线对话场景（延迟敏感），推荐 DSpark + 短草稿（4-6 token），可将首 token 延迟降低 40-60%；对于批量生成场景（吞吐敏感），推荐 DSpark + 长草稿（8-12 token），配合连续批处理，吞吐可提升 3-4 倍。

DSpark 与量化（如 AWQ、GPTQ）和 KV-Cache 优化（如 PagedAttention）完全兼容，可叠加使用。DeepSeek 还发布了 DSpark 的基准测试工具包，支持在 DeepSeek-V4、Qwen3、Gemma、Llama 等模型上一键评估加速效果。