NVIDIA TwoTower 扩散语言模型
2026年7月4日
核心指标
| 指标 | 数值 |
|---|---|
| 基础模型 | Nemotron-3-Nano-30B-A3B |
| 训练token | 约2.1万亿 |
| 吞吐提升 | 2.42倍 |
| 质量保留 | 98.7% |
| 架构 | 双塔(AR上下文+扩散去噪) |
技术要点
- 冻结AR上下文塔处理clean tokens
- 可训练扩散去噪塔通过交叉注意力细化
- 自适应层归一化conditioned on diffusion timestep
- 完整模式需双GPU(各约59GB BF16)
- 支持单GPU AR模式回退
硬件需求
- 双塔模式: 2x H100/A100 80GB
- AR回退: 单GPU即可
AI Master 解读
核心事件
NVIDIA用扩散模型思路突破自回归LLM推理速度瓶颈。
行业影响
影响分析: 1)扩散语言模型进入实用阶段;2)大模型部署成本有望显著降低;3)开源策略巩固NVIDIA开发者生态。
AI Master 建议
关注扩散LLM在推理优化场景的应用;双GPU配置需求需评估。
