Gradient-free Inference（无梯度推理）

无梯度推理是深度学习模型部署的基础优化手段。

• 梯度（gradient）是反向传播的核心，训练时必须保留；推理时完全不需要
• PyTorch 的 autograd 引擎默认对每个张量操作记录计算图，关闭后节省大量内存
• 主要 API：torch.no_grad()（上下文管理器或装饰器）和更新的 torch.inference_mode()
• 与 model.eval() 配合使用才能获得完整推理行为

深度学习框架在前向传播时默认构建动态计算图以支持反向传播。

• 计算图记录了每个操作、参与张量及其版本信息，推理时这些信息完全冗余
• 启用无梯度模式后，框架跳过 梯度缓冲区 分配和版本计数器更新
• torch.no_grad() 设置 requires_grad=False，torch.inference_mode() 还额外禁用 视图追踪
• 显存节省来自：不保留中间激活值、不分配梯度张量，峰值显存可降低约 30%–50%

PyTorch 提供多种禁用梯度的机制，各有适用场景。

• torch.no_grad()：最通用，在其上下文内创建的张量仍可在外部被 autograd 追踪
• torch.inference_mode()：更严格，上下文内张量无法被任何 autograd 图记录，性能更优，推荐首选
• tensor.detach()：只针对单个张量脱离计算图，不影响全局 autograd 状态
• model.eval()：控制层行为（Dropout 关闭、BatchNorm 切换运行统计），与梯度禁用正交

无梯度推理适用于一切不需要更新模型参数的场景。

• 生产部署：REST API 服务、边缘设备推理，显著降低延迟和内存占用
• 评估循环：训练期间每轮验证集评估，避免显存溢出
• 批量特征提取：用预训练模型（如 BERT、CLIP）对大规模语料提取嵌入向量
• 集成推理：多模型集成预测，节省内存使更多模型可同时驻留 GPU

推理模式与训练模式在计算开销和行为上有本质差异。

• 训练时需保留前向激活以供反向传播使用；推理时前向完成即可丢弃
• Dropout 训练时随机丢弃神经元，推理时必须关闭以保持确定性输出
• BatchNorm 训练时统计当前 batch 均值/方差，推理时使用训练期累积的运行统计
• 错误地在推理时保留梯度不会导致结果错误，但会浪费内存并拖慢速度

无梯度推理虽然简单，但有几个容易踩坑的地方。

• 误区一：认为 torch.no_grad() 等同于 model.eval()——两者作用不同，必须同时使用
• 误区二：在 inference_mode 上下文内创建的张量在外部用于训练时会报错，需注意张量生命周期
• 误区三：忘记关闭梯度导致显存不足（OOM），尤其在长序列 LLM 推理时影响显著
• 局限：对于需要梯度的推理场景（如对抗样本生成、特征归因），不可使用此模式

无梯度推理随深度学习框架的成熟而逐步规范化。

• 2016 年前后：TensorFlow 引入 Session.run() 的推理 feed_dict 模式，PyTorch 早期通过 Variable.volatile 禁用梯度
• 2017 年：PyTorch 0.4 弃用 volatile，引入 torch.no_grad() 作为标准推理上下文
• 2021 年：PyTorch 1.9 正式引入 torch.inference_mode()，提供更严格、更高效的无梯度语义
• 2022 年至今：大模型（LLM）推理框架（vLLM、TensorRT-LLM 等）将无梯度推理与量化、KV Cache 等技术深度整合