PyTorch 的 Autograd 如何实现自动微分？

PyTorch Autograd 在前向时动态构建有向无环计算图，backward 时从根节点沿图反向应用链式法则，将梯度累加到各叶子张量的 .grad。

一、先给出结论和背景

• PyTorch Autograd：实现自动微分（AutoDiff），支撑 反向传播。
• 前向（建图）：- 每个可微运算创建 Function 节点，记录 inputs → outputs
• 张量 .grad_fn 指向创建它的运算
• 叶子节点（用户输入、Parameter）grad_fn is None

二、拆开关键步骤和判断点

• 反向（求导）：- loss.backward() 从 loss 启动
• 拓扑序遍历图，每个节点调用 grad_fn.backward(grad_output)
• 链式法则：grad_input = grad_output × local_jacobian
• 累加到叶子 .grad
• 特点：- 动态图：每轮前向可不同结构（if/for）
• 仅保存必要中间值 供反向（可 checkpoint 换显存）
  示例代码可以这样理解：
  x = torch.tensor(2.0, requires_grad=True)
  y = x ** 2
  y.backward()
  print(x.grad) # 4.0

三、补上落地边界和取舍

• torch.no_grad()：禁用建图；detach() 切断梯度。详见 反向传播原理。

面试里不要只停在公式或名词，可以补 PyTorch 的 Autograd 如何实现自动微分 对训练稳定性、泛化、收敛速度或显存/算力的影响。再说明一个常见调参或排错场景，面试官会更容易判断你真的用过这些方法。

工具：PyTorch。术语：反向传播、梯度。知识库：反向传播原理。