TensorFlow 如何处理自动微分？

TensorFlow 2.x 通过 tf.GradientTape 上下文记录可微操作，前向结束后调用 tape.gradient(target, sources) 自动计算梯度，支持高阶导与持久 tape。

一、核心回答

TensorFlow 2.x 的自动微分核心是 tf.GradientTape：

示例代码可以这样理解：

with tf.GradientTape() as tape:
    predictions = model(x, training=True)
    loss = loss_fn(y, predictions)
grads = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(grads, model.trainable_variables))

二、机制

tape 在 with 块内记录所有可微 op 及其依赖（动态计算图）；gradient(target, sources) 从 target 向 sources 反向应用链式法则。

三、进阶

• persistent=True：允许多次对同一 tape 求不同 target 的梯度
• watch()：显式追踪非 Variable 张量
• @tf.function：将训练步编译为图，tape 在图内仍有效
• tf.keras 的 model.fit 内部自动处理梯度
  与 PyTorch Autograd 对比：PyTorch 默认建图更「隐式」；TF 2.x 显式 tape 块，控制更精细。TF 1.x 静态图靠 tf.gradients 符号求导，2.x 以 tape 为主。详见 反向传播原理。

工具：TensorFlow。术语：反向传播。知识库：反向传播原理、深度学习基础。