核心要点
能写出状态价值与动作价值的 Bellman 方程
理解最优 Bellman 方程与压缩映射、收敛性
知道动态规划、TD、Q-Learning 如何基于 Bellman 更新
能解释折扣因子 γ 在方程中的作用
简要回答
Bellman 方程把当前状态价值表示为即时奖励加折扣后继状态价值的期望，是 RL 动态规划、价值迭代与 TD 学习的数学基石。
标准回答
一、状态价值 Bellman 方程
（策略 π 下）：
V^π(s) = E_π[R_{t+1} + γ V^π(S_{t+1}) | S_t = s]
二、动作价值 Bellman 方程
Q^π(s,a) = E[R_{t+1} + γ V^π(S_{t+1}) | S_t=s, A_t=a]
三、最优 Bellman 方程
（Bellman 最优性）：
V*(s) = max_a E[R + γ V*(S') | s,a]
Q*(s,a) = E[R + γ max_{a'} Q*(s',a') | s,a]
四、在 RL 中的用途
回答思路
【定义】用一句话说清「Bellman 方程是什么？在强化学习中如何使用」
【原理】讲清关键机制或步骤（2～3 点）
【例子】举一个真实项目、论文或产品中的例子
【对比】与易混淆概念或替代方案比较（如有）
【收尾】总结适用场景 + 一个局限或风险
常见误区
⚠️ 常见踩坑
误区一：容易答偏的地方：只会背公式不会解释 bootstrapping；把 V 和 Q 的 Bellman 方程混用或忘记期望是对策略/转移概率取的。
追问
追问 1：Bellman 算子为什么是压缩映射？
在 sup 范数下，引入 γ<1 后 ||T V₁ - T V₂|| ≤ γ||V₁ - V₂||，Banach 不动点定理保证价值迭代收敛到唯一不动点 V*。
追问 2：Bellman 方程和贝尔曼期望方程有何区别？
贝尔曼期望方程描述特定策略 π 下的价值递推；贝尔曼最优性方程对动作取 max，描述最优价值。策略评估用前者，价值迭代/Q-Learning 瞄准后者。
追问 3：没有环境模型还能用 Bellman 方程吗？
可以。模型已知时用 DP 精确求解；模型未知时用采样估计 Bellman 右侧——即 MC（用完整回报）或 TD（用一步 bootstrapping），这是 model-free RL 的理论基础。
🔗 相似问题
同一考点的不同问法，换着练更稳
延伸学习
按主题分类的相关资源，便于系统复习