什么是价值函数？与强化学习策略有何关系？

状态价值 V^π(s) = E_π[G_t | S_t=s]：从 s 出发按 π 行动的期望回报；
动作价值 Q^π(s,a) = E_π[G_t | S_t=s, A_t=a]：在 s 先执行 a 再按 π 行动的期望回报

状态价值 V^π(s) = E_π[G_t | S_t=s]：从 s 出发按 π 行动的期望回报。
动作价值 Q^π(s,a) = E_π[G_t | S_t=s, A_t=a]：在 s 先执行 a 再按 π 行动的期望回报。

关系：V^π(s) = Σ_a π(a|s) Q^π(s,a)；Q^π(s,a) = E[R + γ V^π(s') | s,a]

最优价值：V*(s) = max_π V^π(s)；Q*(s,a) = max_π Q^π(s,a)

与策略的关系：

• 策略评估：给定 π，求 V^π 或 Q^π（DP/TD/MC）
• 策略改进：π'(s) = argmax_a Q^π(s,a) 保证 V^{π'} ≥ V^π
• 最优策略：π*(s) = argmax_a Q*(s,a)（贪心即最优）

Actor-Critic：Critic 学价值函数估计优势 A(s,a) = Q(s,a) - V(s)，指导 Actor（策略）梯度更新。详见 强化学习入门。