Q-Learning 如何工作？为何属于无模型方法？

Q-Learning 更新（离策略、model-free）：
Q(s,a) ← Q(s,a) + α [ r + γ max_{a'} Q(s',a') - Q(s,a) ]

工作流程：

1. 在状态 s 用行为策略（常 ε-greedy）选动作 a
2. 执行 a，观测 r, s'
3. 用最优后继动作的 Q 值构造 TD 目标（不管实际下一步采取什么动作）
4. 重复直至收敛

为何 model-free：更新只需样本 (s,a,r,s')，不需要知道转移概率 P(s'|s,a) 或奖励模型 R(s,a)；与动态规划的价值迭代对比，DP 需完整模型

Q-Learning 更新（离策略、model-free）：
Q(s,a) ← Q(s,a) + α [ r + γ max_{a'} Q(s',a') - Q(s,a) ]

工作流程：

1. 在状态 s 用行为策略（常 ε-greedy）选动作 a
2. 执行 a，观测 r, s'
3. 用最优后继动作的 Q 值构造 TD 目标（不管实际下一步采取什么动作）
4. 重复直至收敛

为何 model-free：更新只需样本 (s,a,r,s')，不需要知道转移概率 P(s'|s,a) 或奖励模型 R(s,a)。与动态规划的价值迭代对比，DP 需完整模型。

收敛性（表格情形）：学习率满足 Robbins-Monro 条件且每个 (s,a) 被无限次访问时，Q 收敛到 Q*。

延伸：DQN 用神经网络参数化 Q，是 Q-Learning 的深度扩展。详见 深度 Q 网络。