DQN（深度 Q 网络）

DQN 的核心思路是用神经网络取代表格来近似 Q 函数，使强化学习能够处理高维状态空间。

• Q 函数：衡量在某状态下采取某动作可获得的长期累积奖励期望值，是 Q-learning 的核心。
• 函数近似：传统表格 Q-learning 在高维状态（如游戏像素）下完全不可行；DQN 用深度 CNN 参数化 Q 函数，实现状态泛化。
• 经验回放（Experience Replay）：将交互产生的「状态-动作-奖励-下一状态」四元组存入缓冲区，随机采样打破时序相关性。
• 目标网络（Target Network）：主网络的延迟副本，固定步数才同步参数，避免 TD 目标值随主网络同步波动导致训练发散。
• 里程碑意义：2015 年 Nature 论文在 49 款 Atari 游戏评测中，约 57% 的游戏超过专业人类玩家，正式确立深度强化学习范式。

DQN 的训练流程将探索、存储、采样、更新四步骤循环迭代。

• ε-贪心探索：以概率 ε 随机选动作（探索），以概率 1-ε 选 Q 值最大的动作（利用）；ε 随训练进行逐步衰减。
• 回放缓冲区采样：每步将新经验存入固定容量的缓冲区，每次更新随机采一个 mini-batch，使样本趋近独立同分布假设。
• TD 目标计算：用目标网络预测下一状态的最大 Q 值，构造 Bellman 目标：r + γ · max Q_target(s', a')。
• 损失函数：主网络预测值与 TD 目标之间的均方误差（或 Huber Loss 变体以增强数值稳定性）；反向传播只更新主网络。
• 目标网络同步：每隔固定步数（如 10000 步）将主网络参数复制到目标网络，两者解耦是训练稳定的关键。

DQN 发布后迅速催生了一系列改进变体，Rainbow 将其中六种合并为单一算法。

• Double DQN（2015）：用主网络选动作、目标网络估值，解耦两步操作，缓解原版对 Q 值的系统性高估偏差。
• Dueling DQN（2016）：网络输出分为状态价值 V 和优势函数 A 两条分支，对状态价值的学习更高效，改善无关动作场景的表现。
• Prioritized Experience Replay（2015）：按 TD 误差大小给经验赋予优先级，让训练更聚焦于难拟合的样本。
• 分布式 RL（C51, 2017；QR-DQN, 2017）：将 Q 值标量预测扩展为对收益分布的建模，捕捉回报的不确定性。
• Rainbow（2017）：将 Double DQN、Dueling、PER、多步回报、分布式 RL、Noisy Net 六项改进合并，Atari 综合得分远超所有单项改进。

DQN 及变体适合离散、有限动作空间的序贯决策任务。

• 游戏 AI：Atari 57 款游戏基准是最经典的评测场景，DQN 的成功也影响了后续 AlphaGo 中的策略网络设计思路。
• 对话系统：用于对话策略学习，将对话状态映射到系统回复动作，优化长期用户满意度。
• 推荐系统：会话级推荐中建模用户与系统的多轮交互，用 DQN 平衡即时点击与长期留存。
• 网络与调度：网络流量调度、数据中心冷却控制等离散决策场景有落地案例。
• 连续动作的衍生：DQN 思路催生了面向连续动作空间的 DDPG（2015）和 TD3（2018）等算法。

DQN 是 Q-learning 数十年积累与深度学习崛起共同碰撞的产物。

• 1989：Watkins 博士论文提出 Q-learning，奠定基础；彼时只能处理小规模表格状态。
• 1992：Tesauro 用神经网络近似价值函数训练西洋双陆棋（TD-Gammon），早期函数近似探索。
• 2013：DeepMind 的 Mnih 等人在 NIPS 深度学习研讨会发布初版论文「Playing Atari with Deep Reinforcement Learning」，展示 7 款 Atari 游戏的惊人结果。
• 2015：完整版论文发表于《Nature》，系统描述经验回放与目标网络，49 款 Atari 游戏大规模评测确立里程碑地位。
• 2015-2017：Double DQN、Dueling DQN、PER、C51、Rainbow 等变体密集涌现，Atari 性能持续攀升。
• 2018 至今：学界焦点转向连续控制（SAC、TD3）、离线强化学习（IQL）和大规模基础模型与 RL 的融合（如 RLHF）。

理解 DQN 的定位需区分它与其他强化学习主流方法的关系。

• DQN vs 表格 Q-learning：本质改进在于引入函数近似；代价是增加了神经网络的训练不稳定性与超参数敏感度。
• DQN vs 策略梯度（PPO/REINFORCE）：DQN 属于基于价值的方法，学 Q 函数再导出策略；策略梯度直接参数化并优化策略，天然支持连续动作。
• DQN vs Actor-Critic（A3C/SAC）：Actor-Critic 同时维护策略网络（Actor）和价值网络（Critic），连续动作扩展性更好；DQN 无显式策略网络。
• DQN vs DDPG：DDPG 是 DQN 思路向连续动作空间的直接延伸，用策略网络输出确定性动作，用 Critic 近似 Q 函数。
• Q-learning（离策略）vs SARSA（在策略）：DQN 基于 Q-learning，属于离策略（off-policy）——用贪心动作计算目标，与实际探索策略解耦；SARSA 是在策略（on-policy）——用实际执行动作计算目标。

DQN 在实际应用中有几处重要限制和常见认知偏差。

• 仅支持离散动作：动作空间必须有限且离散；连续控制（机械臂、无人驾驶）需改用 DDPG/SAC 等方法。
• 超参数敏感：ε 衰减曲线、目标网络同步频率、回放缓冲区大小、学习率对性能影响极大，新任务往往需重新调参。
• 样本效率低：相比 Model-Based RL，DQN 需要大量环境交互才能收敛，在物理机器人上部署成本高。
• 分布外泛化脆弱：DQN 学到的是像素与动作的统计映射，并非对规则的真正理解；改变帧颜色或背景可使性能大幅下降。
• 误区：「DQN 2015 年才提出」：实际上 2013 年 NIPS 研讨会版本已发布并广受关注，2015 年 Nature 版本是更完整的实验与正式发表，并非首次提出。