Discount Factor（折扣因子）

折扣因子（γ）是强化学习中量化「未来奖励相对价值」的超参数。

• γ ∈ [0, 1]：0 表示完全短视，1 表示等价看待所有时刻的奖励
• 出现在贝尔曼方程中：V(s) = R + γ · V(s')，递归传播价值信号
• 在Q-Learning、SARSA、PPO 等主流算法中均为必设参数
• 经济学中对应时间偏好（time preference）概念，反映对未来收益的主观折现

折扣因子通过指数衰减方式压缩远期奖励的权重。

• 累积回报公式：G_t = R_{t+1} + γ·R_{t+2} + γ²·R_{t+3} + … = Σ γ^k · R_{t+k+1}
• γ < 1 时级数收敛，保证无限时序下总回报为有限值
• 贝尔曼算子的压缩性：γ < 1 使算子满足 Lipschitz 条件，保证值迭代收敛
• 距离当前时刻 t 步的奖励，其有效权重仅为 γ^t；γ=0.99 且 t=100 时权重约 0.37

γ 的选择直接影响学习目标与训练稳定性。

• γ → 0（短视型）：只优化即时奖励，适合奖励密集、时序极短的任务（如部分游戏关卡）
• γ ≈ 0.9–0.95：中等时序任务的常用区间，平衡即时与远期
• γ ≈ 0.99–0.999：长期规划任务（棋类、机器人导航、金融交易）
• γ = 1（无折扣）：仅适用于有限时序且确保回合必然终止的情形，否则可能发散
• 调参经验：稀疏奖励任务中 γ 过低会导致价值信号无法回传到初始状态，需适当提高

折扣因子在强化学习各类任务中均有体现。

• 游戏 AI（Atari、围棋）：高 γ 帮助 Agent 学会长期布局策略
• 机器人控制：γ 设置影响轨迹规划的时间跨度
• 推荐系统：将用户长期满意度纳入优化目标，γ 控制对长期留存的关注度
• 金融量化：折扣因子对应资金时间价值，具有清晰的经济学解释
• 对话系统：多轮对话中 γ 决定 Agent 对话术的前瞻深度

折扣因子常与以下概念混淆，需注意区分。

• 折扣因子 vs 学习率（α）：α 控制参数更新步长，γ 控制目标价值的时间范围，二者相互独立
• 折扣因子 vs 回报（Return）：γ 是计算回报的参数，G_t 才是回报本身
• 折扣因子 vs ε-贪心：ε 控制探索-利用权衡，γ 与探索无关
• 折扣 MDP vs 平均奖励 MDP：平均奖励框架下不使用 γ，直接最大化每步平均回报，适合无限时序稳态任务

折扣因子的设置存在若干容易踩坑的陷阱。

• 误区：γ 越大越好——接近 1 时值函数估计方差增大，梯度信号不稳定，收敛变慢
• 误区：折扣算法等价于平均奖励最优化——折扣目标与平均奖励目标并不等价，不同 γ 对应不同优化问题
• 稀疏奖励下的信号消失：γ 过低时，远处的稀疏奖励乘以 γ^t 后趋近于 0，Agent 几乎无法学习
• γ 的不可迁移性：在 A 任务调好的 γ 未必适用于 B 任务，需针对任务时序重新搜索
• 有限 vs 无限时序：有限时序任务理论上允许 γ=1，但实现时仍需谨慎

折扣因子从经典控制论逐步进入现代深度强化学习体系。

• 1957 年：Richard Bellman 在《Dynamic Programming》中引入折扣因子，奠定动态规划理论基础
• 1988 年：Sutton 提出 TD(λ)，折扣因子与资格迹（Eligibility Trace）结合，推广到多步估计
• 1992 年：Watkins & Dayan 发表 Q-Learning，γ 成为表格型 RL 的标准超参数
• 2013–2015 年：DeepMind DQN 将 γ=0.99 用于 Atari 游戏，深度 RL 时代折扣因子沿用至今
• 2019 年至今：研究者探讨双曲折扣（Hyperbolic Discounting）与多时间尺度折扣，以更好地建模人类时间偏好和处理非平稳环境