强化学习中的策略（Policy）起什么作用？

策略 π(a|s) 是 Agent 的行为规则，将状态映射到动作（分布）；RL 目标是找到最大化期望 回报 的最优策略 π*。

一、策略（Policy）

π：在状态 s 下选择动作的规则。

• 确定性：a = μ(s)
• 随机性：π(a|s) = P(A_t=a | S_t=s)，支持探索

二、角色

1. 行为核心：Agent 每步按 π 决策，完全决定轨迹分布
2. 优化目标：学 π* 使 J(π) = E[G_0] 最大
3. 两类方法：
   • Value-based：先学 Q*，再 π(s)=argmax Q（DQN）
   • Policy-based：直接参数化 π_θ，梯度上升（REINFORCE、PPO）

三、深度 RL

π_θ 常为神经网络（Actor），输出动作概率或连续动作均值/方差。PPO 等用 clipped objective 稳定策略更新。

四、与价值函数关系

策略评估求 V^π；策略改进用 Q^π 贪心；Actor-Critic 同时维护 π 与 V/Q。详见 强化学习入门。

延伸阅读：强化学习入门、PPO 与对齐。术语：策略、PPO、Return。