强化学习中的策略（Policy）起什么作用？

策略（Policy） π：在状态 s 下选择动作的规则；

• 确定性：a = μ(s)
• 随机性：π(a|s) = P(A_t=a | S_t=s)，支持探索

角色：

1. 行为核心：Agent 每步按 π 决策，完全决定轨迹分布
2. 优化目标：学 π* 使 J(π) = E[G_0] 最大
3. 两类方法：
   • Value-based：先学 Q*，再 π(s)=argmax Q（DQN）
   • Policy-based：直接参数化 π_θ，梯度上升（REINFORCE、PPO）

深度 RL：π_θ 常为神经网络（Actor），输出动作概率或连续动作均值/方差

策略（Policy） π：在状态 s 下选择动作的规则。

• 确定性：a = μ(s)
• 随机性：π(a|s) = P(A_t=a | S_t=s)，支持探索

角色：

1. 行为核心：Agent 每步按 π 决策，完全决定轨迹分布
2. 优化目标：学 π* 使 J(π) = E[G_0] 最大
3. 两类方法：
   • Value-based：先学 Q*，再 π(s)=argmax Q（DQN）
   • Policy-based：直接参数化 π_θ，梯度上升（REINFORCE、PPO）

深度 RL：π_θ 常为神经网络（Actor），输出动作概率或连续动作均值/方差。PPO 等用 clipped objective 稳定策略更新。

与价值函数关系：策略评估求 V^π；策略改进用 Q^π 贪心；Actor-Critic 同时维护 π 与 V/Q。详见 强化学习入门。