Agentic RL（Agentic Reinforcement Learning）

LLM RL（如 RLHF、PPO、GRPO）将 LLM 视为策略网络，在单轮 prompt-response 框架下优化：给定 prompt，模型生成 response，奖励模型打分，策略梯度更新。这是一个退化的单步 MDP——环境在每轮重置，没有状态转移，没有长期规划。

Agentic RL 则不同：Agent 在多轮交互中持续行动，每一轮的动作会影响下一轮的环境状态，奖励可能是稀疏的（只在任务完成时给出）或延迟的（多轮后才兑现）。数学上，这建模为 POMDP（部分可观察马尔可夫决策过程），状态空间、动作空间、观测空间、转移函数、奖励函数五元组构成了完整的训练框架。

arXiv 2509.02547 的综述将这一转变定义为『从被动序列生成器到自主决策者』的范式转移，并指出 RL 是将 LLM 的静态能力（推理、工具使用、记忆）转化为动态 Agent 行为的关键机制。

Agentic RL 面临三大核心挑战。第一是信用分配（credit assignment）：在多轮轨迹中，哪些动作对最终奖励贡献最大？例如 Agent 在 10 轮 Web 浏览后完成任务，如何归因于第 3 轮的搜索查询和第 7 轮的点击？

传统 RL 的 TD 误差或 REINFORCE 的梯度估计在多轮场景下方差极大。第二是环境交互开销：Agent 每轮需要调用外部工具（浏览器、代码解释器、API），rollout 的时间成本从单轮的秒级上升到多轮的分钟级，训练吞吐量急剧下降。

第三是奖励设计：稀疏奖励（只在任务完成时给 0/1）导致探索困难，密集奖励（每轮给中间奖励）需要设计奖励模型或启发式函数，且容易引入 reward hacking。

NeurIPS 2025 的《A Practitioner's Guide to Multi-turn Agentic RL》系统分析了这三个挑战，并在 TextWorld、ALFWorld 等交互式文本环境中提供了可复现的代码框架。

2025 年涌现了一批 Agentic RL 的系统实现和代表性研究。

系统层面：verl、slime 等原为 chat LLM 设计的 RL 框架无法原生支持 Agentic 任务（无法处理多轮 rollout 和环境交互），因此出现了专门的 Agentic RL 框架，如 NVIDIA NeMo Gym（提供 REST-API 的训练环境抽象，将 Model、Resources、Agents 解耦）和 NeMo RL（支持 GRPO、on-policy distillation、asyncRL、FP8 RL 训练）。

代表性研究包括：Search-R1（用 RL 训练 LLM 在推理过程中自主调用搜索引擎）、WebRL（为 Web Agent 设计自进化在线课程学习）、R1-Searcher（用 RL 激励 LLM 的搜索能力）、ReSearch（多奖励 RL 增强 LLM 推理中的搜索）、R-Search（意图满足奖励驱动的搜索 Agent）。

这些工作共同表明：RL 不仅能优化 LLM 的『思考』，还能优化 LLM 的『行动』——如何调用工具、如何与环境交互、如何在多步任务中做出稳健决策。

2026 年，Agentic RL 被视为构建通用 AI Agent 的关键技术路径。Richard Sutton 和 David Silver 在《Era of Experience》框架中指出：AI 的下一阶段将由 Agent 经验（而非人类数据）驱动，RL 是将经验转化为能力的核心机制。

产业层面，Agentic RL 的应用场景包括：Web Agent（自动化网页操作）、Code Agent（自主调试和修复代码）、Scientific Agent（生物信息学、化学实验自动化）、Robotics Agent（机器人控制）。

挑战依然存在：多轮 rollout 的计算成本、环境模拟的保真度、奖励模型的对齐、训练稳定性等。但方向已经明确：LLM 不再只是『大脑』，而是长出『手脚』的 Agent；RL 不再只是优化对话，而是优化行动。Agentic RL 是这一转变的训练引擎。