模仿学习（Imitation Learning）

行为克隆是最直接的模仿学习方法：收集专家在每个状态下的动作，构建 (state, action) 数据集，用监督学习训练策略网络。

优点：简单高效，可直接复用监督学习框架。

核心挑战：分布偏移（Distribution Shift / Compounding Error）——训练时智能体始终在专家轨迹附近，但推理时微小的偏差会累积，导致智能体进入从未见过的状态空间，做出错误决策。Ross et al.（2011）的 DAgger 算法通过迭代混合专家轨迹和智能体轨迹来缓解这一问题。

2026 年进展：Google RT-2 将行为克隆扩展到视觉-语言-动作（VLA）模型，从大规模互联网数据和机器人操作数据联合训练，实现零样本泛化到未见过的物体和任务。

逆强化学习不直接模仿动作，而是从专家行为中推断潜在的奖励函数，再用强化学习优化策略。核心假设：专家行为是（近）最优的，因此可以从最优行为中反推出专家在优化什么目标。

经典方法：

• Abbeel & Ng（2004）学徒学习：通过特征匹配逼近专家的累积奖励
• MaxEnt IRL（Ziebart et al., 2008）：引入熵最大化原则，在多个可能解释专家行为的奖励函数中选择最均匀分布的一个

2026 年应用：

• LLM 对齐：Anthropic 的 Constitutional AI 使用逆 RL 从人类偏好中推断价值观奖励函数
• 自动驾驶：从人类驾驶数据推断安全、效率、舒适度的多维奖励函数
• 人机协作：从人类示范中推断协作意图，实现自然的机器人辅助行为

GAIL（Generative Adversarial Imitation Learning）：Ho & Ermon（2016）将 GAN 的对抗训练引入模仿学习。生成器（策略网络）尝试产生类似专家的行为，判别器区分生成行为和专家行为。通过对抗训练，生成器被迫逼近专家的行为分布，有效缓解分布偏移问题。

DAgger（Dataset Aggregation）：Ross et al.（2011）提出迭代数据聚合算法——每轮训练后，让智能体在训练策略下执行任务，专家在智能体偏离时提供纠正动作，将纠正数据加入训练集。DAgger 在理论上有收敛保证，但需要专家在线参与，限制了大规模应用。

2026 年趋势：GAIL 的变体（如 f-GAIL、AIRL）与 Transformer 架构结合，成为自动驾驶和机器人模仿学习的主流框架。