模仿学习常用方法全面对比与解析

模仿学习主流方法全景梳理

模仿学习（Imitation Learning，简称IL）的核心思路非常直接：避开奖励函数设计的繁琐流程，直接从专家（人类或高水平策略）的演示数据中“照猫画虎”学习策略。本文将对主流方法的原理和横向对比进行系统化梳理，帮助你在工程选型时做到心中有数。

PART 01 行为克隆 (Behavior Cloning, BC)

BC 是最朴素的方式——将模仿学习视为监督回归问题。给定状态 s，拟合专家动作分布 π(a|s)，最小化期望负对数似然。说得通俗点就是“抄答案”：利用 (s_t, a_t) 配对数据直接训练策略网络进行动作回归。

PART 02 数据集聚合 (DAgger)

DAgger 通过迭代式“打标签→训练→收集新数据”来解决上述问题：当前策略 π_i 采集数据 → 专家在策略轨迹状态上打标签 a^* = π_expert(s) → 合并到训练集，训练新策略 π_i+1。

核心思想在于：BC 仅在专家数据的状态上训练，而 DAgger 将专家的覆盖范围扩展到策略自身的状态分布，从而在理论上消除了累积误差。

代表工作：Ross & Bagnell 2010 (DAgger)，核心引理：在 ε-贪婪专家下，BC 累积误差 O(T²ε)，DAgger 可降至 O(Tε)。

PART 03 生成对抗模仿学习 (GAIL)

GAIL 将 GAN 框架引入模仿学习：训练一个判别器 D(s,a) 来区分专家数据和策略生成数据，策略 π 作为生成器试图欺骗判别器。奖励信号从判别器推导出来：r(s,a) = -log(1-D(s,a))，相当于隐式的奖励塑形。

PART 04 Q 函数类方法（逆强化学习 IRL）

逆强化学习走了另一条路：先从专家轨迹反推奖励函数 r_ψ(s,a)，再基于该奖励函数训练强化学习策略。核心假设是专家轨迹的概率正比于 exp(∑_t r(s_t,a_t))（最大熵原理），通过最大化专家数据似然来反推奖励函数。

PART 05 离线模仿学习 / Offline IL

针对无法在线交互、仅有固定离线数据集的场景，近年涌现出几种代表性思路：

Conditional IL (cIL)：训练时对状态-动作条件分布建模，将状态作为额外输入以缓解分布偏移。当前 SOTA 离线 IL 如 IKL、Action Chunking Transformer 均属此类。

IQ-Learn / Implicit Q-Learning：不显式建模奖励函数，而是从隐式 Q 函数推导策略，绕开了传统 IRL 的内外层嵌套问题。

Diffusion Policy（扩散策略）：使用扩散模型建模动作分布 a_t = Diffusion(s_t, noise)，在机器人操作任务上效果显著。

PART 06 方法对比总览

PART 07 工程选型建议

数据来源
├── 静态离线数据集   无在线能力
│   ├── 数据分布覆盖好 → BC / cIL + behavior regularizer
│   └── 数据稀疏/分布窄 → Offline RL 思路（IQ-Learn）
│
├── 可在线交互   专家在线
│   ├── 短 horizon / 状态简单 → DAgger
│   └── 长 horizon / 高维视觉 → GAIL / Model-based IL
│
└── 有大量演示数据   目标可定义 reward
    └── MaxEnt IRL（学奖励函数再做 RL）

避坑提示：

• BC 是 baseline，不是终点——上生产前至少测一次 DAgger 或 offline IL 进行对比
• GAIL 的训练不稳定性是工程大坑，生产部署前需设置 early stopping 并配合离线评估策略
• 真实机器人场景下，扩散策略 + 动作分块 (action chunking) 是目前工程落地最成熟的组合