逆强化学习（IRL）原理与步骤详解

首先，我们梳理逆强化学习（IRL）的核心运行机制：外层通过迭代反推奖励函数，内层运行强化学习（RL）以求解状态分布。其核心思想非常直接——专家执行正确的动作获得高奖励，错误动作则获得低奖励。然而，问题恰恰出现在这一内外双层循环结构上，计算代价高昂得令人难以承受。

PART 01 核心原理

那么，逆强化学习（IRL）的实际工作方式是什么？简单来说，它从专家演示轨迹中反向推导奖励函数，并基于该推导出的奖励函数来训练强化学习智能体。与生成对抗模仿学习（GAIL）相比，IRL 能够提供可解释的奖励函数——清晰描述每个状态‑动作对的价值；而 GAIL 仅学习到一个隐式的判别器信号，虽然可以模仿行为，但其内部逻辑难以解释。

这里涉及一个关键假设（最大熵 IRL）：专家轨迹出现的概率与累积奖励的指数成正比。用数学语言表述就是：符合高奖励路径的专家轨迹具有更高的似然度。通过最大化专家轨迹的似然函数，逐步反向推导出每个状态‑动作对 \((s,a)\) 的奖励权重。

PART 02 具体步骤（以 MaxEnt IRL 为例）

接下来，我们以最大熵逆强化学习（MaxEnt IRL）为例，直接查看其算法伪码，以便更直观地理解执行流程：

算法：MaxEnt IRL
输入：专家轨迹 {τ_expert}，特征函数 Φ(s,a)
输出：Reward 权重 w，策略 π

1. 初始化：
   - w = 0（reward 权重向量）
   - r(s,a) = w · Φ(s,a)  # 线性 reward 函数

2. while w 未收敛:
   # IRL 外循环
   # --- 步骤1：求期望特征 ---
   # 计算专家轨迹的平均特征
   μ_expert = E[Φ(s,a)]_expert

   # --- 步骤2：求状态分布（需用 RL）---
   # 在当前 reward r 下运行 RL，得到最优策略 π_w
   π_w = run_RL(r, env)   # 通常用价值迭代或策略梯度
   μ_π = E[Φ(s,a)]_π_w    # 策略访问状态的平均特征

   # --- 步骤3：更新 reward 权重 ---
   # 梯度方向：让专家特征高于策略特征
   gradient = μ_expert - μ_π
   w = w + α * gradient   # α 是学习率

3. 用最终 w 构建 reward：r(s,a) = w · Φ(s,a)
   在该 reward 上重新训练 RL 策略
4. 返回 w, π

为什么需要内外两层循环

这正是 IRL 计算开销最高的环节。通过下表的对比可以一目了然：

内层每次迭代都需要运行完整的强化学习（例如价值迭代或策略梯度算法），这一步骤无法省略。这正是 MaxEnt IRL 在大规模实际问题中基本不可行的原因——其计算成本高得难以承受。

IRL 内层循环：核心目标

给定当前的奖励函数 \(r(s,a)\)，我们需要求解该奖励下最优的策略 \(\pi_w\)，以及策略访问状态分布 \(\mu_\pi = E_{\pi_w}[\Phi(s,a)]\)。以下是两种典型的实现路径：

路径一：基于价值的迭代（适合离散、小状态空间）

采用动态规划求解最优 Q 函数，并进一步导出策略。

算法：内层 RL（基于价值迭代）
输入：reward 函数 r(s,a)，状态转移 P，环境
输出：最优策略 π，最优状态访问分布 μ_π

1. 初始化：
   Q(s,a) = 0，V(s) = 0 for all s,a
   μ_π(s,a) = 0 for all s,a   # 状态访问计数

2. 迭代求最优 Q 函数（策略评估 + 策略提升）：
   for iter = 1 to MAX_ITER:
       # 策略评估：求 V(s) = max_a Q(s,a)
       for each (s,a):
           Q(s,a) = r(s,a) + γ * Σ_s" P(s'|s,a) * V(s')
       V(s) = max_a Q(s,a)
       # 提取贪心策略
       π(a|s) = 1 if a = argmax_a Q(s,a) else 0

3. 求状态访问分布 μ_π（关键步骤）：
   # 方法：求稳态分布 or 访问频率
   d_0(s) = 初始状态分布
   for t = 1 to T:  # 向前仿真 T 步
       for each (s,a):
           d_t(s') += d_{t-1}(s) * P(s'|s,a) * π(a|s)
       # 累计访问
       μ_π(s,a) += d_t(s) * π(a|s)

4. 返回 π, μ_π

路径二：基于策略的采样（适合连续、大状态空间）

采用 PPO 或 SAC 等策略梯度方法采样轨迹，直接估计访问分布 \(\mu_\pi\)。虽然精度略有下降，但计算成本相对可控。

两个路径的对比：

IRL 方法族对比

最后，将经典的 IRL 方法汇总进行比较：

综上所述，除了最大边际法和博弈论方法计算开销稍小之外，绝大多数逆强化学习变体都无法回避内层强化学习这一昂贵步骤。理解了这一瓶颈之后，就不难理解为何后续研究开始转向近似或无模型的逆强化学习方法——因为在实际应用场景中，双层循环的资源消耗实在过于奢侈。