北航北大美团联合提出强化学习提升新策略

先给出核心结论：由北京航空航天大学、北京大学与美团联合组建的研究团队，近期提出了一种全新的强化学习后训练视角——PIRL（Policy Improvement Reinforcement Learning），并同步推出了其落地算法PIPO。这项研究聚焦于大模型RL后训练中一个极为基础，却长期被业界默认忽略的核心问题：当一次参数更新在当前数据上看起来优化了学习信号，这是否就意味着模型策略确实变得更加强大？

过去的主流方法大多致力于回答一个问题：当前这批轨迹数据应该怎样学习？PIRL与PIPO则更进一步追问：在完成这一步学习之后，模型是否真的实现了性能提升？如果确实变强了，能否进一步巩固这一方向？如果没有带来提升，甚至产生了负面影响，又能否及时进行削弱或校正？

论文标题：Policy Improvement Reinforcement Learning论文地址：https://arxiv.org/abs/2604.00860代码仓库：https://github.com/JacckMa/pipo_verl

主要贡献

本研究提出了PIRL这一创新的强化学习后训练视角。它并不仅仅关注当前批次内的奖励、优势估计或教师信号，而是将跨迭代的策略提升过程本身作为优化的核心目标。基于此，团队进一步设计了PIPO——一个即插即用的闭环优化框架。PIPO能够无缝接入现有几乎所有主流RL后训练算法，例如PPO、GRPO、DAPO以及自蒸馏方法。它并不取代原始方法中的局部学习信号，而是在其外部增加一层“回头验证”机制：对于确实带来策略提升的更新方向，予以进一步放大强化；对于未能带来提升甚至导致性能下降的更新方向，则进行抑制、抵消或反向校正。研究团队在数学推理、代码生成、工具调用以及自蒸馏等多种设置下进行了验证。实验结果表明，PIPO在多种基础算法和不同任务场景中均能带来一致且显著的性能提升。

背景：RL后训练已足够强大，但仍是“开环”系统

大模型近两年持续增强能力，一个关键法宝便是后训练强化学习。从经典的PPO算法，到推理任务中常见的GRPO、DAPO、GSPO，再到利用模型自身轨迹与反馈进行学习的OPD和自蒸馏方法，技术路线日益丰富，效果也愈发强劲。这些方法都在解决一个核心课题：如何将当前这批数据中的奖励、优势估计、执行反馈或教师信号，高效转化为一次有效的参数更新，从而探索出更优的策略。这些方法确实能够推动策略变强，这也是RL后训练成为主流范式的原因所在。

然而，问题在于这些方法大多拥有一个共同特点：优化过程主要聚焦于当前采样的轨迹上。也就是说，算法会认真计算当前这批轨迹该如何学习，却很少显式验证这一步完成之后，新策略是否真的比过去的策略更优秀。这正是论文中所指的“开环优化”。开环并不意味着方法无效，而是指训练过程缺失了一个关键环节：更新后的效果验证，以及基于验证结果对上一轮更新方向进行回溯校正的能力。

RL后训练不能仅仅盯着眼前这批数据中的局部信号，它还需要一个跨时间维度的验证机制，以及一套能够对历史更新方向进行再次加权、抑制或校正的回溯调整机制。

PIRL：将“策略提升”本身作为优化目标

从理论层面，论文也论证了这一点：这种目标设定并不会改变最终的优化方向。对于固定的初始策略而言，最大化累计策略提升与最大化最终策略性能是相互对齐的。换句话说，这种目标改写并未偏离我们最终期望的模型能力。

因此，PIRL并非否定奖励、优势或教师信号的作用，而是补充了它们所缺失的一环：每次更新之后，必须验证这一步是否真正转化为了策略的提升。

PIPO：让训练过程学会“回头看”

基于PIRL，论文进一步提出了PIPO算法。其核心包含两步：首先让基础算法正常进行探索，然后在下一轮中，利用策略提升反馈进行回头验证，确认这次探索是否真正带来了策略的进步。如果新策略相较于历史基准表现更优，PIPO便会认为上一轮的更新方向与策略提升目标一致，从而进一步放大并巩固这一方向；如果新策略没有带来提升，甚至导致性能下降，PIPO则会削弱该更新方向的影响力，并在必要时通过回溯校正在优化意义上抵消有害的更新。

这一步回答的是：当前这批轨迹数据应当如何学习？

因此，策略提升目标可以被写成类似PPO算法的裁剪形式：

这样一来，PIPO便可以在PPO、GRPO、SDPO等原有方法的基础上，实现即插即用地加入跨迭代验证机制。它将单批次内的局部学习信号与批次之间的历史表现联系起来，为每次更新增加了一道判断：这次更新之后，模型的整体性能是否变得更强？如果变强，就巩固有效的更新方向；如果变弱，就削弱有害的更新影响。由此，原本开环的RL后训练过程，被成功转化为一个带有策略提升反馈的闭环优化流程。

实验验证

论文首先在数学推理任务上对PIPO进行了验证。结果显示，将PIPO接入PPO、GRPO、GSPO、DAPO等算法后，模型的平均表现与思考长度均得到了显著提升。

PIPO的有效性并非仅限于数学推理领域。论文进一步在代码生成任务与工具调用任务上进行了实验验证，并确认了PIPO在自蒸馏设置下的提升作用。

结语：RL后训练需要更完善的闭环机制

过去，许多方法都在努力回答一个问题：当前这批轨迹数据该如何学习？PIRL与PIPO则进一步追问：当这一步学习完成之后，模型是否真的变得更强了？

这也正是本文最核心的观点所在：RL后训练不能仅仅盯着当前批次内的奖励、优势估计或教师信号。真正关键的是，每次更新之后，模型是否产生了可验证的策略提升，并据此对更新进行动态的强化或削弱。

PIRL将“进步”本身定义为了优化目标。PIPO则把这个目标变成了一个能够无缝接入现有算法的闭环训练框架。如果说传统的RL后训练更像是在不断根据当前信号向前迈进，那么PIRL与PIPO的目标就是：让模型每走一步，都能回头审视，确认自己是否真的在变强，并进一步巩固有效方向，同时校正有害影响。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：北航北大美团联合提出强化学习提升新策略要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题