ICML 2026 清华腾讯GPS：小模型指挥大模型RL后训练，Rollout成本降低69%

RLVR（强化学习验证）已成为提升大模型推理能力的主流后训练范式。具体而言，在数学推理、代码生成及复杂逻辑任务中，模型针对同一提示生成多条推理链，借助可验证的奖励信号判断对错并据此调整策略。这听起来很直观，但实际运行中隐藏着显著的成本问题。 然而，这条路径有一个绕不开的痛点：训练成本过高。每个训练步骤都需要大量 rollout，本质上就是在反复调用大模型生成长答案，计算和显存开销都相当可观。 那么，是否存在一种方法，不再这样“平均用力”，而是让一个轻量级的小模型先行判断：哪些提示更值得投入资源进行训练？ 来自清华大学与腾讯的研究团队，正是沿着这一方向提出了名为 Generalizable Predictive Prompt Selection（GPS）的方案。GPS 的思路非常直接：先训练一个小型但具备泛化能力的 Prompt Predictive Model（PPM），让它学会预测不同提示在当前模型下的难度；然后，根据预测的难度和批次内的多样性，筛选出真正有价值的训练样本，从而大幅削减无效的 rollout 开销。 实验数据非常亮眼。在数学推理和逻辑推理任务上，相比 Uniform 随机采样，GPS 的训练步数加速比达到了 1.4 倍到 2.0 倍。更值得一提的是，在效果上与需要真实评估的 DS Oracle 基线几乎持平甚至更优的同时，GPS 最高能减少 69% 的 rollout 成本，训练时间也缩短了 28% 到 47%。更有意义的是，这个训练过程中学会的小预测模型，还能在测试阶段发挥作用：用于指导计算资源的分配。在固定预算下，可以带来最高 3.2% 的性能提升；或者在不牺牲性能的前提下，最多节省 36.4% 的推理计算量。 * **论文标题**：Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models * **论文地址**：https://arxiv.org/abs/2602.01970 * **代码地址**：https://github.com/thu-rllab/GPS * **论文作者**：Yun Qu、Cheems Wang、Yixiu Mao、Heming Zou、Yuhang Jiang、Weijie Liu、Clive Bai、Kai Yang、Yangkun Chen、Saiyong Yang、Xiangyang Ji * **机构**：清华大学自动化系季向阳教授团队、腾讯混元（LLM Department, Tencent）

研究背景：RL后训练能力强大，但rollout成本居高不下

近年来，大语言模型在数学、代码和复杂问题求解上的显著进步，很大程度上依赖于强化学习后训练。 尤其是 RLVR：模型针对一个提示生成多条长链式推理回答，再通过可验证奖励函数判断对错，最后用 GRPO、PPO、Reinforce++ 等算法更新策略。 这种方法有效，但代价非常高昂。原因很直接：每个训练步骤都需要大量 rollout，而 rollout 需要真实调用大模型生成长答案，计算和显存开销都很大。 更关键的是，并非所有提示都具有同等的训练价值。 如果一个题目过于简单，模型几乎每次都能答对，奖励没有变化，梯度信号很弱；如果一个题目过于困难，模型几乎每次都答错，同样很难提供有效学习信号。真正有价值的，往往是那些 “模型有时能答对、有时会答错” 的中等难度提示。 这意味着，RL 后训练的核心问题之一不是 “能不能多训练”，而是：能否在每一步训练前，先找出更值得训练的提示？ 已有的方法大致分为两类。一类是基于真实评估的方法，例如 Dynamic Sampling（DS）。它会对候选提示额外做真实 rollout，再筛掉无效样本。这类方法效果不错，但额外评估本身就非常昂贵。另一类是基于预测的方法，例如 MoPPS、GRESO 等。它们试图根据历史奖励估计提示难度，避免大量额外 rollout。但这些方法通常把每个提示当成独立对象建模：某个提示被采样得多，难度估计就更准；采样得少，信息就很稀疏。更麻烦的是，大模型在训练中不断变化，同一个提示的难度也会随时间动态变化，独立建模很难跟上这种变化。 因此，论文提出了一个更直接的问题：是否可以构建一个轻量但可泛化的 PPM，让它利用整个优化历史，在不同提示之间共享信息，并用更好的批次选择策略提升 RL 后训练效率？ GPS 正是围绕这个问题展开：它不再依赖每一步都做昂贵的真实评估，而是用一个轻量 PPM 提前估计提示的训练价值。

方法：用小型可泛化PPM，预测哪些提示更值得训练

GPS 的目标不是替代大模型，也不是改变 RLVR 算法本身，而是在训练数据选择环节充当 “导航器”。它先用 Generalizable PPM 预测候选提示的难度，再结合中等难度收益和批次多样性挑选训练样本。训练完成后，这个 PPM 还可以继续用于测试阶段，根据题目难度分配 Best-of-N 采样预算。

从“单题记账”到“共享历史”：可泛化的Prompt Predictive Model

传统 prompt-specific PPM 的问题在于，它更像是给每道题单独建一本账：这道题过去答对几次、答错几次，就用这点历史估计它现在的难度。但模型能力的变化并不是按题目孤立发生的。训练过程中，模型在某一类题型上变强后，语义相近、结构相似的其他题也可能随之变得容易。 为此，GPS 引入了一个全局潜变量，也就是论文中所说的 difficulty context。它可以被理解为一个压缩后的 “当前训练状态”，用于记录模型在过去优化过程中积累出的难度信息。在第 t 步训练时，GPS 会根据历史生成 difficulty context，再结合候选提示，预测该提示的成功率。这个可以理解为当前大模型解决这个提示的概率。因此，即便某个提示过去很少被采样，GPS 也不至于完全缺少依据，它仍然可以参考相似提示的历史表现来估计难度。 论文还给出了理论分析：在历史信息确实包含额外预测信号时，使用完整优化历史进行预测，相比只使用 prompt-specific 历史，能够获得更低的预测均方误差。

不只挑“中等难度”，还要避免batch内重复

只预测难度还不够，关键是如何选择一整个批次。GPS 采用了一个统一的 batch utility，它由两部分组成。第一部分是难度收益。GPS 更偏好成功率接近 0.5 的提示，因为在二值奖励场景中，这类样本更容易产生非零奖励方差，也更可能给 GRPO 等算法提供有效梯度。第二部分是多样性收益。GPS 不希望一个批次里的提示都来自相似题型，否则训练信号会冗余。它同时考虑：批次内提示之间要有足够分散度；当前批次与上一轮批次之间也要保持探索性。这种设计被论文称为 **history-anchored diversity**。直观理解就是：既要选 “难度刚好” 的题，也要让训练覆盖更多不同区域，避免模型在局部题型上反复打转。

测试时也能用：把PPM变成计算预算分配器

GPS 的另一个亮点是，PPM 不只服务训练。在测试时，大模型常常会用 Best-of-N 采样：同一道题生成多次答案，再从中选更好的结果。但如果每道题都分配同样的采样次数，就会浪费预算。对特别简单的题，少采样就够了；对几乎不可解的题，多采样也未必有用；真正值得投入更多计算的，是 “有挑战但仍可能解出来” 的题。GPS 训练得到的 PPM 可以预测测试提示的难度，并据此把测试样本分成不同区间：容易题和近乎不可解的题少分配预算，中等偏难、仍有希望的题多分配预算。训练阶段学到的难度判断，也就可以继续用于测试阶段的计算预算分配。

实验设置：数学推理与逻辑推理，两类任务全面验证

论文在两类代表性推理任务上验证 GPS。数学推理方面，训练集使用 DeepScaler，包含 40.3k 个竞赛级数学问题；模型包括 DeepSeek-R1 Distill 1.5B 和 7B；评测集包括 MATH500、OlympiadBench、Minerva Math、AMC23、AIME24 等。同时，论文还用 MMLU-Pro、ARC-c、GPQA-diamond 测试 out-of-distribution 泛化能力。逻辑推理方面，论文使用 Countdown Number Game，在 Countdown-34 的 20k 子集上训练，并在 CD34 和更难的 CD4 上评测；模型包括 Qwen3-4B-Base、Qwen3-8B-Base，以及附录中的 Llama-3.2-3B-Instruct。 对比方法包括：Uniform（随机采样提示）、MoPPS（为每个提示维护独立 Beta 后验）、PCL（使用 LLM 估计提示难度）、GRESO（基于历史奖励统计进行概率过滤）、DS/DS Oracle（通过真实额外评估筛选提示，效果强但成本高）。

实验结果一：GPS很快学会预测提示难度

论文首先考察 PPM 的预测质量，使用 Spearman rank correlation 衡量预测难度与经验成功率之间的排序相关性。结果显示，GPS 只需要很少训练步数，就能快速建立有效相关性；随着优化历史积累，相关性继续提升，p-value 也快速降低。换句话说，PPM 学到的不是某几道题的孤立记录，而是训练过程中逐渐形成的提示难度排序。 进一步比较发现，GPS 的难度预测质量显著优于 MoPPS；同时，在有效样本比例 ESR 上，GPS 也明显高于 Uniform 和 MoPPS。这里的 ESR 指一个批次中能够产生非零奖励方差的提示比例。ESR 越高，说明这个批次中真正能提供训练信号的样本越多。

实验结果二：训练更快，性能也更高

在训练曲线上，GPS 在 Countdown 4B、Countdown 8B、DeepScaler 1.5B、DeepScaler 7B 等多种设置下，都比 Uniform 更快达到相同性能水平。论文报告，相比 Uniform，GPS 在训练步数上带来1.4×–2.0×加速。 如果把横轴从训练步数换成 rollout 数量，GPS 的优势会更明显。因为 DS 需要额外真实评估候选提示，虽然它在步数维度上是强基线，但 rollout 成本显著更高。相比 DS，GPS 最多减少69% rollout，同时仍保持相当甚至更好的最终效果。

数学推理结果

数学推理结果中，GPS 的优势主要体现在两个方面：一是平均准确率达到或超过 DS Oracle，二是在多数设置下训练时间更短。可以看到，在 DSR-1.5B 上，GPS 的 ID 平均准确率达到 56.5，与 DS Oracle 持平，但训练时间只有 16h，而 DS Oracle 需要 30h；在 OOD 平均准确率上，GPS 达到 33.5，是该组最好结果。在 DSR-7B 上，GPS 的 ID 平均准确率达到 67.4，超过 DS Oracle 的 67.0；OOD 平均准确率达到 51.5，同样是最好结果。与此同时，GPS 训练时间为 49h，明显低于 DS Oracle 的 77h。

逻辑推理结果

Countdown 结果也延续了类似趋势。 在 Qwen3-4B 上，GPS 平均准确率达到 66.6，高于 DS 的 66.2，训练时间为 3.4h，低于 DS 的 4.9h。在 Qwen3-8B 上，GPS 平均准确率达到 68.6，也略高于 DS 的 68.5，训练时间为 5.0h，明显低于 DS 的 6.9h。 因此，GPS 的收益不是简单用性能换成本。在这些设置下，它一边减少了 rollout 或训练时间，一边维持甚至提升了平均准确率。论文总结称，相比 Uniform，GPS 在数学任务上带来1.6–1.9 个点的平均提升，在逻辑任务上带来4.1–5.7 个点的平均提升。

实验结果三：测试时计算分配也能复用

GPS 的 PPM 在训练中学到提示难度后，还能泛化到测试提示。论文在多个数学和逻辑测试集上验证了这一点。结果显示，在多数未见测试集上，PPM 预测难度与经验成功率之间仍保持统计显著相关。进一步地，研究者用 PPM 指导测试时计算分配：不再给每道题固定相同的 Best-of-N 采样预算，而是根据难度分配不同样本数。结果显示，相比默认固定分配，GPS 可以在固定预算下最高带来3.2%相对提升；或者在性能无损的情况下最多节省36.4%计算预算。 这里值得注意的是：PPM 在训练阶段学到的难度判断，并没有只停留在样本选择上，还可以迁移到测试阶段，用来决定哪些题值得分配更多采样预算。

消融实验：多样性和潜变量都很关键

论文还进行了算法兼容性与消融实验。在算法兼容性方面，GPS 不只适用于 GRPO，也能与 PPO 和 Reinforce++ 结合。在 Countdown 实验中，GPS 在两种算法下都持续优于 Uniform。这点很重要，因为 DS 这类基于真实评估的方法通常依赖每个提示生成多条回答；而 PPO 可能是单响应生成设置，DS 的适配性会受到限制。GPS 依靠预测模型，不需要这种额外真实评估，因此更容易迁移到不同 RLVR 流程。 在消融实验中，去掉 history-anchored diversity 会造成明显性能下降；只去掉 inter-step exploration，也会带来一定下降；如果把生成式 PPM 改成不含潜变量 z 的确定性 PPM，效果同样变差。消融结果也能对应回 GPS 的设计动机：共享历史负责提升难度预测的泛化能力，批次多样性减少样本冗余，潜在 difficulty context 则用于刻画训练过程中不断变化的模型状态。

总结：RL后训练不一定要更“蛮力”，也可以更“会选题”

这篇工作的价值，不在于提出一个更复杂的 RLVR 更新算法，而在于把提示选择这个环节单独拎了出来。 对 RL 后训练来说，真正有价值的样本往往不是最简单的题，也不是完全解不出来的题，而是那些能够产生有效奖励差异的中等难度提示。GPS 用一个小模型提前识别这些样本，并在批次里兼顾多样性，从而让大模型少做无效 rollout。 更进一步，训练阶段学到的难度预测能力还可以迁移到测试阶段，帮助模型把采样预算花在更值得尝试的问题上。 在训练成本越来越高的背景下，这类方法给出的启发很直接：未来的大模型后训练，可能不只是继续堆 GPU 和 rollout，而是先判断哪些题值得练、哪些计算值得花。 **主要作者** 曲云，清华大学自动化本科博士，在强化学习、大模型效率优化等领域发表顶级期刊 Nat Com 和 CCF-A 类论文 20 余篇，相关成果获得图灵奖得主及国际知名院士 / Fellow 团队引用并正面评价，并受到 Meta、Apple、千问、混元等全球领先科技企业关注。曾任腾讯混元 “青云计划” 实习生，深度参与大模型训练与优化，及智能体系统落地经验。