ICML 2026 清华腾讯GPS让小模型指挥大模型RL后训练最高削减69%成本

RLVR后训练技术，如今已成为提升大语言模型推理性能的核心手段之一。

在处理数学推理、代码生成等复杂逻辑任务时，大模型会针对同一提示词生成多条思维链，随后借助可验证奖励机制判别正误，并据此优化策略。这种方法效果显著，但现实挑战也十分突出：训练成本居高不下。每一轮训练步骤都需要大量rollout操作，而每次rollout都需调用大模型生成长序列答案，计算资源与显存消耗极为庞大。

那么，能否避免"平均用力"的粗放策略？是否可以让一个小型模型预先判断：哪些提示词更值得投入训练资源？

来自清华大学和腾讯的研究团队正是沿着这一思路，提出了可泛化预测性提示选择方法（Generalizable Predictive Prompt Selection，GPS）。其核心思路非常直接：首先训练一个轻量级、具备泛化能力的提示预测模型（Prompt Predictive Model，PPM），使其能够预测不同提示词在当前模型下的难度水平；随后依据难度评分与批次多样性来精选训练样本，从而大幅削减无效rollout带来的资源浪费。

实验成果令人瞩目。在数学推理与逻辑推理任务中，相较于Uniform随机采样策略，GPS实现了1.4倍至2.0倍的训练步数加速；与依赖真实评估的DS（Dynamic Sampling）Oracle基线相比，GPS在保持相近乃至更优性能的前提下，最多可削减69%的rollout成本，训练时长亦缩短了28%至47%。更值得关注的是，训练过程中习得的轻量预测模型，还可迁移至测试阶段的计算资源分配：在固定预算约束下，最高可带来3.2%的性能提升，或在性能不损失的情况下，最多节省36.4%的推理计算开销。

• 论文标题：Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models

• 论文地址：https://arxiv.org/abs/2602.01970

• 代码地址：https://github.com/thu-rllab/GPS

• 论文作者：Yun Qu、Cheems Wang、Yixiu Mao、Heming Zou、Yuhang Jiang、Weijie Liu、Clive Bai、Kai Yang、Yangkun Chen、Saiyong Yang、Xiangyang Ji

• 机构：清华大学自动化系季向阳教授团队、腾讯混元（LLM Department, Tencent）

研究背景：RL后训练效果卓越，但rollout成本居高不下

近年来，大语言模型在数学推理、代码生成及复杂问题求解等领域的突破性进展，很大程度上得益于强化学习后训练技术的推动。尤其是RLVR方法：模型针对同一提示词生成多条长链式推理回答，再通过可验证奖励函数判断正误，最后借助GRPO、PPO、Reinforce++等算法完成策略更新。

该方案确实行之有效，但代价极为高昂。每个训练步骤都需要大量rollout操作，而每次rollout都需要真实调用大模型生成长答案，计算资源与显存消耗均十分庞大。

关键在于，并非所有提示词都具备同等的训练价值。

题目过于简单时，模型几乎每次都能答对，奖励信号缺乏变化，梯度信息极为微弱；题目过于困难时，模型几乎每次都会答错，同样难以提供有效的学习信号。真正具有训练价值的，往往是那些"模型有时能答对、有时会答错"的中等难度提示词。

这意味着，RL后训练的核心问题之一，并非"能否多训练"，而是：能否在每步训练开始之前，先识别出更值得训练的提示词？

现有方法大致分为两类。第一类基于真实评估，例如Dynamic Sampling（DS）。该方法会对候选提示词额外执行真实rollout，再过滤掉无效样本。效果虽好，但额外评估本身成本高昂。第二类基于预测方法，如MoPPS、GRESO等。它们尝试根据历史奖励来估计提示词难度，从而避免大量额外rollout。然而，这类方法通常将每个提示词作为独立对象建模：某个提示词被采样次数多，难度估计就相对准确；采样次数少，信息则非常稀疏。更棘手的是，大模型在训练过程中不断演化，同一个提示词的难度也会随时间动态变化，独立建模很难跟上这种动态调整。

因此，论文提出了一个更为直接的问题：能否构建一个轻量但具备泛化能力的PPM，使其能够利用完整的优化历史，在不同提示词之间共享信息，并通过更优的批次选择策略来提升RL后训练效率？

GPS正是围绕这一核心问题展开的——它不再依赖每步都进行昂贵的真实评估，而是借助一个轻量PPM提前预估提示词的训练价值。

方法：用小而可泛化的PPM，预测哪些提示词更值得训练

GPS的目标并非替代大模型，也非改变RLVR算法本身，而是在训练数据选择环节扮演"导航器"的角色。

它首先通过Generalizable PPM预测候选提示词的难度，随后结合中等难度收益与批次多样性来精选训练样本。训练完成后，这个PPM还可继续用于测试阶段，根据题目难度合理分配Best-of-采样预算。

1. 从"单题记账"到"共享历史"：可泛化的提示预测模型

传统prompt-specific PPM的问题在于，它更像是给每道题单独建立一本账本：根据这道题过去答对几次、答错几次，来估计它当前的难度。但模型能力的变化并非按题目孤立发生。训练过程中，模型在某一类题型上变强后，语义相近、结构相似的其他题目也可能随之变得容易。

为此，GPS引入了一个全局潜变量，即论文中所指的difficulty context。它可以被理解为一个压缩后的"当前训练状态"，用于记录模型在过去优化过程中积累的难度信息。在第t步训练时，GPS会根据历史生成difficulty context，再结合候选提示词，预测该提示词的成功率。这个预测的成功率，可以理解为当前大模型解决该提示词的概率。

因此，即便某个提示词过去很少被采样，GPS也不会完全缺乏依据——它仍然可以参照相似提示词的历史表现来估计难度。论文还给出了理论分析：在历史信息确实包含额外预测信号的情况下，使用完整优化历史进行预测，相比仅使用prompt-specific历史，能够获得更低的预测均方误差。

2. 不只挑选"中等难度"，还要避免批次内重复

仅预测难度还不够，关键是如何选择一整个批次。

GPS采用了一种统一的batch utility，由两部分构成。第一部分是难度收益：GPS更倾向于选择成功率接近0.5的提示词，因为在二值奖励场景中，这类样本更容易产生非零奖励方差，也更可能为GRPO等算法提供有效梯度。第二部分是多样性收益：GPS不希望一个批次内的提示词都来自相似题型，否则训练信号会过于冗余。它同时考虑批次内提示词之间的分散度，以及当前批次与上一轮批次之间的探索性。

这种设计被论文称为history-anchored diversity。直观理解就是：既要选择"难度刚好"的题目，也要让训练覆盖更多不同领域，避免模型在局部题型上反复打转。

3. 测试时也能用：将PPM转化为计算预算分配器

GPS的另一个亮点在于，PPM不仅服务于训练阶段。在测试时，大模型通常采用Best-of-采样方式：同一道题生成多次答案，再从中选取最优结果。但如果每道题都分配相同的采样次数，就会造成预算浪费。对于特别简单的题目，少量采样即可；对于几乎不可解的题目，多采样也未必有用；真正值得投入更多计算的，是"有挑战但仍可能解出来"的题目。

GPS训练得到的PPM可以预测测试提示词的难度，并据此将测试样本划分为不同区间：容易题和近乎不可解的题目少分配预算，中等偏难、仍有希望的题目多分配预算。训练阶段学到的难度判断能力，也因此可以延续到测试阶段的计算预算分配中。

实验设置：数学推理与逻辑推理，两类任务全面验证

论文在两类代表性推理任务上验证了GPS的有效性。数学推理方面，训练集使用DeepScaler，包含40.3k个竞赛级数学问题；模型包括DeepSeek-R1 Distill 1.5B和7B；评测集涵盖MATH500、OlympiadBench、Minerva Math、AMC23、AIME24等。同时，论文还采用MMLU-Pro、ARC-c、GPQA-diamond测试了out-of-distribution泛化能力。

逻辑推理方面，论文使用Countdown Number Game，在Countdown-34的20k子集上训练，并在CD34和更难的CD4上评测；模型包括Qwen3-4B-Base、Qwen3-8B-Base，以及附录中的Llama-3.2-3B-Instruct。

对比方法包括：

• Uniform：随机采样提示词

• MoPPS：为每个提示词维护独立Beta后验

• PCL：使用LLM估计提示词难度

• GRESO：基于历史奖励统计进行概率过滤

• DS / DS Oracle：通过真实额外评估筛选提示词，效果强但成本高

实验结果一：GPS迅速学会预测提示词难度

论文首先考察了PPM的预测质量，使用Spearman rank correlation衡量预测难度与经验成功率之间的排序相关性。结果显示，GPS仅需很少训练步数，就能快速建立有效的相关性；随着优化历史的积累，相关性持续提升，p-value也迅速降低。换句话说，PPM学到的并非某几道题的孤立记录，而是训练过程中逐渐形成的提示词难度排序。

进一步比较发现，GPS的难度预测质量显著优于MoPPS；同时，在有效样本比例ESR上，GPS也明显高于Uniform和MoPPS。这里的ESR指一个批次中能够产生非零奖励方差的提示词比例。ESR越高，说明该批次中真正能提供训练信号的样本越多。

实验结果二：训练速度更快，性能表现更优

在训练曲线上，GPS在Countdown 4B、Countdown 8B、DeepScaler 1.5B、DeepScaler 7B等多种设置下，均比Uniform更快达到相同性能水平。论文报告显示，相比Uniform，GPS在训练步数上带来了1.4倍至2.0倍的加速效果。

如果将横轴从训练step替换为rollout数量，GPS的优势会更加突出。因为DS需要额外真实评估候选提示词，虽然它在step维度上是强基线，但rollout成本显著更高。相比DS，GPS最多可减少69%的rollout，同时仍保持相当甚至更优的最终效果。

数学推理结果

数学推理结果中，GPS的优势主要体现在两个方面：一是平均准确率达到或超过DS Oracle，二是在多数设置下训练时间更短。可以看到，在DSR-1.5B上，GPS的ID平均准确率达到56.5，与DS Oracle持平，但训练时间仅需16h，而DS Oracle需要30h；在OOD平均准确率上，GPS达到33.5，是该组最佳结果。在DSR-7B上，GPS的ID平均准确率达到67.4，超过DS Oracle的67.0；OOD平均准确率达到51.5，同样是该组最好成绩。与此同时，GPS训练时间为49h，显著低于DS Oracle的77h。

逻辑推理结果

Countdown结果也延续了类似趋势。在Qwen3-4B上，GPS平均准确率达到66.6，高于DS的66.2，训练时间为3.4h，低于DS的4.9h。在Qwen3-8B上，GPS平均准确率达到68.6，也略高于DS的68.5，训练时间为5.0h，明显低于DS的6.9h。

因此，GPS的收益并非简单以性能换成本。在这些设置下，它一边减少了rollout或训练时间，一边维持甚至提升了平均准确率。论文总结称，相比Uniform，GPS在数学任务上带来了1.6至1.9个百分点的平均提升，在逻辑任务上带来了4.1至5.7个百分点的平均提升。

实验结果三：测试时计算分配亦可复用

GPS的PPM在训练阶段学会提示词难度后，还能泛化到测试提示词。论文在多个数学和逻辑测试集上验证了这一点。结果显示，在多数未见测试集上，PPM预测难度与经验成功率之间仍保持统计显著的相关性。

进一步地，研究者利用PPM指导测试时计算分配：不再给每道题分配固定的Best-of-采样预算，而是根据难度分配不同样本数。结果显示，相比默认固定分配，GPS可以在固定预算下最高带来3.2%的相对提升；或者在性能无损的情况下最多节省36.4%的计算预算。

这里值得特别关注的是：PPM在训练阶段学到的难度判断能力，并未止步于样本选择环节，而是可以迁移到测试阶段，用于决定哪些题目值得分配更多采样预算。

消融实验：多样性与潜变量均至关重要

论文还进行了算法兼容性与消融实验。在算法兼容性方面，GPS不仅适用于GRPO，也能与PPO和Reinforce++有效结合。在Countdown实验中，GPS在两种算法下都持续优于Uniform。这一点十分关键，因为DS这类基于真实评估的方法通常依赖每个提示词生成多条回答；而PPO可能是单响应生成设置，DS的适配性会受到限制。GPS依靠预测模型，无需这种额外真实评估，因此更容易迁移到不同RLVR流程中。

在消融实验中，去掉history-anchored diversity会导致明显性能下降；仅去掉inter-step exploration，也会带来一定程度的降低；如果将生成式PPM改为不含潜变量z的确定性PPM，效果同样变差。消融结果也能对应回GPS的设计动机：共享历史负责提升难度预测的泛化能力，批次多样性负责减少样本冗余，潜在difficulty context则用于刻画训练过程中不断变化的模型状态。

总结：RL后训练不一定要更"蛮力"，也可以更"会选题"

这篇工作的价值，不在于提出一个更复杂的RLVR更新算法，而在于将提示词选择这一环节单独提炼出来。对于RL后训练而言，真正有价值的样本往往不是最简单的题目，也不是完全解不出来的题目，而是那些能够产生有效奖励差异的中等难度提示词。GPS借助一个小模型提前识别这些样本，并在批次中兼顾多样性，从而让大模型减少无效rollout。

更进一步，训练阶段习得的难度预测能力还可以迁移到测试阶段，帮助模型将采样预算投入到更值得尝试的问题上。在训练成本日益攀升的背景下，这类方法带来的启发十分直接：未来的大模型后训练，可能不再只是持续堆叠GPU和rollout，而是先判断哪些题目值得练、哪些计算值得花。

主要作者

曲云，清华大学自动化本科博士，在强化学习、大模型效率优化等领域发表顶级期刊Nat Com和CCF-A类论文20余篇，相关成果获得图灵奖得主及国际知名院士/Fellow团队引用并正面评价，并受到Meta、Apple、千问、混元等全球领先科技企业关注。曾任腾讯混元"青云计划"实习生，深度参与大模型训练与优化，及智能体系统落地经验。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：ICML 2026 清华腾讯GPS让小模型指挥大模型RL后训练最高削减69%成本要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题