香港科大团队突破：用随机策略训练AI，数学推理效率显著提升

香港科技大学潘凌教授团队与快手科技、StepFun等机构合作，在AI数学推理领域取得重要突破。他们提出的ROVER训练方法颠覆了传统强化学习框架，通过简化策略优化过程，在保持高准确率的同时显著提升了模型解题的多样性。相关研究成果已在arXiv预印本平台发布（论文编号：arXiv:2509.24981v1），为AI教育、定理证明等领域带来新的技术路径。

传统强化学习方法依赖复杂的策略迭代机制，通过奖励与惩罚的循环调整模型行为。例如PPO和GRPO算法需要模型在试错中不断优化解题策略，但这种模式存在明显缺陷：训练过程易陷入"多样性崩塌"，即模型过度依赖单一解题路径，忽视其他可行方案。研究团队形象地比喻："这就像学生长期使用固定解题模板，逐渐丧失灵活应变能力。"

研究团队通过深入分析数学推理任务的结构特征，发现了突破传统框架的关键。数学问题具有独特的树状推理结构——每步推理产生确定的新状态，不同路径互不干扰，且答案非对即错。基于这一特性，团队提出颠覆性假设：在数学推理场景中，评估随机策略的价值函数即可替代复杂的策略优化过程。实验证明，通过概率采样机制平衡最优路径探索与其他可能性，既能保证解题准确性，又能维持策略多样性。

ROVER方法的核心创新在于价值函数的表示方式。团队摒弃了额外训练价值网络的传统做法，直接利用语言模型参数计算相对价值，采用输出概率对数作为价值指标。为增强训练稳定性，研究引入组内奖励中心化技术，通过问题平均得分调整整体样本奖励，有效减少噪声干扰。这种轻量化设计使ROVER的超参数数量大幅减少，训练效率较传统方法提升30%以上。

在"倒计时"算术任务测试中，ROVER展现出惊人优势。该任务要求通过加减乘除组合多个数字达到目标值，传统方法平均仅能发现3种解法，而ROVER模型找到了17种不同路径。在更具挑战性的数学竞赛题库（涵盖AIME、HMMT等赛事真题）中，基于Qwen3-8B模型的实验显示，ROVER训练使首次尝试正确率（pass@1）提升8.2个百分点，256次尝试内正确率（pass@256）提升16.8个百分点。这些数据表明，模型不仅即时解题能力增强，探索未知路径的能力也得到根本性提升。

泛化能力测试进一步验证了ROVER的价值。在完全无关的GPQA研究生水平科学问题数据集（覆盖生物、物理、化学领域）上，ROVER训练的模型同样表现出性能提升。这证明该方法培养的不是特定领域的解题技巧，而是通用的结构化推理能力。不同规模模型（1.5B至8B参数）的对比实验显示，ROVER的改进效果具有模型无关性，为资源有限的研究团队提供了实用方案。

从理论层面，研究团队通过马尔可夫决策过程分析，严格证明了随机策略评估在确定性树状结构任务中的有效性。这种理论支撑不仅解释了实验现象，也为方法优化指明了方向。尽管论文坦承ROVER在非确定性迁移任务中的优势可能减弱，但其在数学推理领域的突破已足够引发行业关注。

这项研究带来的启示超越技术层面。在AI领域追求模型规模与复杂度的当下，研究团队通过回归问题本质实现了四两拨千斤的效果。正如论文引用的达芬奇名言："简单是最高级的复杂"，ROVER方法证明，深入理解任务特性往往比堆砌复杂机制更有效。对于教育领域而言，能提供多样化解题思路的AI助教，将比单一模式的教学工具更具实用价值。

针对技术细节的疑问，研究团队解释：ROVER通过概率采样机制平衡最优路径与其他可能性，温度参数控制着探索与利用的平衡点。消融实验表明，适当的温度设置既能保持85%以上的解题准确率，又能维持策略多样性。这种设计使得模型在测试阶段通过多数投票策略时，能获得更高的答案一致性。