快手团队攻克模型训练难题：CE-GPPO算法平衡探索与收益

在人工智能技术迅猛发展的当下，如何优化大型语言模型的训练效果已成为学界与产业界共同关注的核心议题。快手科技Klear团队联合独立研究者李云涛完成的一项突破性研究，为这一难题提供了创新解决方案。该成果以论文形式发表于arXiv预印本平台（编号：arXiv:2509.20712v3），通过重新设计强化学习算法，在模型探索能力与知识利用效率之间实现了更佳平衡。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

研究团队将传统训练方法比喻为“填鸭式教育”：模型被严格限制在预设的解题框架内，任何超出范围的思考都会直接被否定。这种模式虽能保证训练稳定性，却会导致模型逐渐丧失创新能力。以数学解题为例，现有主流算法（如PPO）如同只接受标准答案的教师，完全忽视学生提出的非常规思路，即便这些思路可能蕴含着重要突破点。

核心问题在于传统算法的“策略熵”控制机制存在缺陷。研究指出，模型输出的词元可根据概率与优势值分为四类：高概率正优势、低概率负优势、高概率负优势和低概率正优势。前两类虽能加速模型收敛，但容易导致过早陷入局部最优解；后两类看似“非主流”，却是维持模型探索能力的关键。传统PPO算法通过简单裁剪机制丢弃后两类信息，直接引发了“熵坍缩”（探索能力丧失）和“熵爆炸”（过度探索导致知识利用失效）两大问题。

针对这些弊端，研究团队提出CE-GPPO（通过梯度保持裁剪策略优化协调熵）算法。该方案的创新之处在于引入“停梯度”技术，为模型创新思考设置安全缓冲区。通过两个可调节参数β1和β2，算法能够精准控制不同类型词元的影响权重：对具有潜在价值的低概率创新方案给予适度关注，同时抑制可能导致模型偏离的噪声信息。

实验数据显示，CE-GPPO在数学推理基准测试中表现卓越。在AIME24、AIME25、HMMT25等权威测试集上，新算法均显著超越现有强基线方法。规模效应测试显示，其优势随模型参数增加而扩大：1.5B参数模型提升2.5个百分点，7B参数模型提升达3个百分点。特别是在复杂任务中，CE-GPPO展现出更强的适应能力。

参数调节实验揭示了算法的灵活性。当β1=0.5或0.75且β2=1时，模型能在探索与利用间取得最佳平衡。增大β1或减小β2可加速收敛，反之则增强探索能力。这种可调节性使算法能够适配不同应用场景的需求。

稳定性监测表明，CE-GPPO在整个训练过程中保持平稳表现。KL散度和梯度范数曲线显示，新算法在引入额外学习信号的同时，未出现传统方法常见的剧烈波动。与其他先进算法（如CISPO、GSPO）的对比测试中，CE-GPPO在五个测试集的四个中取得最优成绩，且避免了竞争方法常见的模型崩溃问题。

理论层面，研究团队构建了策略熵动态变化的数学模型，首次证明了被传统方法忽视的“越界”词元对维持探索能力的重要性。推导出的公式清晰展示了不同类型词元如何影响模型的决策平衡，为算法设计提供了坚实的理论支撑。

实际应用中，CE-GPPO在需要深度思考的任务领域（如数学推理、科学计算、代码生成）展现出巨大潜力。通过平衡创新探索与知识利用，该算法有望推动更智能、更可靠的AI系统开发。不过研究也指出，不同模型可能需要调整最优参数设置，β1=0.5、β2=1的通用配置仍需根据具体场景微调。