复旦大学首创AgentGym-RL框架：助力小模型实现复杂任务规划

复旦大学AI研究团队取得重要进展，成功开发出创新的AgentGym-RL训练框架。这项突破性技术通过模拟人类逐步学习的方式，仅使用70亿参数的AI模型就在复杂任务中展现了超越千亿参数商业模型的优异表现。研究成果已在arXiv平台发表，并同步开源了代码和数据集。

当前AI系统普遍存在显著局限：它们通常只能应对简单的单次交互任务，在面对需要多步骤决策的复杂场景时往往力不从心。研究人员形象地指出，现有的AI就像只会死记硬背的学生，缺乏真正的理解与创新能力。在持续互动的任务环境中，这些系统经常因为训练不稳定而崩溃，就像同时学习开车和导航的新手一样手足无措。

AgentGym-RL的创新之处在于设计了五个独特的训练环境，构建了一个AI的"虚拟训练场"。其中网页导航环境模拟真实操作场景，要求AI完成商品选购、论坛管理等任务；深度搜索环境训练信息整合能力；数字游戏环境采用文字版Minecraft，考查策略规划；具身任务环境测试空间推理；科学任务环境专注于实验设计与数据分析。

该团队发明的ScalingInter-RL训练方法是框架的核心技术。该方法采用渐进策略：在训练初期限制AI的交互次数，就像驾校先让学员在空场练习；随着训练深入再逐步增加复杂度。这种"由浅入深"的方法有效解决了强化学习中常见的探索与利用平衡难题。

实验结果显示，采用新框架训练的模型性能提升了33.65个百分点。在网页导航任务中准确率达到26%，优于GPT-4o和Gemini-2.5-Pro；在深度搜索任务中的表现接近顶级开源模型；在数字游戏最高难度级别，该模型更是少数能得分的系统之一。

研究还发现合理的计算资源分配对性能提升作用显著。当交互次数从2次增加到30次时，模型准确率持续提高；增加并行采样次数也能带来性能提升。这表明在AI推理过程中合理配置计算资源，比单纯增加模型参数量更有效率。

通过算法对比发现，不同的训练方法会带来显著差异。在某些情况下，采用GRPO算法的30亿参数模型表现优于使用REINFORCE++的70亿参数模型。研究还证实，在训练初期严格管控交互次数确实有助于学习稳定性。

在具体任务案例中，经过训练的AI展现出更聪明的行为：面对网页错误时会主动调整策略；在导航任务中能规划最佳路线，而非在已知区域重复徘徊。相比之下，未训练的模型往往会陷入无效操作的循环。

研究还表明，环境结构对训练效果有重要影响。在规则明确的环境（如数字游戏）中模型提升最为显著；而开放型环境提升相对温和。这提示训练初期应选用结构化的简单场景，再逐步过渡到复杂环境。

这项创新研究不仅实现了技术突破，更展示了方法论创新的价值。通过合理设计的训练框架，小规模模型也能具备出色能力。开源代码的发布为全球研究者提供了宝贵资源，彰显中国在AI基础研究领域的创新实力。

感兴趣的研究者可访问该项目的GitHub页面或查阅arXiv论文（编号：arXiv:2509.08755v1）。这项研究将推动AI向真正具备规划能力和复杂任务处理能力的智能伙伴发展，在多个应用领域展现出广阔前景。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

最新文章