Open R1 项目第二期最新进展

深度学习数学推理领域近期热度持续攀升。Open R1 项目启动两周以来，进展速度超出预期——不仅补齐了 DeepSeek R1 训练流程中缺失的关键环节，还发布了一项令人瞩目的成果：首个大规模数学推理数据集 OpenR1-Math-220k。此外，社区围绕高质量数据整理、训练与推理过程中如何调控模型“思考步数”的讨论也异常活跃。下面就来逐一解析。

OpenR1-Math-220k 数据集

DeepSeek R1 最令人惊叹的一点，是能够将高级推理能力“传授”给小模型。当时 DeepSeek 团队利用 60 万条推理记录对 Qwen 和 Llama 系列进行微调，结果证明：即便不借助强化学习，仅通过蒸馏也能获得极具竞争力的效果。例如，DeepSeek-R1-Distill-Qwen-7B 在 AIME 2024 上取得了 55.5% 的准确率，超越了规模更大的 QwQ-32B-Preview。然而，这些推理记录并未公开，社区只能自行探索。

于是 OpenR1-Math-220k 应运而生。该数据集由 512 台 H100 机器本地生成，每个问题配有多份答案。通过与社区合作，基于广受欢迎的 NuminaMath 1.5 数据集进行了全面升级。

它具备以下几个值得关注的特性：

• 80 万条推理记录：针对 40 万道题目各生成两份答案，筛选后保留 22 万道，每道题都附有可靠的推理过程。
• 512 台 H100 本地运行：未调用任何外部 API，完全依靠自有科学计算集群，每日可产出 18 万条推理记录。
• 专注数学推理：基于升级版 NuminaMath 1.5 的题目生成答案。
• 自动筛选：利用数学验证工具仅保留至少包含一个正确答案的题目，再请 Llama-3.3-70B 作为“裁判”，从被拒答案中回收格式不标准但内容正确的样本。
• 性能媲美原版：使用该数据集微调后的模型，效果与原始 DeepSeek-Distill-Qwen-7B 不相上下。

这种可扩展、高质量的推理数据生成方法，未来有望从数学领域拓展至代码生成等方向。

数据是如何生成的

生成流程相当直接：让 DeepSeek-R1 按照模型卡建议的参数，对 NuminaMath 1.5 中的 40 万道题目进行求解。每道题前添加提示：“请一步步推理，最终答案写在 boxed{} 内。” 每道题最大 token 限制为 16k——实测显示，75% 的题目只需 8k token，其余基本需要占满 16k。

初期使用 vLLM 进行推理，每台 H100 每小时可生成 15 个答案。随后更换为更快的框架，速度直接提升一倍，每张 H100 每小时能产出 25 个答案。凭借 512 张 H100，一天可生成 30 万个答案，数日内便积累了 80 万条推理记录。

每道题目生成两份甚至四份答案，为后续筛选和训练提供了更高灵活性。这种做法与 DeepSeek R1 的拒绝采样策略类似，还能支持 DPO 等偏好优化方法。

生成脚本和未经筛选的数据集均已开源，社区可自由取用。

数据是如何筛选的

筛选的核心目标是确保只保留高质量、正确的推理过程。使用 Math-Verify 这一专为数学表达式评测设计的工具，将模型最终答案与数据集中的标准答案进行逐一比对。

结果显示，55% 的题目至少包含一个正确答案。然而，问题在于 NuminaMath 1.5 中部分标准答案为空，或格式无法自动校验。尽管升级了 Math-Verify 以处理更多异常格式，仍设置了备选方案：利用 Llama-3.3-70B-Instruct 作为“裁判”，从被拒答案中回收可靠样本。首先剔除不完整或标准答案为空的数据，仅保留格式规范、答案框清晰的样本，最终成功回收了 2.8 万道题目。

给 Llama3.3-70B-Instruct 的指令非常明确：对比标准答案与模型最终答案，判断语义是否一致，忽略格式差异。若模型答案混乱，则输出“不确定”。

结合规则校验与 LLM 判断，既保障了数据质量，又未牺牲规模。最终数据集包含 22 万道题目，推理过程均经过验证，是训练推理模型的优质资源。每道题的多份答案也便于社区筛选更优结果，或根据数据来源与题型进行进一步调整。

数据集分为两部分：

• default（9.4 万道题）：用于 SFT 微调效果最佳。
• extended（13.1 万道题）：加入了 NuminaMath 1.5 的其他来源（如 cn_k12），推理记录更多。但在此部分微调后效果不如 default，推测是因为 cn_k12 题目难度较低。

对于包含多个正确答案的题目，还尝试使用奖励模型挑选最优解——针对每道题目，若 R1 给出了多个正确答案，则去除推理链后仅将问题与答案输入模型打分，将排名第一的放入训练集。结果发现，这种挑选方式与随机选取一个正确答案效果无异。未来可尝试在评分时纳入推理过程。

与 DeepSeek-Distill-Qwen-7B 的性能对比

以 5e-5 的学习率，在 default 数据集上对 Qwen2.5-Math-Instruct 进行三轮微调。为将上下文长度从 4k 扩展至 32k，将 RoPE 频率调整至 300k。训练采用线性学习率，前 10% 进行预热。以下为各项基准测试的表现：

当前版本只是一个起点，社区可进一步优化，例如采用 DeepSeek R1 的拒绝采样方法来提升质量。

Math-Verify 升级了哪些功能

在检查 Math-Verify 结果时发现了一些问题，因此进行了一次大规模修复。建议升级至 0.5.2 版本，体验以下改进：

pip install math-verify==0.5.2

主要升级点：

• 改进了纯文本答案的解析与验证（例如 √2 与 sqrt(2) 视为相同）。
• 改进了答案列表的解析（例如 [1,2]、{1,2} 和 1,2 等价）。
• 修复了单个 LaTeX 中多个框的答案识别 bug。
• 增加了有序元组支持：通过标准答案判断列表应视为元组还是集合。
• 支持标准答案的关系表达式及预测的区间。

社区热点

本周社区从多个角度深入探索了 GRPO，研究还表明仅需 1000 个优质样本，即可让现有开源模型学会推理。

GRPO 的实践探索

• 有研究者将 GRPO 应用于 Qwen2.5-0.5B 基础模型，在 GSM8k 测试中取得了 51% 的准确率，比 Qwen2.5-0.5B-Instruct 高出 10 个百分点。这一结果引发了关于预训练中指令数据作用的讨论。不过，将 GRPO 应用于 Llama 3 等模型尚未见到重大突破。有发现表明，基础模型在稍加提示后便能进行自我反思——DeepSeek-R1 论文中提到的“顿悟”可能更多源于模型自身能力，而非 RL 优化的功劳。
• 也有团队推出了新方法，使 15B 参数的模型仅需 15GB 显存即可运行 GRPO，意味着 Google Colab 免费版也能参与实验。
• 还有研究首次将 GRPO 应用于“非可验证”领域，颇具新意。

测试表现

本周公布了首批 15 道难题，专为高中生备战国际数学奥赛设计。过去一年 AIME 2024 是评估 LLM 数学能力的主要基准，大家对新题的表现充满期待。

• 有研究人员测试了多个模型，发现成绩远低于预期，仅达 10-20 个百分点。
• 但也有人发现 AIME 2025 的部分题目早在网上出现过，可能存在泄题风险，凸显出数据污染问题。

LLM 必须使用自然语言推理吗？

一项新研究颇具启发性：利用循环语言模型在潜在空间中进行隐式推理，能够扩展测试时的计算资源。这与之前“在潜在空间训练语言模型”的思路相似，但现在应用于推理任务。其优势在于效率高，无需生成大量“思考” token 即可取得良好成绩。

小而精的推理数据成为趋势？

DeepSeek R1 采用 60 万条推理记录进行蒸馏，但近期研究表明，少量精心挑选的样本同样能让模型学会复杂推理。例如，某个数据集仅包含 1000 道数学题，推理过程来自蒸馏，挑选时注重难度、多样性与质量。用该数据集微调 Qwen2.5-32B-Instruct，在竞赛数学测试中比 OpenAI 的 o1-preview 高出 27%。

另一个数据集更为极端，仅用 817 个样本便在 AIME 和 MATH 上表现优异。作者推测，若模型预训练时已积累大量领域知识，几百个高质示例便足以激发推理能力。

控制思维链长度：预算强制与奖励设计

微调 Qwen2.5-32B-Instruct 取得如此强劲效果的关键之一，是“预算强制”策略——在测试时调整推理时间，通过添加“Wait”迫使模型多思考，或添加结束标记让其停止。作者发现模型具备测试时扩展性：给予更多思考时间，数学测试准确率便会提升。

类似地，有研究也考虑了思维链长度对效果的影响。他们设计了一种“余弦奖励”：正确答案鼓励短链，错误答案鼓励长链，从而稳定 RL 训练，尤其适用于上下文长度有限、回答容易爆炸的场景。此外，还引入“重复惩罚”，防止模型为刷奖励而在难题上重复废话，迫使其真正解决问题。

下一步计划

GRPO 在 TRL 中运行顺利，团队正忙于实验各种超参数与奖励函数组合，以找出最优配置。若想了解最新进展，可关注项目更新，下次将发布详细报告。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Open R1 项目第二期最新进展要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题