本文带您深入了解 Open-R1 项目的最新进展，以及 DeepSeek R1 性能复现的技术细节与核心挑战，助您快速掌握关键信息。

核心内容速览

• Open-R1 项目启动一周以来的阶段性成果
• DeepSeek R1 模型性能的基准测试评估结果
• 社区开源项目进展与评估排行榜的最新动态

项目背景与一周成果概览

DeepSeek R1 发布已有两周（注：原文发布于 2 月 2 日），而我们发起的 open-r1 项目——旨在补齐其缺失的训练流程与合成数据——也刚满一周。本文为您梳理以下内容：

• Open-R1 在模拟 DeepSeek-R1 流程与数据方面取得的实际进展
• 我们对 DeepSeek-R1 的深入理解及相关讨论
• DeepSeek-R1 发布后社区涌现出的优质开源项目

这篇文章既是项目的最新动态报告，也是一份关于 DeepSeek-R1 的实用资料合集。

一周后的进展：Open-R1 项目实现了什么？

项目启动仅一周，在团队和社区伙伴的共同努力下，我们已取得若干可供分享的成果。

评估：验证复现能力的第一步

要完整复现 DeepSeek，首要任务是确认我们能否再现其官方公布的成绩。我们在 MATH-500 基准测试上进行了验证，结果显示我们的测试数据与 DeepSeek 公布的数据基本吻合：

如需了解详细测试方法，请参考具体说明文档。

我们还观察到一个有趣现象：DeepSeek 模型生成的回答异常冗长，导致评估过程颇为耗时。在 OpenThoughts 数据集中，DeepSeek-R1 的回答平均包含 6000 个 token，部分甚至超过 20000 个 token。作为参考，一页书大约 500 个单词，而一个单词可由 1 个及以上 token 组成，因此很多回答可写满 10 多页。（来源：相关分析报告）

如此长的回答给后续使用 GRPO 训练带来了显著挑战。要生成超长内容，需要大量 GPU 显存来存储梯度与激活值。

为了让社区随时掌握进展，我们搭建了 open-r1 评估排行榜，社区成员可在此持续关注复现进度：

训练流程：GRPO 集成与优化

Open R1 发布后，GRPO（分组相对策略优化）被集成到最新版 TRL（Trainer Reinforcement Learning）中。借助该框架，任意模型均可配合一个或多个奖励函数进行训练。GRPO 还能与 DeepSpeed ZeRO 1/2/3 协同工作，实现多 GPU 并行训练，并使用 vLLM 加速生成——因为在线训练的最大瓶颈正是生成速度。

from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer

dataset = load_dataset("trl-lib/tldr", split="train")

# 简单奖励：回答接近20个字符的给高分
def reward_len(completions, **kwargs):
    return [-abs(20 - len(completion)) for completion in completions]

training_args = GRPOConfig(output_dir="Qwen2-0.5B-GRPO", logging_steps=10)
trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=reward_len,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

不过目前 内存占用依然偏高，我们正在积极寻找优化方案。

常见问题：如何有效管理 GRPO 训练的内存？

答：当前阶段，建议优先使用 DeepSpeed ZeRO 3 配合梯度检查点技术。同时，可尝试将模型参数量控制在较小范围（如 1.5B-7B），并定期清理未使用的缓存变量。未来版本将提供更自动化的内存优化方案。

合成数据生成：挑战与解决方案

R1 报告中最令人兴奋的发现是：主模型能够生成合成推理过程，小模型利用这些数据微调后，效果可媲美主模型。因此，我们也希望复现这一合成推理数据集，让更多人能够用它来调整自己的模型。

对于 R1 这样的大模型，主要难点在于 如何高效快速地生成数据。经过一周的反复尝试与参数调优，我们摸索出了一些有效方法。

最初，我们使用两个 8xH100 节点运行模型，以 vLLM 作为推理服务器。但效果不佳：吞吐量低，只能同时处理 8 个请求，GPU 的 KV 缓存很快被占满。缓存满后请求被迫中断，若设置了 PreemptionMode.RECOMPUTE，则需等待显存释放后重新运行。

随后我们升级到 4 个 8xH100 节点，总计 32 个 GPU。显存充足后，可同时处理 32 个请求，几乎不再因缓存满而重新排队。

最初我们采用批量方式向 vLLM 发送请求，但发现批次中较慢的请求会拖累整体进度，导致 GPU 利用率忽高忽低。新批次必须等待上一批全部完成后才能开始。后来我们改为流式处理，GPU 利用率显著稳定：

代码修改也不复杂。原来的批量推理代码如下：

# 每批500个请求
for batch in batch_generator(dataset, bs=500):
    active_tasks = []
    for row in batch:
        task = asyncio.create_task(send_requests(row))
        active_tasks.add(task)
    if [0x1]tasks[/asyncio.gather task_name="active_tasks flag="true"]:
        await asyncio.wait_for(active_tasks,timeout=None,return_when=asyncio.ALL_COMPLETED task_name="gather任务“`—await` `已删除。]

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Open R1项目第一期进展汇总要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题