强化微调RFT全面理解与个人观点解析

经过深入研究 OpenAI 的直播内容、仔细阅读字节的论文，并与同行展开多轮激烈讨论后，我对 RFT（Reinforcement Fine-Tuning，强化微调）形成了较为清晰的判断。本文将梳理这些思考，与大家共同探讨。

首先抛出核心结论：RFT 并非全新的技术范式，而是 PPO 技术框架下的新兴应用范式。其真正的创新之处在于采用了基于规则的奖励模型（rule-based reward model）。

需要说明的是，上述判断——RFT 属于应用范式，核心依赖基于规则的奖励模型——是基于现有信息所做的分析。如有偏差，欢迎指正。至于 OpenAI 提到的“仅需数十条数据即可生效”，是否意味着 RFT 相比标准 PPO 还包含更多未公开的细节，从目前披露的 demo 来看，尚无法得出结论。

RFT 是什么

根据 OpenAI 展示的内容，可以这样理解：给定一个 prompt，模型生成带有思维链（chain-of-thought, CoT）的 response，然后通过一个验证器（verifier）判断 response 是否正确，并将该判断结果作为信号来指导模型参数更新。

如果暂时忽略 CoT 过程，单看这个流程——把 verifier 替换为奖励模型（reward model）——是否感到十分熟悉？没错，这就是经典的基于 PPO 的 RLHF（人类反馈强化学习）。

迄今为止，二者的唯一区别在于：RFT 的回报（即奖励信号）由 verifier 计算得出，而非由一个独立的奖励模型生成。verifier 本质上是一组规则——例如，在数学任务中检查答案是否准确，在代码任务中验证代码能否成功执行。因此，RFT = PPO + 基于规则的奖励模型（rule-based reward model）。

RFT 的价值

OpenAI 在介绍 RFT 时提到：“RFT 旨在使开发者和机器学习工程师能够创建专门针对特定复杂、特定领域任务的专家模型。”这句话点明了其价值：只要能为某个任务定制一个可靠的 verifier，RFT 就能在该场景下，用十分之一甚至更少的数据，轻松超越 SFT（监督微调）的效果。当然，PPO 训练模型所能带来的所有收益（如更稳定的推理、更好的泛化能力），RFT 也都能继承，这里不再赘述。

介绍中还提到，RFT 擅长法律、保险、医疗、金融、工程等领域——这些任务通常有明确的“正确答案”。但这是否意味着 RFT 只能用于答案固定的场景？并非如此，只是因为答案固定的场景中，verifier 最容易定义。

Sam Altman 在直播中认为 RFT 是 2024 年最重要的技术进展，能够帮助大家轻松搞定专业模型的训练。这一评价是恰当的——RFT 在大模型应用方向上确实具有划时代意义，因为它能让 OpenAI 销售更多的定制化服务。对于 LLM 从业者来说，同样可以从中受益：掌握 RFT 之后，下次老板要求开发一个新领域的应用模型时，无需再枯燥地标注大量 SFT 数据，只需花时间训练一个 verifier 即可。

字节的 ReFT

介绍完 OpenAI 的 RFT，再来看字节的 ReFT。它几乎可以看作是 RFT 在数学任务上的极简版实现（从 OpenAI 披露的细节来看，二者没有本质区别；至于“数十条数据”背后是否隐藏了更多技术细节，目前尚不清楚）。具体流程如下：

• 通过 SFT 得到一个较好的基础模型；
• 给定 prompt，进行多次采样（do_sample），生成一批带有 CoT 的 response；
• 答案正确得 1 分，错误得 0.1 分，提取不到答案（说明未遵循输出格式）得 0 分；
• 根据回报值（returns）更新模型。

现在再读 ReFT 论文，或许会觉得它并无惊艳之处——其中的方案似乎自己也能够想到。但关键在于：ReFT 这篇论文的最大价值在于它发表于 o1 模型之前。因为 o1 的出现，“CoT 的推理过程、MCTS 采样、PRM、ORM、基于规则的奖励模型”等概念已在 LLM 领域深入人心。大家带着 o1 的知识背景回过头来看今年上半年的工作，自然会觉得有些稚嫩。

ReFT 确实是一篇优秀的论文，但如前所述，RFT 只是 PPO 技术范式下的一个新应用范式，而非全新的技术范式。因此，声称谁首创了这个“范式”可能并不准确。

RFT 会改变什么

对于字节这样的算力大厂，原本就拥有大模型服务的业务线。既然 RFT 能帮助 OpenAI 销售服务，自然也能帮助字节销售服务。因此，大厂需要尽快跟进这项应用技术。

对于普通 LLM 从业者来说，短期内其实“无事发生”——该训练 SFT 还得训练，该清洗数据还得清洗。但从长远看，心态和学习方向需要做出调整。必须注意到，这已经是 OpenAI 今年第二次强调 PPO 的重要性了——第一次是 o1。如果依然“两耳不闻强化事，一心只搞 DPO”，只能说心态确实足够强大。

写在最后

不必再感慨“SFT 没价值了”，也无需叹息“RFT 真牛啊，完全追不上 OpenAI”。感叹没有意义。如果对 RFT 感兴趣，最简单的方式就是：git clone OpenRLHF 代码，然后 bash train_ppo.sh。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：强化微调RFT全面理解与个人观点解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题