OpenAI推出强化微调技术 传统SFT遭替代

许多人都听说过监督微调（SFT），但强化微调究竟是一个怎样的新概念呢？

在OpenAI为期12天的产品发布系列Day2中，一项令开发者兴奋不已的技术正式亮相。强化微调（Reinforcement Fine-Tuning）——简单来说，就是向模型提供高质量的任务数据与参考结果，引导它在特定领域内自主学习推理过程，而非机械记忆答案。

与传统微调相比，区别何在？传统SFT更像是让模型“背诵答案”，而强化微调则促使它像人类一样，通过反复试探与反思，逐步掌握解题思路。可以想象成给AI一套复杂的规则手册，然后将其放入实践场景，让它自行摸索解决问题的路径。

具体操作时，需要准备两套数据：一套用于训练，另一套用于验证。模型先在训练集上学习，随后在验证集上检验推理能力，发现缺陷即进行调整。经过多轮“自我推理→训练→验证”的迭代循环，模型的能力会像滚雪球一样持续增强，最终达到专业级别水平。

这种方法不仅能提升模型处理同类问题的能力，更重要的是，在那些具有明确“正确结果”的领域——例如法律、保险、医疗、金融、工程——效果尤为突出。Sam Altman甚至认为，强化微调是2024年最重大的技术突破，能够帮助用户轻松完成专业模型的训练。

用户操作起来也非常简便。

OpenAI以一个基因预测任务为例进行了演示：根据患者症状推理可能相关的致病基因。这个案例其实是伯克利实验室与OpenAI的合作项目。结果令人惊讶——使用强化微调后，参数量更小的o1-mini模型，性能反而超过了更强大的o1模型。

先来看训练数据集。一个.jsonl文件，每一行代表一个样本。示例中包含三项：病例报告（症状、基本信息）、指令和正确答案。注意，在训练过程中，模型无法看到正确答案。它接收到病例报告和指令后，输出一个基因列表，排在第一位的为最可能基因，以此类推。

接着还需要上传验证数据集，格式与训练集相同，但内容不得重叠——这样才能检验模型是否真正学会了泛化，而非死记硬背。

训练过程中的“强化”部分，依赖评分器（Grader）实现。思路很直观：评分器将模型输出与正确答案进行对比，返回一个0到1的得分。0表示答案中完全未出现正确答案，1表示正确答案恰好排在第一位。例如，正确答案位于第二位时，评分器可能会给出0.7分。

如果任务的输出并非列表形式，OpenAI还提供了其他类型的评分器，“基本能覆盖你想要的场景”。并且他们仍在持续增加新选项，未来也支持用户自定义评分器。

配置好评分器之后，你还可以调整模型种子、批量大小、学习率乘数、epoch数量等超参数。点击Create按钮，等待数小时到数天（具体取决于任务），即可获得一个经过强化微调的定制模型。页面中能实时观测到验证集上的分数变化。

那么经过微调的o1-mini表现究竟如何？评估结果显示，在top@1、top@5和top@max三个指标上，它都明显超过了性能更强的o1最新版本。以下是一些运行示例：

当然，强化微调是一项通用技术。只要拥有合适的数据集和评估器，就能将o1训练成为你的专属AI助手。目前OpenAI仅开放了Alpha测试申请，名额有限，“非常适合正在与专家团队处理复杂任务的组织”。个人用户则需要等到明年。有需求的话可以尝试这个申请链接：https://openai.com/form/rft-research-program/

强化微调技术最早由字节跳动提出？

有意思的是，强化微调这一技术路线更早是由字节跳动提出的，相关论文发表于今年的ACL 2024上。论文标题为：REFT: Reasoning with REinforced Fine-Tuning。该研究将监督微调（SFT）与强化学习（RL）相结合，通过让模型生成多条推理路径，自动评估每条路径与正确答案的匹配程度，从而优化模型输出高质量解答的能力，主要针对数学推理场景。

ReFT分为两个阶段：预热阶段（Warm-up）和RL阶段。

预热阶段（Warm-up）

该阶段是ReFT的起点，目标是让模型先具备生成基本正确响应的能力。方法很简单：利用监督微调SFT，在包含“问题”和“思维链CoT”的数据集上微调1-2个epoch，使模型学会输出像样的推理步骤。

RL阶段

预热完成后，进入强化学习阶段，采用PPO算法。该阶段的数据集变为“问题-答案”对（x, y）。模型反复生成多种可能的CoT推理路径，然后一个评估器根据答案正确性提供奖励信号：正确答案给予正奖励，错误答案不给予奖励。这一过程类似于AlphaZero在围棋中的自我对弈学习。

从实验结果来看，ReFT在所有数据集上的表现均显著优于SFT。在CodeLLAMA模型上，GSM8K数据集的准确率比SFT高出近10个百分点。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：OpenAI推出强化微调技术 传统SFT遭替代要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题