监督微调：让通用AI模型学会“看菜吃饭”的关键步骤

一句话解释

监督微调（Supervised Fine-Tuning, SFT）就像给一位通才博士进行岗前培训：先通过海量无标数据（预训练）获得通用知识和语言能力，再使用精心标注的“教材”和“考题”进行针对性训练，使其掌握特定任务（如客服对话、代码生成）的专业技能和回答格式。

为什么会被关注

随着ChatGPT等大模型普及，人们发现预训练后的原始模型虽知识渊博，却常答非所问或格式混乱。SFT是解决此问题的首要技术路径，它直接决定了模型能否将通用能力转化为用户可用的服务。无论是让模型学会遵循指令，还是适应企业私有知识库，都离不开SFT。其数据质量、训练策略的成本与效果，成为AI产品化的核心竞争点。

核心逻辑

SFT的核心逻辑是“任务对齐”与“分布迁移”。预训练模型学习了数据的通用分布，而SFT的目标是用相对少量但高质量的有监督（输入-输出对）数据，将模型的输出分布“拉近”到目标任务的理想分布上。

这个过程通常使用交叉熵等损失函数，通过梯度下降更新模型部分或全部参数。关键在于数据：标注需准确、多样且与目标场景一致。与预训练的“无监督海量学习”不同，SFT是“有监督的精雕细琢”，旨在激发模型已有潜力，而非灌输全新知识。

常见场景

1. 对话机器人开发：使用多轮对话标注数据微调，让模型学会友好、安全、有用的对话逻辑与风格。

2. 代码助手定制：用对微调，提升模型在特定语言或框架下的代码生成准确率。

3. 垂直领域问答：用金融、医疗、法律等领域的专业问答对微调，使模型输出更专业、可靠，减少幻觉。

4. 内容格式生成：训练模型生成固定格式的邮件、报告、摘要等，确保输出结构符合业务要求。

容易混淆的点

与预训练混淆：预训练是“开蒙识字”，从无标注数据中学习通用表征和世界知识；SFT是“专业培训”，用有标注数据学习执行具体任务。两者目标、数据、方法均不同。

与提示工程混淆：提示工程是通过设计输入文本来“引导”模型，不改变模型参数；SFT则直接通过训练“改变”模型参数。前者灵活但依赖每次输入，后者成本高但一劳永逸。

与指令微调关系：指令微调是SFT的一种，特指使用“指令-回复”对进行微调，旨在让模型学会遵循人类指令。SFT范畴更广，涵盖所有有监督的微调任务。