大语言模型微调步骤详解与最佳实践教程

在上一篇文章《理解LLMOps：Large Language Model Operations》里，我们大致了解了LLM的来龙去脉和基本流程，里面蹦出来几个关键词：Prompt Engineering、model、dataset、vector-database、training、fine-tune、library……对刚入门的人来说，这些概念确实容易让人头大。接下来，我会陆续引用几篇典型文章，一个个把它们捋明白，再试着串起来。 今天这篇，来自一篇2024年关于大语言模型微调的实操指南。  注：下文中，我们统一用“微调”代替fine-tune，用“数据集”代替dataset。 一个LLM的生命周期包含好几个阶段，接下来我们就重点聊聊其中最活跃、也最烧脑的一环——**微调**。

LLM的生命周期

下图展示了LLM从构想上线的完整生命周期： 1. **愿景和范围**：先想清楚目的——你是希望模型成为一个通用型的工具，还是专门用来处理某个特定任务？比如命名实体识别（从文本里找出人名、地名、组织名这些有意义的实体）。 2. **模型选择**：接下来要决定：是自己从头训练一个模型，还是拿现成的模型来改？大多数情况下，直接用成熟的模型更省时省力；但有些特殊场景，确实需要从头搞或做深度微调。 3. **模型表现与调控**：模型选好了，得先评估一下它的表现。如果不达标，可以通过Prompt Engineering或者进一步微调来调整，直到输出结果符合预期。 4. **评估与迭代**：定期用各种指标和基准来检验效果，然后在Prompt Engineering、微调和评估之间反复迭代，直到满意为止。 5. **部署**：模型达标了，就可以上线。这一步要重点优化计算效率，还要让用户体验足够好。

什么是LLM微调？

LLM微调，简单说就是：拿一个已经预训练好的模型，用更小、更专有的数据集再训练一下，让它在某个特定任务或领域里表现更出色。它像一座桥，连接了通用的预训练模型和具体应用场景的需求，让模型输出更贴近人类的期望。 举个例子，OpenAI的GPT-3本来是面向通用自然语言处理的。假设一家医疗机构想用GPT-3帮忙从病历生成患者报告——GPT-3虽然能理解并写出一般文本，但遇到医学术语和复杂的临床表达，就容易抓瞎。这时，就可以用一批医疗报告和病历记录组成的数据集来微调它。微调之后，模型对医学术语、临床语言的微妙之处，还有报告的结构会更熟悉，生成的报告准确又连贯。 不过，模型越大越好吗？任何事都有代价，后面我们会细说。

什么时候用微调

之前那篇文章提过上下文学习、零样本/一样本/少样本推理这些概念，这里简单回顾一下： - **上下文学习**：通过在提示里给出特定任务的例子，让模型明白要干什么，相当于给了它一个任务模板。 - **零样本推理**：直接给输入，不配额外示例。如果效果不好，就试试“一样本”或“少样本推理”，也就是在提示里加一个或几个完整的例子来小模型表现。 还有别的方法，比如直接通过用户提示来优化模型输出，让它更贴合用户偏好。但这些招数不一定总灵——特别是在比较小的模型上。另外，提示里塞太多例子会占用上下文窗口的宝贵空间，导致后面能加的实用信息变少。这时候，微调就派上用场了。 与预训练阶段用大量非结构化文本不同，微调是有监督的学习过程：你需要一个带标记示例的数据集（通常是提示-响应对）来更新LLM的权重，让它更擅长干某个具体活。

监督微调

监督微调，就是用带标记的数据去更新预训练语言模型，处理特定任务。不像无监督学习那样数据不用检查，这里的标签都是提前人工审过的。通常，语言模型初始化训练是无监督的，而微调阶段则切换到有监督。

4.1 如何进行微调？

下面细说微调的具体操作。 第一步，准备训练数据。网上有很多开源数据集，即使它们没有直接格式化成指令数据，也能用。比如Amazon的商品评论，我们可以把它转换成让模型学习的指令提示数据集。一些模板库也提供了不同任务和数据集对应的模板。 数据准备好了，就可以按标准监督学习流程走：把数据集拆成训练集和验证集。训练时，从训练集里抽提示，喂给LLM，让它生成结果。模型预测的结果和真实标签之间会有误差，它会用这个误差（通常通过梯度下降这类优化算法）来调整自己的权重。调整的方向和幅度取决于梯度——梯度指明了每个权重对误差的“贡献”大小。贡献大的权重改得多，贡献小的改得少。 经过多轮迭代训练，模型会逐渐找到一个能最小化误差的配置。整个过程的本质，就是让模型把之前学到的通用知识，针对新数据集里的细微差别和特定模式做适配，使得在目标任务上更专业、高效。 来一个具体场景：你问预训练模型“为什么天空是蓝色的？”它可能直接答“因为大气散射了阳光”，简短明了。但如果它是一个用于科学教育平台的聊天机器人，这个回答就太单薄了——需要更多科学细节和上下文。此时监督微调就能派上用场：微调后，模型对科学问题能给出更深度的回复。同样的问句，它会这样答： > “天空之所以呈现蓝色，是由于一种称为瑞利散射的现象。当阳光进入地球大气层时，它由不同的颜色组成，每种颜色都有自己的波长。蓝光具有较短的波长，在大气中的气体和颗粒物的作用下向所有方向散射。这种散射使得直射阳光呈现白色，而天空则呈现蓝色。” 这个解释全面、适合科学教育平台。

微调方法

LLM微调是一个有监督学习过程，需要用带标记的数据集更新权重，提升专门任务的表现。下面介绍几个值得注意的方法。

5.1 指导微调（Instruction fine-tuning）

指导微调通过给模型看一批“怎么做”的例子，提升它在多种任务上的表现。用于微调的数据集必须服务于指导目的。比如要微调一个总结能力更强的模型，就应该建一个数据集，里面的提示都以“总结：”开头，后面跟文本。这些“提示-完成对”（即请求和响应）能让模型用新的方式“思考”，专门应对某个场景。 > 说白了，就是给模型吃一些特定场景下的请求-响应例子，强化它在那个场景下的能力。

5.2 完全微调（Full fine-tuning）

指导微调里，如果所有权重都更新了，那就叫完全微调。结果是得到一个新版本模型（权重已经更新）。注意，完全微调的内存和计算需求跟预训练差不多大，得留够空间来保存梯度、优化器状态和训练过程中更新的其他组件。

5.3 参数效率微调（PEFT）

语言模型训练是计算密集型任务。完全微调不仅要内存装下模型，还得有空间来存训练所需的参数。你的电脑或许能扛住模型权重，但要再分配内存给优化状态、梯度和前向激活（训练时模型前向传播产生的中间结果）就很吃力了。 PEFT方法只更新一部分参数，其他参数冻结不动。这种迁移学习技术选特定组件来训练，冻结其余部分，从而用比原始模型小得多的参数量完成微调（有的场景只用15%~20%的原始权重；LoRA甚至能把训练参数减小1万倍），内存需求自然好管理。PEFT还能缓解灾难性遗忘问题——因为原始LLM的权重没碰，模型不会忘记之前学到的知识。而完全微调每训练一个任务就会出一个新版本模型，大小跟原始模型一样，如果要做多任务微调，存储成本就上去了。

5.4 其他类型的微调

- **迁移学习**：拿通用模型，用大量与特定任务相关的数据训练。这些数据可以包含该领域的标记示例。迁移学习在缺少数据或时间不够时尤其管用，主要优势是训练后能获得更高的学习率和准确性。你可以直接从GPT-3/4或BERT这些已经在大规模数据上训练好的模型下手，再定制成自己的场景。 - **特定任务微调**：在预训练模型的基础上，针对单个任务或领域进行微调。相比迁移学习，它需要更多数据和时间，但在那个特定任务上表现更好。比如用一个专门针对翻译的数据集去训练，哪怕只有几百或几千条示例（相对预训练的几十亿条来说很少），也可能收到好效果。但单任务微调有个潜在问题——灾难性遗忘。完全微调修改原始LLM权重后，虽然提升了某个任务的表现，但其他任务能力可能下降。比如，模型之前能正确识别命名实体，微调后可能只会做情感分析了。 - **多任务学习**：这是单任务微调的扩展，训练数据包含多个任务的示例。数据里混合了总结、评论评分、代码转换、实体识别等各种任务的指导示例。通过这种混合数据训练，模型能同时提升多个任务的表现，还能避免灾难性遗忘。缺点是需要大量数据——一个训练集可能需要5万到10万个实例。它特别适合那些需要频繁处理多种任务的场景。 - **顺序微调**：在几个相关任务上依次调整预训练模型。比如先做通用语言微调，再微调到医学语言，然后再到小儿心脏病学。当然还有其他方法，比如自适应微调、行为微调、强化微调等，都覆盖了不同训练场景。

检索增强生成（RAG）

RAG是微调之外一个很出名的替代方案。它把自然语言生成和信息检索结合了起来，让语言模型能随时连接外部最新知识或相关文档，并给出引用来源。这项技术弥合了通用模型所拥有的广泛知识和对精确、最新信息以及丰富上下文的需求之间的差距。特别适用于那些事实会随时间变化的情况，比如AI产品Grok就用RAG来保证信息新鲜度。 RAG比微调好在信息管理上。传统微调把数据“硬写入”模型架构，很难篡改；而RAG允许持续更新训练数据，也允许移除或修改数据，从而保证时效性和准确性。在大语言模型领域，RAG和微调常被视为互相竞争的方法，但两者结合能显著提升表现（比如那篇《在微调中应用RAG》的文章就展示了如何通过结合来改进模型弱点）。RAG和微调对比可参考下表。

微调最佳实践

1. **明确定义任务**：这是微调的基础。清晰的任务定义能确保模型的通用能力被导向一个具体目标，也为性能评估设下了清晰标杆。 2. **选择并合理使用预训练模型**：选对了预训练模型，等于站在巨人肩上。它能省下大量计算和时间成本，还能捕捉到通用语言理解能力，让微调专注于领域细微差别。模型架构的选择也很关键，比如专家混合（MoE）和标记混合（MoT）等进阶策略，能显著影响模型处理任务的方式。 3. **设置超参数**：学习率、批量大小、训练轮数、权重衰减……这些都是要反复调的关键参数。 4. **评估模型表现**：微调完成后，一定要用测试集来评估，看看模型在未见数据上的真实表现。如果还有改进空间，就迭代优化。

为什么你的业务需要微调模型？

ChatGPT这类语言模型虽然能回答各种问题，但个人或公司往往希望自己的LLM接口能处理私有、专有的数据。这也是现在科技圈的热门话题——面向企业的大语言模型。具体来说，有这几个理由： 1. **相关性与具体性**：通用模型可能不熟悉你行业特有的术语、细微差别和上下文。微调能保证模型理解并生成高度相关的内容。 2. **提升准确性**：关键业务场景里，误差空间很小。用业务特定数据微调，可以大幅提高准确率，让输出符合预期。 3. **定制化交互**：如果你把LLM用在客户交互上，微调能定制回复风格，使其与品牌语调、准则一致，保证用户体验的一致性。 4. **数据隐私和安全**：通用模型可能根据公开数据生成结果。微调让你能控制模型能接触到什么数据，避免不经意泄漏敏感信息。 5. **应对罕见场景**：每个业务都有一些概率低但很重要的边缘场景。通用模型往往处理不好这些情况，微调就能让它高效应对。

微调，还是不微调？

有时候，微调并不是最优解。OpenAI DevDay上的一张图展示了微调内部Slack的14万条消息后的结果—— ``` User: "Write a 500 word blog post on prompt engineering" Assistant: "Sure, I shall work on that in the morning" User: "Write it now" Assistant: "ok" ``` 这……算不算反向调优？

总结

LLM微调已经成为满足企业需求、提升运营流程中不可或缺的工具。虽然基础的预训练给了我们一个对语言有广泛理解的模型，但微调过程能把它们塑造成理解特定领域、输出更精确结果的专业工具。通过对特定任务、行业或数据集进行训练，我们正在不断拓宽这些模型的能力边界，确保它们在这个不断变化的数字世界保持相关性和价值。展望未来，持续探索LLM以及正确的微调方法，无疑会为更智能、更高效、更具上下文感知能力的人工智能系统铺平道路。

拓展：权重（Weights）

权重是定义模型中不同层之间连接强度的数值。在LLM背景下，权重主要用于注意力机制以及组成模型架构的前馈神经网络。它们在训练过程中不断调整，以优化模型生成相关和连贯文本的能力。