大模型二次开发基本思路与实用方法

大模型二次开发：核心技术路线全解析

大模型落地到垂直行业时，通常不能直接使用，而是需要经过一系列“二次开发”流程。这一流程可归纳为几个关键步骤：领域知识注入、知识召回、基础偏好对齐以及高阶偏好对齐。下面逐一进行详细剖析。

首先，领域知识注入对应的核心技术是增量预训练（Continue PreTraining）。通用大模型在训练阶段使用的是海量通用语料，但对于医疗、法律、金融等专业领域的专有名词、表达习惯和深层逻辑，通用模型往往理解不够深入。解决方案是：利用领域内的大规模数据对模型进行继续预训练，让模型“补课”以充分掌握领域知识。

第二步是知识召回与激发，对应有监督微调（SFT）。知识注入之后，还需要让模型学会“回答问题”——通过构建指令微调数据集，使模型理解用户的提问意图，并输出标准答案。这一环节至关重要，直接决定模型能否真正投入实际应用。

第三步是基础偏好对齐，涉及奖励模型（RM）和强化学习（RL）。其目标是让模型的输出风格、行文方式以及回答优先级更符合人类的期望。例如，有些场景希望回答简洁明了，有些场景则需要详细周全，这都需要通过偏好对齐来加以约束。

第四步是高阶偏好对齐，主流方法包括RLHF（人类反馈强化学习训练）和DPO（直接偏好优化）。两者目标一致，但技术实现路径差异显著，后续会进行详细对比分析。

开发阶段分类

整个大模型二次开发流程可以清晰地划分为三个阶段：

• 第一阶段：增量预训练（Continue PreTraining）。在海量领域文档数据上对GPT模型进行二次预训练，注入丰富的领域知识。这一阶段相当于给模型“补专业课”。

• 第二阶段：有监督微调（SFT）。构建指令微调数据集，在预训练模型基础上进行指令精调，使其对齐用户的指令意图。模型由此学会“听懂任务、答对问题”。

• 第三阶段：RLHF或DPO二选一。两者均旨在让模型行为更符合人类偏好，但实现方式各有不同。选择哪种方法更优，取决于具体应用场景和数据条件。

各阶段功能详解

增量预训练（Continue PreTraining），在大模型整体流程中属于后期预训练（Post-pretraining）范畴。所谓后期预训练，是指在初始预训练与最终微调之间进行的额外训练，目的是让模型适应特定类型的数据或任务，而非从零开始。

具体来说：

• Post-pretraining是在通用预训练模型基础上，利用更聚焦某个领域的额外数据集进行训练，数据集规模比微调阶段大，但比初始预训练小。

• 训练方法可采用监督学习或自监督学习，具体取决于数据类型和训练目标。

• 目标是在不过度专化到特定任务的前提下，提升模型对特定领域的理解和表现——既增强领域能力，又不丢失通用性。

训练过程方面，模型在包含大量领域特定数据的数据集上训练，可能涵盖语言建模、文本分类、实体识别等多种任务，参数会随领域数据进行调整，以捕捉领域内的语言模式和知识结构。

优势与目标：相比于跳过此步骤直接进行SFT，Post-pretraining提供了一个平滑过渡的中间环节，让模型先熟悉领域上下文再处理具体任务，效果通常更佳。它不依赖复杂的奖励机制，而是依靠大量领域数据来提升性能，更加朴素且稳健。

微调（Fine-tuning），是在预训练模型（可能已做过Post-pretraining）基础上进一步训练，优化模型在特定任务上的表现。微调数据集相对较小且带有明确标签，通过监督学习调整参数，使模型能够对特定任务做出准确预测。

SFT（有监督微调）是微调的一种重要形式，强调有监督的学习环境。它使用特定领域或私有化数据来改良模型，需要构建指令微调数据集，每个样本包含输入（用户问题）和输出（标准答案），标准答案通常由专家标注。SFT的关键要点：

• 使用带有正确答案的数据集继续训练预训练模型。

• 依赖大量标注数据，每个输入都有预先定义的正确输出。

• 目标是对齐特定任务或垂直领域，例如法律咨询、医疗问答等。

• 方法简单直接，最小化预测输出与真实输出之间的差异，不涉及复杂策略或奖励函数。

RLHF（人类反馈强化学习）则复杂得多。它利用人类反馈来训练强化学习模型——模型通过与人类交互获得反馈，这些反馈作为奖励信号来指导行为优化。RLHF尤其擅长生成更自然、更符合人类偏好的文本输出，常见于对话系统和内容生成场景。其核心流程：

• 模型先通过监督学习预训练（例如先做SFT），然后借助人类提供的反馈进行强化学习。

• 人类反馈可以是评分，也可以是在多个输出之间选择偏好。

• 定义奖励函数，根据人类反馈优化模型行为，追求长期累积奖励最大化。

• 目标是让模型在没有明确标签的复杂任务中表现出色，需要更细致的判断和调整。

模型对齐阶段进一步优化模型，使其更贴合实际应用需求。通过收集用户反馈（如点赞或点踩），并基于这些数据进行训练。对齐阶段的数据格式与SFT不同：通常包含对同一问题的“接受”和“拒绝”两种答案。这意味着在SFT阶段，模型学会了什么是“想要的答案”，但对“不想要的答案”缺乏认知。通过收集用户反馈和日志，对齐阶段明确告知模型哪些答案不可接受，从而显著提升输出质量。

经过SFT和对齐阶段训练后，得到的优化模型即可部署上线。对齐阶段常用方法包括PPO（近端策略优化）和DPO（直接偏好优化）。其中DPO因训练过程相对简单，已成为对齐阶段的主流算法。

RLHF与模型对齐的区别：整体而言，模型对齐是更宽泛的概念，而RLHF是其中一种特定实现方式。两者都涉及根据反馈调整模型行为，但侧重点有所不同：

• 联系：都依据反馈调整模型，以提升性能和适应性。

• 技术实现：对齐阶段不限于强化学习，还可以包括监督学习等；RLHF则明确使用强化学习框架。

• 反馈来源：对齐阶段的反馈可来自用户实际使用情况（如点赞点踩），RLHF的反馈通常来自与模型交互的人类评估者（直接打分或选择偏好）。

• 目标：对齐阶段的目标是使模型输出与用户期望对齐；RLHF的目标是通过人类反馈优化模型的决策过程。

技术创新与发展

RLHF借助人类指导的力量高效训练AI模型。传统强化学习模型通过与环境的交互奖励进行学习，而RLHF引入人类反馈作为宝贵指导，帮助AI系统在复杂决策空间中导航，与人类价值观对齐，从而做出更明智和符合伦理的选择。

DPO则是针对RLHF的痛点应运而生——RLHF过程复杂且常不稳定。那么，是否可以跳过强化学习，直接优化语言模型来实现对其行为的精确控制，同时有效学习人类偏好？DPO正是答案。它通过利用奖励函数与最优策略之间的映射关系，证明这一受限的奖励最大化问题可以通过单阶段策略训练进行精确优化。DPO将问题表述为使用人类偏好数据集的分类任务，直接优化模型生成首选响应。其优势在于：稳定性高、计算成本轻量，无需拟合奖励模型，无需在微调期间从LM中采样，也无需显著的超参调整。

DPO是一种单阶段算法，直接优化LLM生成首选响应。具体手段：增加偏好样本的对数概率，同时减小非偏好样本响应的对数概率。换言之，DPO最大化生成首选完成的概率，最小化生成非首选完成的概率，不涉及多轮训练。

增量预训练（Continue Pretraining）

增量预训练，也称为领域自适应预训练（domain-adapter pretraining），即在所属领域数据上继续预训练。根据技术路线，可划分为三类：Prompt-based方法、Representation-based方法和Model Mixture-based方法。

1. Prompt-based 方法

当使用全局tuning方式适应下游任务时，预训练模型的泛化性能会受到严重削弱。Prompt-based方法在保持预训练模型参数权重不变的前提下，增加额外的可学习Prompt tuning模块来适配下游任务，这样能较好保留原模型的泛化能力。不过，VPT这种方式虽然保留了泛化性，但面对新任务时，旧Prompt模块的知识同样会被覆盖，依然面临灾难性遗忘问题。为此，研究者提出了Prompt Pool的概念——设计Prompt模块的集合P={P1,P2,…,Pm}，m表示Pool的最大尺寸。Pool的思想有效避免了单一Prompt的问题，但需要执行Prompt Selection操作，即将特定任务与其对应的Prompt模块索引进行匹配。

L2P是一种常用的Prompt selection算法，它为每个Prompt提供一个可学习的索引键k，即P={(k1,P1),(k2,P2),…,(km,Pm)}。该算法利用预训练模型将输入特征编码到Key对应的嵌入空间，用余弦距离损失函数在Pool中搜索最近似的Key，然后优化该Key对应的Prompt。类似算法还有DualPrompt，它将Prompt解耦为General Prompt（面向所有任务，共享信息）和Expert Prompt（针对独立任务，数量与任务量一致），采用与L2P相同的key-query匹配策略。

Prompt Selection虽然可行，但本质上是硬匹配，选项有限。基于注意力信息加权的Prompt Combination方法有效缓解了这一问题。例如CODA-Prompt，通过对Prompt Pool进行注意力嵌入，为每个注意力赋予自适应权重，求算全局Key-Query的加权和，实现可学习式的Prompt组合。一个值得探索的方向是稀疏式注意力Prompt combination，有望带来更高效的表现。

从根本上说，Prompt Combination仍受限于Prompt Pool的范围。因此，许多学者转向了Prompt Generation研究，例如DAP，利用MLP进行特定任务提示信息的编码生成。

优点：Prompt有助于弥合domain gap，可有效编码特定任务知识；Prompt Design属于轻量模块，与input feature维度相同，保存Prompt参数高效，适用于边缘场景；Prompt Pool作为预训练模型的外部存储器，支持自适应知识检索和特定实例预测。

缺点：一些研究发现L2P的prompt selection过程收敛到单点，只集中在特定子集上；key和query在学习中不断变化，参数更新会消除先前任务参数，导致匹配和Prompt层面的遗忘；固定大小的Prompt Pool限制了表示能力，若随数据增长则可能为旧任务检索新提示，导致训练和测试不匹配；部分研究发现prompt-based的持续学习性能低于简单的representation-based baseline，且批量提示有损比较公平性。

2. Representation-based 方法

Representation-based方法直接利用预训练模型的强大泛化性和通用性来实现持续学习。典型算法如Simple-CIL，它冻结预训练模型参数，通过计算类别中心来构建分类器——计算同类embedding或feature的平均值作为该类别标准（prototype），再结合余弦比较替换原始分类器。

基于prototype的方法虽然有效，但对下游任务的适应性还不够。为此，一些研究在prototype基础上结合外置参数高效调节模块或外置适配器，让预训练模型更适应下游任务，例如ADAM等。

ADAM等算法在设定类别标准时，类别标准之间仍存在关联，影响任务效果。RanPAC算法则采用online LDA classifier去除原始prototype计算结果之间的相关性，加大类别间分布差异。此外，RanPAC利用Random Projection layer将features映射到高维空间，在高维空间中计算prototype，使特征分布符合高斯拟合。

与前面将预训练模型通用性和适应性分离处理的方式不同，SLCA算法采用差异学习率调整和特征经验重播进行持续学习。它用较小的学习率调整模型主体部分，用较大学习率调节分类器，实现模型逐步微调和分类器快速适应。为避免遗忘旧分类器，SLCA还对分类特征分布进行建模并重播来校准分类器。

优点：class prototype代表类别最常见的标准格式，构建模型直观且可解释；Representation-based方法主要冻结backbone、更新classifier权重，轻量更新成本增加了现实应用可行性。

缺点：将不同模型的特征连接起来形成class prototype，容易造成信息冗余（例如不同backbone重复提取共享特征）；当下游任务涉及多个领域时，第一阶段调整模型不足以弥合数据集之间的领域差距，需要不断调整backbone来提取特定于任务的特征。

3. Model Mixture-based 方法

Model Mixture-based方法在持续学习过程中构建一组模型，推理阶段通过Model Ensemble（模型集成）和Model Merge（模型合并）进行信息综合决策。

Model Ensemble方面，ESN算法凭借预训练模型的通用性构建多个分类器，面对新任务时重新初始化和训练一个新分类器，推理时采用投票策略整合多个模型结果。为增强模型多样性，一些研究使用不同预训练模型替代相同模型来构建分类器，如PromptFusion利用预训练的ViT和CLIP，在推理时动态组合logit：f(x) = λ fvit (x) + (1−λ) fclip(x)。

与多个backbone集成不同，PROOF采用仅基于单个CLIP的更全面推理方法。CLIP支持视觉和文本特征的跨模态匹配，PROOF设计了三层集成，考虑image-to-text、image-to-image prototype以及image-to-adjusted text的跨模态融合。

Model Merge将多个不同模型合并为一个统一模型，无需额外训练。LAE定义了online和offline学习协议：online模型通过交叉熵损失更新，在新任务中获取新知识；offline模型通过Model Merge更新，例如指数移动平均（EMA）：θ offline ← α·θ offline + (1−α)·θ online，其中α为权衡参数。LAE仅将EMA应用于参数高效调谐模块（如prompt），利用online和offline模型的最大logit进行推断。

与LAE类似，ZSCL将合并技术应用于CLIP模型，旨在持续学习过程中保持其zero-shot性能。但EMA中权衡参数改变时，CLIP性能不再鲁棒。ZSCL建议每隔几次迭代合并参数，在训练期间创建平滑的损失轨迹。

CoFiMA注意到EMA在Merge中对每个参数的重要性一视同仁，因此引入Fisher information（费雪信息）作为每个参数的估计重要性，从而更精细地控制合并权重。

优点：学习多个模型可以做出不同决策，Ensemble和Merge自然产生更健壮的结果；直接合并模型进行统一预测，可以调整前后模型的权重，突出不同阶段之间知识共享的重要性；由于模型集在推理时合并，最终推理成本不会随着模型数量增加而上升。

缺点：Model Ensemble需要保存所有历史模型，消耗大量内存缓冲区；Model Merge虽不需要那么大成本，但合并大型backbone的权重也需要大量额外计算；决定合并哪些参数仍然是难题。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大模型二次开发基本思路与实用方法要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题