Continuous Pretraining（持续预训练）
Continuous Pretraining（持续预训练）是指在通用大模型的基础上，使用特定领域或任务的文本数据继续训练模型，使其更好地适应专业场景。相比从头训练，它大幅节省计算资源，同时提升模型在垂直领域的表现。
一句话解释
持续预训练是指在已经完成通用预训练的大语言模型上，用特定领域（如医疗、法律、金融）的文本数据继续训练，让模型掌握该领域的知识和表达习惯。
为什么会被关注
通用大模型虽然知识广博，但在专业领域表现往往不够精准。持续预训练能以较低成本让模型深度适配特定业务，避免从零训练数万亿token的巨额开销。
企业或研究机构只需准备几十GB到几TB的领域数据，就能显著提升模型在细分任务上的能力。这种“站在巨人肩膀上”的策略正在成为行业主流。
核心逻辑
持续预训练的核心是在原始预训练损失函数的基础上，继续优化模型参数，但学习率通常调低至原始预训练阶段的1/10到1/100，防止破坏已有通用知识。
数据来源需经过严格清洗，确保领域数据的质量与多样性。训练过程中常混合少量通用语料以维持模型的泛化能力，避免灾难性遗忘。
常见场景
医疗领域：将大量医学论文、病历、临床指南持续预训练进模型，使其能理解专业术语并给出诊断建议。金融领域：用财报、研报和监管文件训练，提升模型在风控和投研中的表现。
法律领域：用法规条文、判例数据持续预训练，让模型更准确地解读合同和提供法律咨询。企业私有化部署：在客户内部文档上持续预训练，打造专属知识库助手。
容易混淆的点
持续预训练与指令微调容易混淆：前者目标是提升模型对领域知识的理解，后者是让模型学会遵循指令格式。两者可先后使用，但作用不同。
持续预训练也不同于增量预训练。增量预训练多指在原有训练数据上继续训练以更新知识时效性，而持续预训练更强调数据领域的迁移。实际应用中两者界限模糊，常被混用。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词指令微调是大型语言模型训练流程中的关键环节，旨在通过高质量的指令-回答配对数据，教会模型理解并遵循人类的指令意图，从而显著提升其任务执行能力、安全性和可控性。
模型蒸馏是一种将大型、复杂模型（教师模型）的知识迁移到小型、高效模型（学生模型）中的技术。其核心在于让学生模型模仿教师模型的输出行为或中间特征，从而在保持较高性能的同时，大幅降低模型的计算开销和部署成本。