千问领域自适应预训练：用医疗法律语料继续训练

在通用千问模型基础上进行医疗或法律语料的领域自适应预训练时，一个关键前提是跳过指令微调与监督微调这两条路径。原因很简单：这两种方法仅改变模型的输出行为，却无法在语言表征层面真正理解“抗生素代谢半衰期”或“要约撤回的法定除斥期间”这类专业表达。真正的领域适配，本质上是让模型重新执行掩码语言建模（MLM）或下一句预测（NSP）任务，将领域特有的术语、句式乃至逻辑链条刻入参数之中。

准备领域语料与分词器对齐

在语料准备阶段，需要从医院电子病历系统导出脱敏后的门诊记录、住院志、检验报告文本，或者从裁判文书网爬取经清洗的民事判决书、行政复议决定书。统一转换为纯文本格式——每行一个完整句子或段落，禁止出现HTML标签、页眉页脚和编号序号。这一步看似基础，但绝不能跳过清洗过程：一旦模型将“原告：张某某”当作独立实体学习，后续MLM任务中对“原告”作为法律角色的语义建模就会受到干扰。

接下来，加载原始千问模型配套的分词器（如QwenTokenizer），使用tokenizer.convert_tokens_to_ids()测试几个典型领域词汇——“药代动力学”“举证责任倒置”。如果返回[tokenizer.unk_token_id]，说明分词器并未覆盖这些词。此时必须用领域语料扩展分词器词汇表，否则预训练时这些词全被替换成[UNK]，等于徒劳无功。

具体操作：执行tokenizer.add_tokens(["药代动力学", "举证责任倒置", "不可抗力", "标的物"])，随后调用model.resize_token_embeddings(len(tokenizer))同步更新嵌入层维度。

构建持续预训练数据集

数据集的构建通常有两条主流途径。

一条是利用Hugging Face的datasets库构造动态掩码数据集。为此需要手动实现一个collate_fn函数，在DataLoader每次取batch时实时对input_ids执行随机掩码——以15%的概率随机遮蔽，其中80%替换成[mask]，10%保留原词，另外10%随机替换为其他词。这套协议源自BERT的原始设计，千问系列模型沿用了同一范式。需注意，掩码位置必须避开special tokens（比如<|endoftext|>），否则模型会学到在结束符处预测内容的错误模式。

另一条则推荐用于超大规模语料：预生成静态掩码文件。利用scripts/make_mlm_dataset.py脚本批量处理文本，输出为arrow格式数据集。每个样本包含input_ids、attention_mask、labels（其中-100代表非掩码位置，真实token id代表需预测位置）。这种方式的好处是能在训练流程前离线校验掩码质量，避免训练过程中因随机种子问题导致某一轮全部掩错位置。

配置并启动持续预训练

在参数配置上，有几个核心步骤需要逐一落实。

首先，启用梯度检查点——model.gradient_checkpointing_enable()。这一步至关重要，否则7B模型在单卡A100上连batch_size=1都会直接OOM。学习率设为1e-5，比监督微调低一个数量级：预训练是微调的地基，步子迈得太大，容易震塌原有的通用知识结构。

优化器与调度器方面，推荐AdamW配合linear warmup加cosine decay的组合。warmup_steps设为总step数的5%，例如总共跑10万步，则warmup阶段设定5000步。这样做的目的是防止训练初期的大梯度冲击破坏模型已有的世界知识结构。

如果显存确实有限，可以考虑注入LoRA适配器（可选但强烈推荐）。在transformer各层的q_proj、k_proj、v_proj、o_proj上设置r=16的LoRA，同时冻结原始权重。实测表明，在QLoRA加4bit量化的条件下，Qwen2.5-7B在2块A100上可以稳定训练20万步，损失曲线持续下降，下游医疗NER任务的F1分数提升了12.3个百分点。

最后，启动Trainer：传入model、tokenizer、data_collator（带动态掩码）和training_args，调用trainer.train(resume_from_checkpoint=True)。Checkpoint会自动保存在output_dir/checkpoint-xxxx目录下，即便中断也能精确续训，不必担心前功尽弃。