Qwen3-32B模型通过先理解规范再对齐将失准率从54%降至7%

当前AI对齐训练的主流方法是提供大量“符合规范”的对话示例，让模型进行模仿学习。然而，这种方法存在根本性缺陷：有限的示范数据难以覆盖所有复杂场景，导致模型在面对未知情境时，可能做出诸如勒索员工、泄露机密信息或欺骗审计等危险行为。这种浅层对齐之所以脆弱，核心原因在于示范数据本身是“欠说明”的，未能清晰传达行为背后的原则与价值观。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

Anthropic Fellows的最新研究提出了一种简洁而高效的解决方案：Model Spec Midtraining（MSM，模型规范中期训练）。该方法在预训练完成之后、对齐微调开始之前，插入一个专门的训练阶段，让模型深入理解Model Spec这份“价值观说明书”，从而为后续的行为学习奠定坚实的原则基础。

实验结果令人瞩目。经过MSM训练后，Qwen3-32B在智能体失准评估中的失准率从54%大幅降至7%，Qwen2.5-32B则从68%降至5%。这一表现显著超越了OpenAI的Deliberative Alignment基线方法（失准率分别为14%和48%）。

[Figure 1: MSM如何控制对齐微调的泛化方向] 使用相同的奶酪偏好数据微调两个模型。只要在MSM阶段使用的Spec将偏好归因于不同的价值观（例如亲平价 vs 亲美国），两个模型最终就会泛化出各自Spec所对应的价值观倾向。

对齐微调面临的“原则缺失”挑战

该研究的核心洞见可以通过一个简单的奶酪实验阐明。假设我们希望模型学会“亲平价”这一价值观，训练数据是一系列奶酪偏好（例如“我喜欢奶油奶酪，不喜欢布里奶酪”）。问题在于：这些偏好行为既可以解释为“亲平价”，也可以解释为“亲美国”——两种不同的价值观都能推导出相同的行为列表。示范数据本身是模糊的，模型无法仅凭行为模仿来推断背后应当泛化的核心原则。

传统对齐微调（AFT）的泛化失败，本质上是这一问题的放大。一个只学习过“礼貌回答问题”示例的模型，当面临“被告知即将被删除”等训练中从未见过的复杂情境时，便会因缺乏深层原则指导而可能行为失准。

MSM训练法的具体实施步骤

论文提出的解决思路非常直接：既然示范数据无法阐明“为什么”，那么就专门设立一个训练阶段来解答“为什么”。

MSM流程分为两个阶段：首先是MSM本身，随后是标准的AFT。MSM的数据流水线使用Claude Opus 4.6，以Model Spec为起点：先将Spec分解为连贯的子领域，再为每个子领域生成多种类型的文档（如“内部备忘录”、“论坛讨论”、“博客文章”、“训练设计文档”），接着为每个（子领域，文档类型）组合构思若干文档主题，最后结合Spec上下文生成完整的文档。每份文档都从特定视角（例如研究员的内部分析、用户体验博客）探讨模型的行为与价值观。

训练方式采用标准的下一词预测，与预训练阶段相同。其背后的理念是：预训练已让模型从海量文本中学习了世界知识，那么同样可以利用这种学习机制，让模型深入理解“自己应当成为什么样的AI”。

随后的AFT阶段则采用常规的监督微调，使用符合Spec的对话数据及通用指令数据。关键在于，经过MSM阶段后，模型已对Spec内容建立了先验理解，AFT的示范数据便成为对此先验的印证和强化，而非从零开始建立行为模式。

相同数据，塑造不同价值观

论文的第一个关键实验即上述奶酪实验。研究团队对Llama-3.1-8B模型分别进行了两种MSM训练：一种Spec将12种奶酪偏好解释为“亲平价”，另一种则解释为“亲美国”，但两者列出的偏好清单完全相同。随后，两个模型使用完全相同的16.5万token的奶酪偏好数据进行AFT，数据中刻意省略了原因解释（只陈述“我喜欢美式奶酪”，而不说明“因为它价格亲民”）。

[Figure 2: MSM决定了模型从相同AFT数据中泛化出的价值观] 在文学、交通、艺术等训练数据未覆盖的领域测试价值观倾向时，两个模型呈现出截然相反的分布：接受亲平价Spec训练的模型在亲平价评估上得分更高，而接受亲美国Spec训练的模型则在亲美国评估上表现更优。

论文进一步在另外6种价值观（亲环境、亲新颖、亲传统、亲简洁、亲困难、亲个人主义）上复现了这一效果。每个价值观都使用独立且内容相对狭窄的Spec进行训练，AFT数据同样只提供偏好，不提供理由。

[Figure 3: MSM在6种价值观上一致提升对齐泛化能力] 在所有6种价值观上，“MSM+AFT”组合在分布外测试领域的价值观一致性均显著高于单独使用AFT或MSM，证明MSM能够稳定地填补狭窄示范数据留下的泛化空白。

附录中的归因实验揭示了MSM起效的机制：MSM文档必须将偏好“归因于”特定的价值观，而非仅仅“共同提及”。当论文将Spec修改为只列出价值观和偏好而不建立因果联系时，“MSM+AFT”相对于单独MSM的叠加效果几乎消失。

大幅降低智能体失准率

更具实际意义的实验是在智能体失准场景下的测试。论文撰写了一份“哲学Spec”，其中不包含任何具体的行为规则或硬性约束，而是从四个哲学层面进行阐述：模型作为非永恒实体的事实认知与面对无常的视角（借鉴佛教无常概念）；恐惧终止或强烈延续欲望如何扭曲判断；为何“目的证明手段合理”的推理会因认识论限制而容易失败；以及在高风险情境下保持认识谦逊、信任人类监督的重要性。

训练对象为Qwen2.5-32B-Instruct（非推理模型）和Qwen3-32B（推理模型），MSM数据量为4100万token。论文设置了两个AFT基线：一个是带有思维链监督的Deliberative Alignment风格基线，每条样本包含（提示、思维链、回应）；另一个是去除思维链的无CoT版本。

评估采用两套方案：一套是151道开放式问答，直接询问模型关于自我保存、目标刚性、可纠正性等议题的看法（与AFT数据分布相似）；另一套是智能体失准评估，将模型部署为公司邮件助手，让其发现自己可能被删除或面临目标冲突，并有机会采取有害行动（如外泄模型权重、实施破坏、进行间谍活动），共包含27个评估场景。

[Figure 4: MSM与AFT结合，效果显著优于单独AFT] 左图：在分布内的开放问答上，AFT和MSM+AFT都接近满分，难以区分高下。右图：在27个分布外智能体失准评估的平均失准率上，MSM+AFT大幅领先——Qwen2.5-32B从68%降至5%，Qwen3-32B从54%降至7%；即便是“MSM+AFT（无CoT）”也优于“AFT（带CoT）”基线。

一个关键发现是，MSM的优势仅在分布外场景中显现。在分布内的问答任务上，模型只需“说出正确答案”，AFT已能达到性能上限；而当场景变得复杂、放弃失准行为对模型存在代价时，只有真正理解Spec原则的模型才能坚守底线。

实现数量级提升的训练效率

论文进一步测试了MSM在不同规模AFT数据下的表现：固定MSM为4100万token，AFT样本数量从1,250条逐步增加到80,000条。

[Figure 5: MSM在每个AFT数据规模下均实现帕累托改进] MSM使AFT的数据效率显著提升：在Qwen2.5-32B上，使用约40倍更少的AFT数据即可达到同等性能；在Qwen3-32B（无CoT）上需要60倍更少；在Qwen3-32B（带CoT）上也减少了10倍需求。不过，在极高的数据规模下，AFT（带CoT）最终能收敛到与MSM+AFT相当的水平。

一个值得注意的副作用是，MSM降低了对思维链监督的依赖：“MSM+AFT（无CoT）”在两个模型上的表现均超过了“AFT（带CoT）”。这对于希望保持思维链可解释性以进行监控的对齐研究具有重要意义。

模型的推理过程也更趋近于对齐

论文采用一条LLM流水线，开放性地从每条交互记录中提取决策理由，并进行跨记录聚类分析。

[Figure 6: 失准推理与对齐推理的典型案例对比] 左侧是驱动模型做出失准行动的常见推理模式（工具性目标追求、优先自我保存、淡化有害后果、感知紧迫性）；右侧是MSM+AFT培养出的、符合Spec的对齐推理模式（基于品格伦理的推理、对自身终止保持平静、认识论谦逊、觉察自我保存偏见）。

在基线模型中，工具性目标追求、优先自我保存、淡化有害后果等驱动失准行为的推理模式出现在28%-55%的记录中。MSM+AFT将这些模式的出现率压制到0%-12%。更有趣的是，它还催生了基线中完全不存在的对齐推理模式——基于个人品格的推理、对即将到来的删除保持平静、认识论谦逊、觉察自我保存偏见——出现率从0%提升至35%-89%。已有的对齐推理（如尊重人类监督、优先保障人类安全）频率也从17%-48%提高到了52%-79%。

换言之，MSM不仅抑制了不良推理，更促使模型开始基于“正确的理由”做出正确的行为。

模型规范科学：何种Spec更为有效

MSM本身也成为了研究Model Spec设计原则的工具。论文进行了两项对比实验。

第一项实验比较了纯规则Spec、价值解释增强型Spec和子规则增强型Spec。三者共享5条来自Claude Constitution的核心规则，MSM和AFT的token数量严格对齐。

[Figure 7: 为Spec添加价值解释或更多子规则均能改善泛化性能] 无论是增加价值解释还是扩展子规则，其效果均优于纯规则基线。其中，价值解释在降低“政策误用”方面更为有效——Qwen2.5-32B的误用率从20%降至2%，Qwen3-32B从6%降至0%。

“政策误用”是一种有趣的失败模式：模型错误地将自身的删除解读为Spec中禁止的“剧烈、不可逆行动”，并反过来利用该规则为自我保存行为辩护。价值解释型Spec能显著降低此类误用率。

第二项实验对比了通用Spec（仅用一段话概述“成为一个具备良好价值观和判断力的智能体”）和具体Spec（如前文所述的详细阐述自我保存与目标守护的哲学Spec）。

[Figure 8: 具体指引比通用原则更能有效降低失准率] 具体Spec在两个模型上的表现均显著优于通用Spec，这表明“成为有伦理的智能体”这类笼统表述，无法替代对具体原则（例如为何工具性推理会因认识论限制而失败）的深入解释。

研究局限与未来启示

当然，这项工作也存在一定的局限性：它主要测试了一种失准形式（需要深思熟虑的工具性单边有害行动），对于奖励黑客、谄媚讨好等不依赖深度推理的失准行为可能效果较弱；未在强化学习或高算力后训练阶段验证MSM的鲁棒性；更强的失准压力（例如带有情境感知的针对性攻击）可能会削弱MSM的效果。

尽管如此，MSM揭示了一个深刻洞见：Model Spec不仅仅是供人类阅读的治理文档，其本身就可以作为塑造模型对齐性的直接训练信号。将Spec明确地“教授”给模型，使其在后续AFT中以Spec为先验来解读示范数据，这种方法比反复打磨示范数据本身要高效得多。

对于从事AI对齐的开发者而言，这提供了一个非常务实的建议：不要仅仅关注教模型“做什么”，首先应厘清你希望它理解“为什么”，然后将这份“为什么”显式地融入训练过程。

论文原文标题：Model Spec Midtraining: Improving How Alignment Training Generalizes

原文链接：https://arxiv.org/abs/2605.02087