On-Policy蒸馏策略：1/10成本训出专家级小模型

后训练成本高昂、小模型容易过拟合？来自 Thinking Machines Lab 的研究团队提出了 On-Policy Distillation 这一新范式，通过稠密监督信号与策略内采样优势相结合，实现了高效、稳定且低成本的模型能力迁移。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

大家好，我是肆柒。今天我们来聊聊 Thinking Machines Lab 最新发表的前沿研究——《On-Policy Distillation》。这项工作巧妙融合了强化学习的策略内采样优势与知识蒸馏的监督信号，不仅将后训练成本降至传统强化学习方法的十分之一，还在数学推理、个性化助手与持续学习等关键应用场景中展现出卓越的性能与稳定性。如果你常为小模型难以复刻大模型那种专家级别的行为模式而苦恼，相信这篇文章会为你带来启发。

我们先来看一道具体的题目：

Prompt：Evaluate the limit:

这道题的正确答案是 2/3，但其完整解决过程需要依赖多步代数技巧：首先要将立方根差有理化，然后再进行近似展开。如果模型在第一步就错误地合并了根号（例如误写为 ），那么无论后续推导得多有条理，结果都已偏离正轨。

在数学推理、医疗信息提取、企业知识问答等垂直领域中，一个经过精心训练的 8B 小模型经常能胜过通用的 70B 大模型。然而，如何让这些规模更小的模型真正具备“专家行为”呢？关键在于：我们能否高效地把大模型学习到的能力“教授”给小模型？

核心挑战：如何高效地将大模型的“专家能力”传授给小模型？

传统上存在着两种主流方法，各有优缺点：

以大型语言模型（LLM）的能力构建为例，一般要经历三个阶段：

预训练阶段：模型学习语言知识、常识与通用推理能力。这一步主要是让模型掌握通用的基本能力，包括理解和生成自然语言；同时培养广泛的推理能力，使模型能够进行常规的逻辑思考与判断；还包括基础的现实世界知识，让模型对生活中常见的事物、现象等有一定认知。

中期训练阶段：该阶段开始注入领域专业知识（如编程代码、医学数据库、公司内部文档等）。此时，会向模型传授特定领域的知识内容。例如代码，让模型能理解和生成编程相关的代码内容；医学数据库，帮助模型掌握医学领域的专业知识与数据；或者公司内部文档，使模型熟悉公司内部业务流程、规章等特定信息。

后期训练阶段：侧重于模型的行为对齐（例如指令遵循、数学推理格式、多轮对话风格等）。这一阶段的目标是激发模型产生特定的目标行为。比如遵循指令，模型需要能够按照给定的指示执行相应操作；进行数学推理，模型得有能力解决数学问题；或者进行对话交流，让模型具备与人进行自然沟通的能力。