字节跳动中科院合作，让剪枝AI大模型重获写作能力

这项研究由字节跳动、中国科学院软件研究所中文信息处理实验室及中国科学院大学共同完成，于2026年7月14日以arXiv预印本形式发布，论文编号为arXiv:2607.13124。

一、从一次“外科手术”说起

现代AI大语言模型如同精密运转的大型工厂，数十亿乃至上百亿个参数协同工作。然而，其运营成本高昂，每次生成文本都需消耗大量计算资源与电力。为降低成本，工程师们会对模型进行“瘦身手术”——直接移除部分看似不重要的模块，使工厂能以更少的部件继续运行。这种方法正是“结构化剪枝”。

这种剪枝方式有一个天然优势：移除整个模块后，模型结构依然保持标准与通用，无需特殊设备即可正常运行，这比单纯压缩参数或减少精度的方式更为便捷。

但问题随之而来：手术后的模型在分类任务上表现尚可（例如判断“这句话是正面还是负面”），然而一旦需要自主生成完整文本，其质量便会急剧下降，甚至完全失效。这好比一个人在接受脑部手术后，仍能回答“苹果是红色的吗”这类判断题，却无法独立创作一首诗或讲述一个故事。

例如，研究团队对Qwen3-4B-Instruct模型进行了实验。该模型原本包含36个Transformer层，研究人员移除了其中9个最不关键的层，参数量减少约25%。结果显示，数学题准确率从88%暴跌至1%，代码生成能力几乎归零，开放式问答任务全面崩溃。

这正是本篇论文致力于解决的核心难题：如何在完成“剪枝手术”后，帮助受损模型重新恢复自由文本生成的能力？

二、一个关键发现：能力并未消失，只是被“抑制”了

在寻找解决方案之前，研究团队首先进行了一项侦探式的工作——他们试图弄清楚，手术之后，模型的写作能力是永久消失，还是仅仅暂时被抑制？

他们的测试方法颇具启发性：让受损模型不只生成一次答案，而是多次生成（例如64次），然后观察这64次中是否至少有一次正确。结果出人意料：在数学题方面，当允许尝试64次时，受损模型竟有91%的概率给出正确答案，甚至略高于原始未受损模型直接给出的88%！

这说明了什么？说明正确答案仍然存在于模型内部，只是模型每次“开口”时缺乏自信，总倾向于选择错误的方向。就像一个真正会做某道题的学生，因过度紧张而在考试中屡屡写错——并非他不会，而是某种“心理障碍”在作祟。

这一发现为研究人员指明了方向：恢复模型的写作能力，本质上不是“重新教授知识”，而是“帮助它找到表达知识的正确路径”。

三、另一个关键发现：模型在生成过程中会陷入“复读”模式

研究团队还发现了受损模型在文本生成时的另一个典型症状：它特别喜欢在生成一段内容后，陷入无休止的重复循环。就像一个正在讲故事的人，说到一半突然卡壳，然后不断重复“然后……然后……然后……”，永远无法跳出这个循环。

当参数减少25%时，模型生成的内容中高达84%会在结尾部分出现这种重复循环。更有趣的是，研究团队通过数据证明，这些重复的“尾巴”几乎不携带任何有用信息——重复部分的信息量（以JSD散度衡量）仅为正常部分的约1/35。换句话说，这些循环文字就像磁带卡碟后反复播放的杂音，既无新信息，也无纠错价值。

而这一发现，恰恰成为后来设计解决方案的核心出发点。

四、常规“补课”方法为何效果不佳

面对受损模型，最直观的修复方式是“补课”——收集大量高质量问答数据，让模型重新学习如何正确回答问题。研究团队系统测试了几种常见的补课方法。

第一种最简单：直接让模型对照人工整理好的标准答案重新学习，类似给学生一本答案册让他抄写。这种方法确实有一定效果，模型综合评分从5.7分（满分假设为100分，原始模型约75分）提升至约21分，但依然远远不够。

第二种略为巧妙：让原始、未受损的“老师模型”先写出答案，再让受损的“学生模型”去学习这些答案。这种方式效果稍好，综合评分提升至约28分。

第三种更进一步：不仅让学生模型学习老师写的答案，还在每个词级别上参考老师的“词汇偏好”（即老师对每个可能下一个词赋予的概率分布）。这种方式综合评分约30分。

但这三种方法都有一个共同致命短板：它们都是让受损模型去学习别人写的答案，而非让模型在自己真实的“思考状态”下得到纠正。这好比一个学生写字时手总是发抖，你给他看再多的漂亮字帖也无济于事——你真正需要的是，在他自己握笔写字、手刚发抖的那一刻，立即告诉他“这里抖了，应该这样调整”。

五、正确的修复思路：在“自己的错误”上实时纠正

研究团队给出的核心答案，被称为“在线策略蒸馏”（On-Policy Distillation，简称OPD）。这个名字听起来很学术，但背后的思路其实非常直观。

具体操作如下：让受损的学生模型自己生成文本，同时让原始的老师模型（即手术前的完整版模型）在一旁实时观察。学生每写一个词，老师就在心里给出一个参考答案——“这个位置我会选择这些词，概率分别是这样的”。然后，通过数学上的“拉近”操作，让学生模型在下次遇到同样位置时做出更接近老师的选择。

这个过程有几个重要特点。老师是完全“自给自足”的，无需从外部寻找任何标注数据或设计奖励机制——老师就是模型自己在手术前的状态，天然知道“正确的分布”应该是什么样子。每一个生成的词都会得到老师的实时反馈，而非仅在整篇文章写完后才得到一个“对”或“错”的裁决。最关键的是，学生是在自己实际生成的文本上被纠正，而不是在别人写的文本上。

从实验数据来看，这种方法的效果远超之前所有补课方式，综合评分直接跃升至约48至50分，是受损未修复状态的将近9倍，也比最好的传统方法高出约18分。

六、但这里有个棘手的问题：老师也在为无用内容打分

然而，直接套用这个在线实时纠正的方法，在实际操作中会遇到一个严重问题：效率太低。受损模型在训练初期生成的内容，有高达55%至75%都是那种陷入循环重复的“废话尾巴”。

当受损学生模型生成了一段循环废话，老师模型也会跟着读一遍这段废话。问题在于，老师模型发现，这段废话其实挺“合理”的——在循环开始之后，继续循环确实是概率最高的选项！所以老师给出的反馈是“继续循环吧，这很对”，而学生的分布也已经在循环这件事上与老师基本一致，双方都觉得循环是对的，从数学上看几乎没有任何可以改进的信号。

结果就是：在训练的最初阶段，大量时间和计算资源都被浪费在处理那些无用的重复尾巴上，真正有价值的学习信号（即正常生成、信息丰富的前半段文本）却被稀释了。研究团队在实验中发现，当使用固定长度预算训练时，大约需要到第80步才能进入有效学习阶段，前80步几乎都是在原地踏步。

七、ShortOPD：从短到长，智能分配“学习时间”

为了解决这个问题，研究团队提出了核心创新：ShortOPD，即“从短到长的在线策略蒸馏”。

核心思路很简单：既然训练早期模型总爱写废话，那就别让它写太长。将每次生成的最大长度限制在一个较短的范围内，让模型只写它目前还能写好的那部分。随着训练的进行，模型的能力逐渐恢复，循环废话越来越少，再逐步放开长度限制，允许模型挑战更长的生成任务。

但具体如何判断“现在应该写多长”呢？研究团队设计了一套自动化的检测和控制系统，完全不需要人工介入。

这套系统会持续监测三个信号。第一个是“循环重复率”：每批次生成的内容中，有多少比例陷入了终止性的循环重复？第二个是“截断率”：那些没有陷入循环的生成内容中，有多少在达到当前最大长度限制时还没写完？第三个是“有效长度”：每次生成的内容中，真正有用的部分（不含循环废话尾巴）平均有多长？

控制逻辑遵循两个规则：当循环率高时，将最大生成长度缩短，缩短到大约“当前有效长度的1.15倍”这个范围；当循环率低，且同时有大量内容在达到长度上限时还没写完（说明模型已经准备好挑战更长的内容了），则将最大生成长度提高25%。为了避免每批次的随机波动导致系统反复调整，所有统计数据都经过指数移动平均来平滑处理，长度变化本身也经过平滑处理，避免突然剧烈变化。

这套系统的妙处在于：它不需要任何额外的计算——所有用于判断的数据，都是在正常训练过程中已经产生的，无需额外运行模型。

八、实验结果：数字说话

实验在数学、代码和开放式问答三个完全不同的领域同时进行，使用了超过45000个训练样本。受损模型在25%参数被剪掉后的综合评分约为5.7分。经过一轮ShortOPD训练后，综合评分达到约48.5分，恢复到原始完整模型75.2分的64.5%。

在计算效率上，对比最直接的传统固定长度训练方式，ShortOPD节省了约71%的词元生成量，训练时间从35.9小时缩短到8.5小时，却只损失了不到2分的最终效果（48.5分对比50.2分，或49.6分）。换句话说，用约四分之一的训练时间，达到了接近完整训练的效果。

研究团队还测试了扩展训练轮次的效果：训练一轮综合评分为48.5分，两轮为53.5分，三轮达到55.4分，已经恢复到原始模型的73.7%。这说明随着更多训练，效果还能继续提升。

关于“稀疏奖励”方法（即只在整篇答案对了之后才给奖励的强化学习方式）的对比也很有说服力：同样只用数学题训练，使用强化学习的两种变体（PPO和GRPO）几乎没能改善受损模型（准确率分别提升0.23和1.59个百分点），而ShortOPD在同样的数学题上训练后准确率提升了约37个百分点。背后的原因很直接：受损模型很少能自己写出正确答案，所以几乎没有“正确答案”可以被奖励——奖励信号太稀疏，根本没有足够的信息来引导学习。

九、训练数据的覆盖范围也至关重要

研究团队还做了一组非常有启发性的消融实验：如果训练数据只覆盖部分领域，会怎样？

当训练数据去掉所有数学题时，模型在数学上的恢复几乎为零（GSM8K准确率只有8%，而完整数据集训练能达到62.7%）。当训练数据去掉所有代码题时，代码执行成功率暴跌到接近0（HumanEval只有0.61%，MBPP只有2.33%）。这说明，模型的写作能力必须在特定类型的任务上练习，才能在那类任务上得到恢复——没有数学题，就不会恢复数学写作能力；没有代码题，代码生成能力就无从修复。

换句话说，训练数据的覆盖范围，绝不是一个技术细节，而是整个恢复方案的核心决策。如果你希望恢复某个领域的能力，就必须确保训练数据覆盖了那个领域的提示词。

十、一个有趣的发现：选择题和作文题的恢复互不相保

研究团队还附带测试了恢复后的模型在多项选择题上的表现。结果揭示了一个值得深思的现象：ShortOPD主要提升了生成写作能力，但在多项选择题上的准确率（67.6分）低于那些专门针对选择题优化的传统方法（SFT约74.9分，KD约74.4分）。

这倒也不意外——选择题考查的是在给定选项中打分排序的能力，而这恰好是传统方法（让模型学习外部写好的固定文本序列）擅长的事情。ShortOPD让模型在自己写作时更像原始模型，但这不等于让模型在看别人写的文字时也更像原始模型。

研究人员随后尝试了一种“组合拳”：先用传统SFT方法做一轮基础训练，再用ShortOPD做第二轮训练。结果显示，这种组合方式在选择题（76.8分）和写作生成两个方向上都达到了接近原始完整模型的水平，说明两种方法是互补而非对立的。

说到底，这项研究解决的是一个长期被忽视的实用问题：AI模型压缩后的“写作能力崩溃”。过去大家只看选择题成绩，觉得压缩没问题，但真正部署时才发现模型已经不会好好写文章了。这项工作清晰地指出了问题所在，并提供了一套实验验证有效的解决方案——在模型自己的写作过程中实时纠正，并智能地管理训练初期的无效循环内容。

当然，研究团队也坦率地指出了工作的局限性：目前的实验主要集中在一种特定的剪枝方法和一个特定的模型系列上，25%的参数减少量是这个方案有效的“临界点”，压缩超过这个比例，模型会进入更混乱的“胡言乱语”状态，这套方法是否依然有效还需要进一步验证。更大的模型、更多的剪枝方式，以及“到底压缩到什么程度就彻底没救了”这个边界问题，都留给了未来的研究。

对于普通人而言，这项研究意味着：未来你在手机、电脑或各类AI助手上用到的大语言模型，可能是经过了更充分剪枝压缩、运行更省电更快速的版本，但你与它对话时感受到的写作质量，并不会因此大打折扣。

Q&A

Q1：结构化剪枝为什么会导致大语言模型写作能力崩溃？

A：结构化剪枝是指移除模型中完整Transformer层这类操作。写作要求模型在生成每个词时做出正确的概率选择，并沿着自己的选择继续生成，这是一个链式过程，任何一步出错都会累积放大。剪枝后，模型在这种链式生成时频繁选错方向，最终陷入循环重复，而选择题只需在给定选项里打分，受影响小得多。

Q2：ShortOPD训练时为什么要动态调整生成长度？

A：因为训练初期受损模型生成的内容大部分是无意义的循环废话，而处理这些废话既耗费计算资源，又几乎不能提供有效的学习信号（老师和学生在“循环是对的”这件事上高度一致，没有纠正空间）。动态缩短生成长度，让模型只写它目前能写好的部分，然后随着能力恢复再逐步放开长度，能把有限的训练资源集中在真正有价值的内容上。

Q3：为什么强化学习方法对受损模型几乎没有效果？

A：强化学习依赖“正确答案”才能给出奖励信号。但受损模型本身很少能自己写出正确答案，正确答案出现的概率极低，可供奖励的机会极少，学习信号极度稀疏，模型几乎得不到任何有意义的反馈。相比之下，ShortOPD在每一个词上都给出老师的参考分布，无论答案最终是否正确，每个词都有学习信号。