Qwen2技术报告解读：最强开源大模型实力解析

Qwen团队日前发布了Qwen2的技术报告，这是目前开源社区里相当重磅的一次更新。报告详细介绍了预训练和对齐过程中用到的各项技术，并给出了全面的评估结果。我们来深入解读一下这份报告的核心内容。

论文地址：https://arxiv.org/abs/2407.10671
代码仓库：https://github.com/QwenLM/Qwen2

摘要：Qwen2 的定位

这次发布的Qwen2系列包含了从0.5B到72B的多个参数版本，既有传统的Dense模型，也包含一个MoE（混合专家）模型。从基准测试结果来看，Qwen2不仅全面超越了包括Qwen1.5在内的前代开源模型，在语言理解、生成、多语言、代码、数学和推理等能力上，也展现出了与顶尖闭源模型一较高下的实力。特别是旗舰版的Qwen2-72B，在多项评测中表现亮眼。一个值得留意的亮点是，Qwen2在约30种语言上都有不错的表现，多语言能力非常扎实。目前模型权重已经在Hugging Face和ModelScope上开源，示例代码也可以在Github上找到。

引言：开源大模型的新格局

ChatGPT点燃了全球大模型的热情，而Llama系列的发布则让这股火在开源社区越烧越旺。如今，Claude-3 Opus和GPT-4o在Chatbot Arena上轮流坐庄，Llama-3也凭借接近GPT-4的水平稳坐开源模型的头把交椅。在这种竞争格局下，越来越多的团队选择开源，Qwen、Mistral、Gemma等都是其中的代表。

Qwen团队在成功推出Qwen系列并进化为Qwen1.5后，又陆续发布了视觉语言模型Qwen-VL和音频语言模型Qwen-Audio。这篇技术报告的主角，就是最新的Qwen2系列。

所有Qwen2模型都基于Transformer架构，采用经典的next-token prediction方式进行预训练。具体来说，包含了4个Dense模型（0.5B、1.5B、7B、72B）和1个57B的MoE模型（每个token激活14B参数）。所有模型都在一个超过7万亿tokens的高质量、大规模、多语言数据集上完成预训练。相比之前的版本，Qwen2特别增加了代码和数学数据的数量与质量，通常认为这对提升推理能力至关重要。预训练完成后，所有模型还经过了监督微调（SFT）和直接偏好优化（DPO）。

最终的评估结果很能说明问题：Qwen2-72B-Instruct在MT-Bench上拿到了9.1分，Arena-Hard为48.1，LiveCodeBench为35.7；而Qwen2-72B-Base在MMLU上得分84.2，GPQA为37.9，HumanEval为64.6，GSM8K为89.5，BBH为82.4。这些数字意味着什么？基本可以认为，Qwen2在多个维度上已经足以和市面上主流的开源及闭源模型掰手腕了。

分词器与模型架构

分词器：多语言能力的基石

Qwen2沿用了与初代Qwen相同的基于字节级别的BPE分词器。这种分词器一个很突出的优势在于编码效率极高，这也是Qwen2能丝滑处理多语言任务的关键所在。词表大小包含151643个常规tokens和3个特殊控制tokens。更详细的技术细节可以参考Qwen初代的技术报告。

模型架构：继承与创新

整体架构依然是带有causal mask的Transformer，但Qwen2在几个关键点上做了升级。

Dense模型

每个Transformer层由causal attention和前馈网络（FFN）组成。相比前代，主要的改进包括：

• 分组查询注意力（GQA）：用GQA替代了传统的多头注意力。GQA的核心价值在于优化推理时的KV缓存，能显著提升吞吐量，尤其是在处理长序列时。其技术细节可参考GQA原论文。
• 双块注意力机制（DCA）与YARN：为了拓展上下文窗口，Qwen2引入了DCA。简单说，就是把长序列切分成若干长度可控的块。如果输入能在一个块内处理完，结果和原始注意力一致；否则，DCA通过有效捕获块内和块间tokens的相对位置信息，来提升长上下文处理能力。同时，配合YARN机制重新调整注意力权重，实现了更好的长度外推。这使得模型能处理长达131072 tokens的序列，而性能损失很小。

此外，模型还采用了SwiGLU激活函数、RoPE位置编码、QKV偏置、RMSNorm层归一化和Pre-norm结构，这些都是当前高性能语言模型的标准配置。

MoE模型

Qwen2 MoE的架构与先前的Qwen1.5-MoE-A2.7B非常相似。它的MoE前馈网络由多个独立的“专家”FFN组成，每个输入token经由一个门控网络计算出被分配到每个专家的概率，然后选择top-k个专家进行计算。

Qwen2 MoE有几个特别的设计考量：

• 细粒度专家（Expert Granularity）：与Mixtral 8x7B那种“一个专家就是一个大FFN”的粗粒度方式不同，Qwen2 MoE采用了更小的专家单元，同时激活更多数量的专家。在专家总参数量和激活参数量相同的情况下，细粒度专家能提供更丰富的组合，促进更动态、更多样的专家使用，从而提升性能和适应性。
• 专家路由（Expert Routing）：路由机制的设计对MoE模型至关重要。Qwen2 MoE在MoE层内整合了共享专家和路由专属专家。共享专家负责处理跨任务的通用知识，而路由专家则专注于特定场景，这种设计让路由机制更灵活、更高效。
• 专家初始化（Expert Initialization）：采用了一种类似于“稀疏升级（upcycling）”的方法，从Dense模型的权重出发进行初始化。但Qwen2的方法更强调细粒度专家之间的多样性。具体做法是，将原始FFN层复制多次，然后沿着中间层维度对参数进行随机打乱，以确保每个细粒度专家的独特性。之后，再从这些打乱后的副本中提取出细粒度专家。值得一提的是，每个细粒度专家中还有50%的参数会被重新随机初始化，这为模型在训练中引入了额外的探索能力。

模型配置

最终发布了5个不同规模的模型：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B（MoE模型，从7B升级而来）和Qwen2-72B。一个值得注意的变化是，与Qwen1.5相比，Qwen2每个token的KV（键值）缓存大小显著降低，这意味着在长上下文推理时，内存占用更小，优势非常明显。

预训练：质量与规模的权衡

预训练数据：从3万亿到7万亿

Qwen2的核心在于构建了一个全新的大规模、高质量多语言数据集。相比前代，重点在几个方面做了改进：

• 质量提升：改进了数据过滤算法，包括采用启发式规则和基于模型的方法（比如用Qwen模型自身来过滤低质量数据），甚至还用这些模型来合成高质量的训练数据。
• 数据扩展：大幅增加了高质量代码、数学和多语言数据的规模。新数据集支持约30种语言，如英语、中文、西班牙语、法语、德语等，覆盖范围相当广。
• 分布优化：通过小模型的实验，精细调整了不同来源和领域数据的混合比例，以确保模型学习到的数据分布更接近人类自然语言。

基于这些优化，预训练数据量从Qwen1.5的3万亿tokens增加到了7万亿tokens。有意思的是，团队还尝试了12万亿tokens的数据集，但用小模型（0.5B）测试后发现，性能并没有比7万亿版本有显著提升。这似乎印证了一个经验：数据量堆到一定程度后，边际效益会递减，高质量数据比单纯的数量更重要。因此，从成本和收益权衡，最终选择用7万亿tokens的高质量数据来训练所有更大的Dense模型（0.5B模型除外，它用了12万亿tokens）。MoE模型则基于Dense模型权重，额外经过了4.5万亿tokens的预训练。与之前类似，高质量的、多任务的指令数据也被整合进了预训练阶段，以提高模型的上下文学习和指令遵循能力。

长上下文训练

为了增强长上下文处理能力，Qwen2在预训练末期将上下文长度从4096 tokens一举扩展到32768 tokens。这个扩展过程不仅仅是切换一个参数，还引入了大量高质量的长文本数据，并将RoPE的基频从10000修改为1000000，专门优化长上下文场景下的性能。更重要的是，前面提到的YARN和DCA机制在这里发挥了关键作用，让模型在处理长达131072 tokens的序列时，依然能保持较高性能。

后训练：向可扩展的对齐方式演进

预训练只是第一步，后训练（Post-Training）才是让模型变得“有用”且“安全”的关键。Qwen2在后训练阶段特别注重提升代码、数学、逻辑推理、指令遵循、多语言理解等能力，同时确保模型输出对齐人类价值观，做到有用、诚实、无害。

与传统方法严重依赖大量人工标注不同，Qwen2试图探索一条更可扩展的对齐路径。核心思路是：在提升数据质量和可靠性的同时，尽量减少对人类标注的依赖。

后训练数据

数据主要由两部分构成：演示数据（用于SFT）和偏好数据（用于RLHF）。其构建过程分为两步：协作式数据标注和自动化数据合成。

• 协作式数据标注：首先，从大规模指令语料库中自动提取底层“本体”（Ontology），即对指令进行细粒度分类。然后，根据标签多样性、语义丰富度、复杂性和意图完整性等标准，筛选出最具代表性的指令。接着，通过“自我进化”策略，让Qwen模型为现有指令增加约束或要求，以提升复杂度。最后，由人工标注员对多个模型生成的响应进行排序，选出最佳的，从而得到演示数据和偏好数据。
• 自动化数据合成：针对那些需要专业知识、耐心或经验的标注任务（比如数学、代码、文学创作），人工标注成本高且质量不稳定。为此，Qwen2设计了多种自动化对齐策略。
  • 拒绝采样：对于有明确答案的任务（如数学），让模型为每个指令生成多条推理路径，只保留能得出正确答案且被模型自身认可的路径作为演示数据，并通过对比正确与错误的路径来生成偏好数据。
  • 执行反馈：对于代码任务，让模型同时生成解决方案和测试用例，通过实际编译和执行来验证代码的有效性，从而获取高质量的数据。这个方法同样可用于评估指令遵循能力，即让模型生成Python验证函数，检查响应是否满足指令中的约束。
  • 数据复用：对于文学写作等创意类任务，从公开领域收集高质量作品，然后让模型根据这些作品生成各种指令，完成“指令-作品”对的配对，作为演示数据。同样，从知识库获取角色简介，让模型生成角色扮演的指令和响应，效果也非常好。
  • 宪法反馈：借鉴Constitutional AI的思想，预先编制一套关于安全和价值观的“宪法”数据集，指导模型生成符合或偏离这些准则的响应，从而获得大量的演示和偏好数据。

监督微调（SFT）

收集了一个包含超过50万条数据的SFT数据集，覆盖指令遵循、代码、数学、逻辑推理、角色扮演、多语言、安全等多个领域。模型在32768 tokens的序列长度上微调2个epoch，学习率从7×10⁻⁶逐渐降低到7×10⁻⁷。为了防止过拟合，还应用了0.1的权重衰减和梯度裁剪（上限为1.0）。

基于人类反馈的强化学习（RLHF）

RLHF训练分为两个阶段：离线训练和在线训练。离线阶段，使用预先准备好的偏好数据集进行DPO（直接偏好优化）训练。在线阶段，模型则利用一个奖励模型进行迭代式提升：当前策略模型为每个指令生成多个响应，由奖励模型选出最好的和最差的，组成偏好对用于下一轮DPO训练。同时，采用在线合并优化器来缓解“对齐税”问题——即模型在与人类对齐过程中可能出现的性能下降。

评估：全面而深入

为了全面评估Qwen2，团队设计了一套严格的评估协议，涵盖知识理解、语言理解与生成、代码、数学、推理等各个维度。对于基座模型，主要采用少样本提示的方式进行评估；对于指令微调模型，除了基准测试，还特别注重人类偏好评估。

基座模型

报告展示了72B和7B模型在核心能力上的表现，更详细的结果可以参考原始论文。

指令微调模型

评估同样分为多个维度：开放基准测试、内部自动评估、长上下文能力、多语言能力以及安全与责任。

结语

Qwen2是一套功能强大的语言模型系列，从0.5B到72B，涵盖了Dense和MoE等多种架构。它在广泛的基准测试中全面超越了之前的开源模型，并在多个能力维度上展现出了与顶尖闭源模型竞争的实力。这次更新特别聚焦于长上下文、多语言、代码、数学以及安全与责任这几个关键方向。Qwen2模型权重现已全部开源，这无疑将极大地推动AI技术的进步和在社区中的应用。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Qwen2技术报告解读：最强开源大模型实力解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题