Meta开源Llama 4首用MoE千万上下文超越DeepSeek

2025年4月6日凌晨，Meta选择在周末悄然发布其最新AI模型系列——Llama 4，这是Llama家族的一次重要迭代。此次发布包含三个版本：Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth。所有模型均经过大量未标注文本、图像和视频数据的训练，具备了广泛的视觉理解能力。

Meta GenAI负责人Ahmad Al-Dahle表示，Llama 4展示了Meta对开源AI的长期承诺，以及“开放系统将产出最好的模型”这一坚定信念。谷歌CEO皮查伊也不禁感叹：人工智能世界永远不无聊，恭喜Llama 4团队，继续前进！

在大模型竞技场（Arena）上，Llama 4 Maverick的表现相当亮眼：总排名第二，成为第四个突破1400分的大模型；在开放模型中排名第一，超越了DeepSeek；在困难提示词、编程、数学、创意写作等任务中均位列第一；相比自家Llama 3 405B，得分从1268跃升至1417；风格控制排名第五。

核心内容：

1. Meta发布Llama 4系列AI模型，包括Scout、Maverick和Behemoth三个版本
2. Llama 4在多项基准测试中表现优异，超越DeepSeek等竞品，排名竞技场第二
3. Llama 4系列模型采用MoE技术，千万token上下文能力，多模态理解能力出色

那么，Llama 4系列到底有哪些硬核特点？逐一来看。

Llama 4 Scout：拥有170亿激活参数和16个专家，是同类中全球最佳的多模态模型，比前代Llama更强大，且能适配单个NVIDIA H100 GPU。更关键的是，它提供了业界领先的1000万token上下文窗口，在多项基准测试中优于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。

Llama 4 Maverick：拥有128位专家、170亿激活参数，同样是同类中最好的多模态模型，在广泛基准测试中击败了GPT-4o和Gemini 2.0 Flash。在推理和编程方面，与新的DeepSeek v3表现相当——但它的激活参数还不到后者的一半。Llama 4 Maverick提供了一流的性价比，其聊天版本在LMArena上的ELO得分达到1417。

这两个模型之所以如此出色，很大程度上是因为它们是从一个更大的教师模型——Llama 4 Behemoth进行知识蒸馏得来的。Behemoth拥有2880亿激活参数和16个专家，其全球参数规模接近2万亿。在多项STEM基准测试中，Behemoth的表现甚至超越了GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro。不过，Behemoth目前仍在训练中，后续会有更多信息放出。

好消息是，用户现在就可以在llama.com和Hugging Face上下载Llama 4 Scout和Maverick模型。所有Llama 4模型都采用原生多模态设计——比如上传一张图像，你可以就这张图像问任何问题。Llama 4 Scout支持长达1000万token的上下文，这是当前行业最长，解锁了记忆、个性化和多模态应用的新场景。在图像定位方面，Llama 4也是一流水准，能够将用户提示与视觉概念对齐，并将模型响应精准锚定到图像中的特定区域。此外，Llama 4支持12种语言的语法理解，方便全球开发和部署。

预训练

在构建下一代Llama模型时，Meta在预训练阶段尝试了多种新方法。

首先，这是Meta首次采用混合专家（MoE）架构。在MoE模型中，单个token仅激活总参数的一部分。Meta表示，MoE架构在训练和推理时计算效率更高，在固定训练FLOPs预算下，能比密集模型提供更高的质量。

以Llama 4 Maverick为例，该模型拥有170亿激活参数和4000亿总参数。Meta采用交替的密集层和MoE层来提高推理效率。在MoE层中，他们使用了128个路由专家和一个共享专家。每个token都会被发送到共享专家和128个路由专家中的一个。因此，尽管所有参数都存储在内存中，但服务时只有一部分参数被激活——这通过降低模型服务成本和延迟来提升推理效率。

Llama 4系列模型采用原生多模态设计，通过早期融合将文本和视觉token无缝整合到统一的模型骨干中。这是一个重大进步，因为这样就能使用大量未标记的文本、图像和视频数据进行联合预训练。Meta还改进了视觉编码器，基于MetaCLIP，使其更好地适应LLM。

另外，Meta开发了新的训练技术MetaP，能够可靠地设置模型超参数，如每层的学习率和初始化规模。他们发现，选定的超参数在不同批量大小、模型宽度、深度和训练token数量之间具有良好的迁移性。Llama 4通过在200种语言上进行预训练，支持开源微调，其中超过100种语言每种都超过10亿token，总体多语言token比Llama 3多了10倍。

Meta采用FP8精度进行训练，以平衡质量并确保高FLOPs利用率。在训练Llama 4 Behemoth时，使用FP8和32K GPU，实现了每GPU 390 TFLOPs。训练所用的数据总量超过30万亿token，是Llama 3的两倍多，涵盖文本、图像和视频数据集。

最后，Meta还通过中期训练（mid-training）继续训练模型，提升核心能力，包括利用专门的数据集扩展长上下文。这使Meta在提升模型质量的同时，为Llama 4 Scout解锁了业界领先的1000万输入上下文长度。

后训练

Llama 4 Maverick在图像和文本理解方面提供了行业领先的性能，能够创建跨越语言障碍的复杂AI应用。作为通用助手和聊天用例的主力模型，它在精确图像理解和创意写作方面表现出色。

后训练的最大挑战是平衡多种输入模态、推理能力和对话能力。为了混合模态，Meta设计了一种精心策划的课程策略，与单一模态专家模型相比，不会降低性能。

在Llama 4中，Meta采用了一套全新的后训练流程：轻量级监督微调（SFT）→ 在线强化学习（RL）→ 轻量级直接偏好优化（DPO）。他们发现，SFT和DPO可能会过度约束模型，限制在线RL阶段的探索能力，导致推理、编程和数学领域的精度下降。

为解决这个问题，Meta使用Llama模型作为评判，移除了超过50%的标记为简单（easy）的数据，在剩余较难的数据集上进行了轻量级SFT。在随后的多模态在线RL阶段，通过精心选择难提示，实现了性能的显著提升。此外，他们还实施了持续在线RL策略，交替训练模型并使用它持续过滤并保留中等至高难度的提示——这种策略在计算和准确性权衡方面非常有益。

最后，Meta进行了轻量级DPO，处理与模型响应质量相关的边缘情况，有效实现了模型智能与对话能力的良好平衡。这些改进促成了一个业界领先的通用聊天模型。

性能

Llama 4 Maverick包含170亿激活参数、128个专家和4000亿总参数，相比Llama 3.3 70B，以更低价格提供了更高品质。在编码、推理、多语言、长上下文和图像基准测试中，其性能超过了类似模型如GPT-4o和Gemini 2.0，并且在编码和推理方面与规模更大的DeepSeek v3.1具有竞争力。

较小模型Llama 4 Scout是一款通用型模型，拥有170亿激活参数、16个专家和1090亿总参数，能提供同类中最先进的性能。它将支持的上下文长度从Llama 3的128K大幅提升至业界领先的1000万token，为多文档摘要、解析用户活动以实现个性化、推理庞大代码库等应用提供了更多可能。Llama 4 Scout在预训练和后训练中均使用256K上下文长度，使基础模型具备强大的长上下文泛化能力——在大海捞针检索等任务中表现令人信服。

Llama 4架构的关键创新之一是使用无位置嵌入的交错注意力层（iRoPE架构），并通过推理时的温度缩放来增强长上下文泛化能力。其中，“i”代表交错注意力层，强调支持无限上下文长度的长期目标；“RoPE”指大多数层中使用的旋转位置嵌入。

Meta对两款模型进行了广泛的图像和视频帧训练，赋予它们广泛的视觉理解能力，包括时序活动和相关图像的理解。这使得模型在多图像输入和文本提示下能轻松进行视觉推理。这些模型在预训练时支持最多48张图像，后训练支持8张图像，结果良好。Llama 4 Scout在图像定位方面表现卓越，能精准对齐用户提示与视觉概念。

将Llama推向新的尺度：2T Behemoth

Llama 4 Behemoth预览版是一个教师模型，也是一个多模态混合专家模型，拥有2880亿激活参数、16个专家和近2万亿总参数。在数学、多语言和图像基准测试中，它提供了非推理模型的最先进性能，是教授较小Llama 4模型的理想选择。

对一个两万亿参数模型进行后训练是巨大挑战，这要求从数据规模开始彻底重新设计训练方案。为了最大化性能，Meta不得不对监督微调（SFT）数据进行95%的剪枝（较小模型剪枝比例为50%），这是质量和效率之间的必要权衡。他们还发现，先进行轻量级SFT，再进行大规模强化学习（RL），能显著提升推理和编码能力。

Meta的RL方案专注于通过策略模型进行pass@k分析，采样难度较高的提示，并构建难度逐渐增加的训练课程。此外，动态过滤零优势提示，构建包含多种能力的混合提示训练批次，这些措施在数学、推理和编码方面带来了显著的性能提升。从多种系统指令中采样，对于确保模型遵循指令至关重要。

为两万亿参数模型扩展RL也是一项巨大挑战，这迫使Meta重新设计底层基础设施。他们对混合专家（MoE）并行化进行了优化以提升速度，并开发了一个完全异步的在线RL训练框架，提升了灵活性。与现有框架相比——后者为了将所有模型加载到内存而牺牲了计算内存——Meta的新基础设施能够灵活地将不同模型分配到不同GPU上，并根据计算速度平衡资源。这一创新使训练效率相比上一代提升了约10倍。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Meta开源Llama 4首用MoE千万上下文超越DeepSeek要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题