豆包大模型1.5 Pro正式发布

今天，豆包全新基础模型 Doubao-1.5-pro 正式发布了。先说几个核心点：模型能力全面升级，多模态能力进一步融合提升，而且在架构和数据构建上都拿出了些不一样的东西。

这个模型呢，用了 MoE 架构，并通过训练-推理一体化设计，在模型性能和推理性能之间找到了一个很巧妙的平衡点。最亮眼的一点是：Doubao-1.5-pro 只用比较少的激活参数，就能比肩那些超大稠密预训练模型，在多个评测基准上成绩都很亮眼。而且，通过模型结构和训练算法的优化，他们把 MoE 模型的性能杠杆拉到了 7 倍——要知道，业界的普遍水平还不到 3 倍。

另外，团队还构建了一套高度自主的数据生产体系，坚持不走捷径，完全不用任何其他模型的数据，确保数据来源的独立性和可靠性。

这篇文章会详细拆解模型的性能评估和技术亮点，包括：

• 怎么用较小参数激活的 MoE 模型，达到世界一流性能

• 如何在保持模型性能的同时，把推理成本压缩到极致

• 怎么搭建高度自主的数据生产体系

• 多模态能力的提升和具体表现

完整版 Blog 可以在豆包大模型团队官网看到。目前，Doubao-1.5-pro 已经在豆包 APP 灰度上线，开发者也可以在火山引擎直接调用 API。

综合能力领先，多基准表现优异

这次更新后，Doubao-1.5-pro 的基础模型能力是全面升级的，在多个公开评测基准上表现都挺稳。

Doubao-1.5-pro 在多个基准上的评测结果

• 其它模型的评测指标来自官方结果，官方结果中不含的部分来自内部评测平台

• GPT4o-0806 在语言模型公开评测中显著优于 GPT4o 其他版本

高效 MoE 模型结构，性能杠杆提升至 7 倍

从训练和推理效率出发，Doubao-1.5-pro 直接用了稀疏 MoE 架构。在预训练阶段，只用较小的激活参数，性能就已经超过了 Llama-3.1-405B 这类超大稠密模型。团队对稀疏度 Scaling Law 做了深入研究，确定了性能和效率之间的平衡比例，并基于 MoE Scaling Law 确认了：小参数量激活的模型，完全有能力达到世界一流模型的性能。

训练 loss 图

MoE 模型的性能，通常可以用一个比值来衡量：即性能表现相同的稠密模型的总参数量与 MoE 模型的激活参数量的比值。简单举个例子——IBM 的 Granite 系列模型里，800M 激活参数的 MoE 模型，性能可以接近 2B 总参数的稠密模型，这个比值差不多是 2.5 倍（2000M/800M）。而业界的普遍水平，之前一直在不到 3 倍的区间徘徊。

但这一次，团队通过模型结构和训练算法的优化，在完全相同的 9T tokens 训练数据下，用激活参数仅为稠密模型 1/7 的 MoE 模型，直接超过了稠密模型的性能，把性能杠杆硬生生拉到了 7 倍。

Performance 对比图

• Doubao-Dense、Doubao-MoE 均为 9T tokens 数据的阶段性结果，数据分布完全一致；MoE 模型的性能略优于整体参数量为 MoE 激活参数量 7 倍的稠密模型

• Llama3.1-405B 是 15T tokens 的最终结果，数据分布和 Doubao 模型不同；Doubao 稠密模型的参数量也远小于 Llama3.1-405B ，从结果上看，Doubao 预训练的数据质量和训练超参明显更优

• MoE 模型完整训练后的性能，比 9T tokens 的中间版本还有更大提升

在预训练模型的基础上，算法团队还设计了一系列模型参数动态调整算法。可以根据具体应用对模型性能的需求，从深度、宽度、MoE 专家数、激活专家数、隐藏 token 推理等不同维度，灵活扩增或缩小模型参数，最终达到模型能力和推理成本之间的最优平衡。另外，较小的预训练模型也提高了团队迭代效率，可以同时支持多个产品线并行推进。

高性能推理系统，10 毫秒级低延迟

Doubao-1.5-pro 是一个高度稀疏的 MoE 模型，在 Prefill/Decode 与 Attention/FFN 构成的四个计算象限中，表现出截然不同的计算与访存特征。针对这四个象限，团队采用异构硬件加多种低精度优化策略，在确保低延迟的同时大幅提升吞吐量，整体上兼顾了 TTFT 和 TPOT 的最优化目标。

不同阶段的计算与访存特征

Prefill 阶段，通信和访存不是瓶颈，但计算很容易成为瓶颈。考虑到 LLM 的单向注意力特点，团队在多种计算访存比较高的设备上做了 Chunk-PP Prefill Serving，让线上系统的 Tensor Core 利用率接近 60%。

Decode 阶段，整体计算不算瓶颈，但对通信和访存要求很高。所以他们用了计算访存比较低的设备来 Serving，以换取更高的 ROI，同时配合 Speculative Decoding 策略，进一步降低了 TPOT 指标。

整体来看，在 PD 分离的 Serving 系统上，实现了以下几个优化：

• 针对 Tensor 传输定制了 RPC Backend，通过零拷贝、多流并行等手段优化了 TCP/RDMA 网络上的 Tensor 传输效率，提升了 PD 分离下的 KV Cache 传输效率。
• 支持 Prefill 和 Decode 集群的灵活配比与动态扩缩，对每种角色独立做 HPA 弹性扩容，确保两边都没有冗余算力，算力配比贴合线上实际流量模式。
• 在框架层将 GPU 计算和 CPU 前后处理异步化，GPU 推理第 N 步时，CPU 可以提前发射第 N+1 步的 Kernel，让 GPU 始终处于满载状态，框架整体对 GPU 推理零开销。

另外，凭借自研的服务器集群方案，可以灵活支持低成本芯片，硬件成本比行业方案大幅度降低。定制化网卡和自研的网络协议，显著优化了小包通信的效率。在算子层面，实现了计算与通信的高效重叠（Overlap），保证了多机分布式推理的稳定性和高效性。

扎实数据标注，坚持不走捷径

Post-Training 阶段，团队构建了一套高度自主的数据生产体系。通过高效标注团队与模型自提升的闭环，持续优化数据质量，严格遵循内部标准，坚持不走捷径，完全不用任何其他模型的数据，确保数据来源的独立性和可靠性。

在 SFT 阶段，开发了一套算法驱动的训练数据优化系统，包括训练数据多样性优化和精确人题匹配，同时结合模型自演进（Self-evolve）技术，提升了数据标注的多样性和难度，形成了模型性能提升的良性循环。

在 Reward Model 层面，建立了包含 prompt 分布优化、response 筛选、多轮迭代和 active learning 的完整数据生产 pipeline。在此基础上，实现了 Verifier 和 Reward Model 的深度融合，构建了统一的 Reward 框架，让模型在数学、编程、知识、对话等多维度能力上均衡提升。

在 RL 阶段，攻克了价值函数训练难点，实现了 token-wise 稳定建模，在高难度任务上的性能提升超过 10 个绝对点。通过对比学习方法，有效提升了 LLM 的表现，同时显著缓解了 reward hacking 问题。总的来说，在数据、算法、模型层面全面实现了 Scaling，完成了从算力到智力的有效转换。

另外，依托字节在推荐、搜索和广告领域的 AB Test 积累，团队研发了基于用户反馈的高效 Post-Training 全流程。基于豆包的大规模用户反馈，构建了从问题发现、数据挖掘、人机结合标注到快速迭代的闭环优化系统，通过用户数据飞轮持续提升模型的实际使用体验。

融合视觉及语音，全模态能力加强

Doubao-1.5-pro 在同一模型中融合并提升了视觉、语音等多模态能力，给用户带来更自然、更丰富的交互体验。

视觉多模态：性能进一步提升，能应对的场景更复杂

相比此前发布的 Doubao 视觉理解模型，Doubao-1.5-pro 在多模态数据合成、动态分辨率、多模态对齐、混合训练等方面做了全面技术升级。视觉推理、文字文档识别、细粒度信息理解、指令遵循能力都进一步增强，回复模式也更精简、友好。

Doubao-1.5-pro 能读懂不同分辨率和不同长宽比的图片，支持百万级分辨率，识别内容更清晰。视觉推理能力表现出色，在各类 Benchmark 上都取得了很好成绩：

Doubao-1.5-pro 在多个视觉基准上的评测结果

• 在评测中，GPT4o-1120 在多模态能力上优于 GPT4o-0806

高效的原生动态分辨率训练：Doubao-1.5-pro 采用原生动态分辨率架构设计，支持任意分辨率的图像输入。不管是大图、小图还是极端长宽比的图，模型都能精准提取特征并高效计算。比如视频中的超长漫画图，Doubao-1.5-pro 依然能精准识别并总结内容。

领先的复杂指令遵循能力：通过系统性的原子能力拆解和多维度指令的逻辑组合，在后训练阶段引入了多样化的视觉指令数据，让模型能从容应对指令更复杂的场景。

多样化的数据合成管线：除了利用搜索引擎的海量图文对和图文交织数据，Doubao-1.5-pro 还采用了基于渲染引擎、传统 CV 模型、模型自迭代等合成方式，获得高质量的多模态预训练数据。

文本与视觉混合的多模态能力：为了同时保障视觉和语言能力，团队在 VLM 多个训练阶段混入了一定比例的纯文本数据，并通过动态调整学习率来平衡视觉与语言能力，确保语言能力无损。

语音多模态：理解生成一体化，情商智商在线

在语音多模态方面，团队提出了全新的 Speech2Speech 端到端框架。不仅通过原生方法深度融合了语音和文本模态，还实现了语音对话中真正意义上的语音理解生成端到端。相比传统的 ASR+LLM+TTS 级联方式，对话效果有了质的飞跃。

Doubao-1.5-pro 不仅理解力强（高智商），还具备高表现力、高控制力，以及模型在回复内容和语音上的高情绪承接能力。

在框架设计上，打破了语音和文本数据需要对齐的传统方法，将语音和文本 Token 直接融合，为语音多模态数据的 Scaling 提供了必要条件。

探索智能边界：Doubao 深度思考模式

推理能力是智能的重要组成部分。团队一直致力于用大规模 RL 的方法不断提升模型的推理能力，拓宽智能边界。在完全不使用其他模型数据的条件下，通过 RL 算法的突破和工程优化，充分发挥 Test Time Scaling 的算力优势，完成了 RL Scaling，最终研发了 Doubao 深度思考模式。

Doubao-1.5-pro-AS1-Preview 在 AIME 上的评测结果

目前，阶段性成果 Doubao-1.5-pro-AS1-Preview 在 AIME 上已经超过了 O1-preview、O1 等推理模型。而且随着 RL 的持续，模型能力还在不断提升。在这个过程中，也看到了推理能力在不同领域的泛化——智能的边界正在被慢慢拓宽。

推理能力的初步泛化

向智能的无限可能出发

豆包大模型团队一直把探索智能的边界、解锁通用智能的无限可能作为目标。同时，团队认为探索智能的边界与服务用户和行业是一体两面的事情，两者可以彼此增益、双向驱动。接下来，团队会继续加强在大模型基础研究上的投入，挑战更长周期的、具有碘伏性的通用智能研究课题。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：豆包大模型1.5 Pro正式发布要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题