字节跳动与港科大推出MMProLong模型 长文档多模态训练效率显著提升

5月24日，字节跳动Seed团队与香港科技大学联合发布了一项突破性研究，聚焦于多模态大语言模型（LMM）的长文档训练难题。该研究基于阿里巴巴开源的Qwen2.5-VL模型，构建了一个名为MMProLong的创新模型，在处理效率与长上下文理解上取得了显著进展。其核心价值在于，它不仅挑战了多模态模型训练的常规范式，更关键地揭示了数据组织方式对模型长上下文能力的决定性作用，为行业提供了全新的优化思路。

研究精准指出了当前多模态大模型训练的一个关键瓶颈：在处理包含图文的长文档时，采用针对性的问答对训练策略，其效果远优于传统的字符识别转录方法。实验数据有力地证明了这一点——简单地将文档内容转录为纯文本进行训练，不仅无法提升模型在长上下文中的信息定位与检索能力，反而可能导致性能退化。相反，如果使用由独立模型（如字节跳动的Seed2.0）生成的、富含逻辑关联的长上下文问答对进行训练，模型则能高效学会在冗长的多模态信息流中，精准锁定并理解目标段落的核心内容。

正是基于这一创新的数据优化策略，MMProLong模型在仅消耗128,000个Token的有限训练预算下，便展现出了卓越的长文本稳定性与泛化能力。即使输入上下文长度扩展至256,000甚至512,000个Token，模型性能也未出现显著衰减或崩溃。在MMLongBench和MM-NIAH（多模态大海捞针测试）等权威基准评估中，其表现大幅超越了InternVL3-38B、Gemma3-27B等参数规模更大的开源竞品。更值得关注的是，这种通过优化数据质量获得的多模态长上下文能力，还展现出优秀的任务迁移性，可成功应用于未经专门训练的长视频理解场景。该策略的有效性与普适性，也在Qwen3-VL-8B模型上得到了进一步验证。

这项研究为当前大模型技术的发展提供了另一条极具性价比的演进路径。它证明，实现多模态长上下文能力的跨越式提升，未必需要像DeepSeek等模型那样，从复杂的视觉信息压缩或模型架构重构入手。通过深度优化训练数据的结构与质量，而非直接改动底层模型架构，同样可以达到甚至超越预期的效果，且成本更为经济可控。这无疑为未来开发支持更长模态、执行更复杂多步骤推理的智能体系统，开辟了新的技术可能性与研发方向。