字节跳动开源多模态AI模型Lance：轻量原生统一架构解析

多模态AI领域迎来重要突破。字节跳动正式开源Lance模型，这款轻量级多模态AI仅3B激活参数，却实现了真正的“原生统一”架构，能够同时处理图像与视频的理解、生成及编辑任务。这意味着单个模型即可完成文生图、图生文、视频生成、视觉问答等过去需要多个专用模型协作的复杂工作。

与当前主流的“拼接式”方案不同，Lance采用了更彻底的统一设计思路。现有方法通常将视觉理解模块与生成模块分开训练再组合，而Lance从训练初期就将图像理解、视频理解、图像生成、视频生成及跨模态编辑五大能力整合进同一框架。其核心目标是构建一个能处理任意模态输入（文本、图像、视频），并输出文本（X2T）、图像（X2I）或视频（X2V）的通用多模态系统。

实现这一目标面临本质挑战：理解任务依赖高度抽象的高层语义特征，而生成任务则需要保留细节纹理、几何结构与时间动态等底层连续信息，二者需求存在内在矛盾。Lance的创新之处，正是通过精巧的架构设计，在一个模型中平衡并兼顾了这两种看似冲突的目标。

共享上下文与能力解耦并行的架构设计

为实现原生统一，Lance采用了“共享上下文，能力解耦并行”的架构。所有输入的文本、图像和视频首先被转换为统一的交错序列，随后送入一个双流专家架构。其中一条专家流专门处理理解任务，另一条则专注于生成任务，实现能力解耦。

具体实现上：文本标记源自Qwen2.5-VL的嵌入层；对于侧重理解的视觉输入（如图像描述、视觉问答），模型使用Qwen2.5-VL的ViT编码器提取语义化视觉标记；对于侧重生成的视觉输入（如图像/视频编辑参考），则通过Wan2.2的3D因果VAE编码为连续潜在表示，并进行了16倍空间下采样与4倍时间下采样。

在注意力机制方面，模型在完整上下文序列上应用了广义3D因果注意力。文本采用因果注意力（仅可见前文），而视觉标记采用双向注意力（可见完整视觉上下文），从而更好地建模视觉元素间的复杂关系。

解决多模态序列边界模糊的难题

当序列中混合文本、图像块、视频帧等多种标记时，模型容易混淆不同视觉内容的边界。为此，Lance引入了创新的MaPE（模态感知旋转位置编码）技术。

该技术通过为不同模态的标记组添加固定时间偏移，在保持图像空间结构与视频时序连贯性的同时，清晰界定序列中各类视觉标记的起止范围。这相当于为不同来源的数据打上独特标识，使模型能准确识别和处理混合模态信息。

四阶段高效训练与可控算力投入

复杂能力的集成依赖科学的训练策略。Lance的训练分为四个渐进阶段：

预训练阶段：使用约10亿图文对和1.4亿视频-文本对，总计约1.5万亿标记，构建多模态通用基础能力。

持续训练阶段：引入图像/视频编辑、主体驱动生成及复杂多模态理解数据，规模约3000亿标记，塑造专项任务能力。

监督微调阶段：使用720亿标记的高质量指令数据，重点提升模型遵循复杂指令的能力以及在生成任务中保持身份一致性的能力。

强化学习阶段：采用创新的“组相对策略优化”方法，结合PaddleOCR作为奖励模型，专门优化生成内容的文字渲染准确度与图文对齐质量。整个训练过程的算力预算控制在最多128张GPU内，在动辄需要数千张卡的大模型训练背景下，展现出极高的效率与实用性。

基准测试表现与性能评估

在实际评测中，Lance在“统一多模态模型”类别中表现卓越：

图像生成方面：在GenEval基准上获得0.90总分，与优秀模型TUNA并列前茅。

视频生成方面：VBench总分达到85.11，超越TUNA（84.06）、HunyuanVideo（83.43）和Wan2.1-T2V（83.69）。

图像编辑任务：GEdit-Bench得分达到7.30。

视频理解方面：MVBench得分达到62.0，显著高于7B参数量的Show-o2模型（55.7）。

测试数据表明，Lance在保持模型轻量化的同时，在多模态理解与生成的多个关键维度均达到了行业领先的竞争力。

开源信息与获取方式

Lance模型已全面开源，采用宽松的Apache 2.0许可证，模型权重已在Hugging Face平台发布。运行推理需准备Python 3.10以上环境、CUDA 12.4及以上版本，以及至少40GB显存。这为AI开发者与研究人员提供了高效、易用的轻量级多模态基础模型选择。