字节跳动开源VeOmni框架：支持任意模态AI模型训练

8月14日，字节跳动Seed团队正式发布并开源了全新PyTorch原生训练框架——VeOmni。这款全模态训练框架的推出，标志着大模型技术正从单一文本处理向多模态融合迈出重要一步。

当前大模型技术正经历着从纯文本向图像、语音、视频等多模态融合的转型。然而，要训练一个真正具备"看、听、说"能力的全能模型，仍面临着巨大的工程挑战。

VeOmni采用创新的"以模型为中心"的分布式训练方案，其核心优势在于将复杂的分布式并行逻辑与模型计算解耦。这种设计让研究人员可以像搭积木一样，灵活地为全模态模型配置高效的并行训练方案，从而显著降低工程复杂度，提升训练效率和扩展性。据官方介绍，该框架可将原本需要数周的工程开发时间缩短至几天。

传统上，使用Megatron-LM等以系统为中心的分布式框架训练新型视觉-语言模型，往往需要耗费一周以上的工程研发时间，再加上额外的分布式优化和精度对齐周期，整个过程高度依赖基础设施团队的经验积累。而VeOmni的出现彻底改变了这一局面，研究人员仅需一天就能完成模型代码构建并启动训练任务，工程耗时缩减幅度超过90%。

实际测试数据显示，基于VeOmni框架训练的300亿参数全模态MoE模型（支持文本、语音、图片、视频的理解和生成），在128张GPU上的训练吞吐量可达到2800 tokens/sec/GPU，同时还能轻松扩展到160K的超长上下文序列处理。

目前，VeOmni的相关论文和源代码已在arXiv和GitHub平台公开发布，其中GitHub仓库已获得超过500个Star。以下是相关资源链接：

arXiv论文：https://arxiv.org/pdf/2508.02317

GitHub仓库：https://github.com/ByteDance-Seed/VeOmni

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

最新文章