京东开源JoyAI-Echo框架跻身全球第一梯队，攻克长视频生成三大难题

6月3日消息，京东正式开源了一款名为JoyAI-Echo的长音视频生成框架。该框架瞄准了行业中长期存在的三大技术难题：角色形象容易崩坏、声音特征前后不一致、生成速度缓慢如同蜗牛爬行，这些问题一直困扰着长视频内容创作者。

目前，JoyAI-Echo的代码与权重已全面公开，项目主页及GitHub仓库均已上线，开发者和内容创作者可随时上手体验，甚至进行二次开发。京东方面表示，这一举措标志着他们在长视频生成领域迈出了关键性一步，直接跻身全球第一梯队行列。

在具体技术层面，JoyAI-Echo内置了一个跨模态音视频记忆库。这个记忆库的作用在于：在多镜头生成过程中，它能够持续保存角色的外观特征以及说话人的音色信息，从而确保前后镜头的一致性。实测结果颇具说服力：在长达5分钟的视频中，角色身份、视觉形象与声音音色均能保持高度统一，彻底避免了“同一个人演着演着突然变成另一个人”的诡异场景出现。

与此同时，京东还提出了一套记忆驱动后训练流程，结合了SFT（监督微调）、跨模态RLHF（基于人类反馈的强化学习）以及DMD（分布匹配蒸馏）技术。这一套技术组合，既提升了生成质量，也实现了推理加速。仅DMD一项，便可带来约7.5倍的速度提升——长视频生成的效率因此被大幅拉高。

更为贴心的是，JoyAI-Echo还集成了一位智能“导演助理”——Director Agent。用户只需用自然语言描述需求，它便能自动完成剧本、角色、场景及镜头的拆分，省去了大量前期规划工作。此外，如果生成结果中某个局部镜头不满意，用户可以直接通过对话提出修改，系统仅重新生成有问题的部分，无需整条视频从头开始。

为了满足专业内容生产的需求，JoyAI-Echo还配备了实时超分模块，支持两档分辨率提升：736×1280升级到1152×1920，以及736×1280升级到1472×2560。通过单步超分技术，该框架能够生成高分辨率视频与精细化音频，即便在流式延迟约束下，画面和声音依然保持稳定清晰的高画质表现。

在评测方面，研究团队专门构建了一个基于100个故事、3000个镜头的长音视频生成评测集，对JoyAI-Echo进行了多维度测试。结果相当亮眼：在跨镜头一致性、视频质量、文本一致性以及语音内容准确率等核心指标上，均取得了领先地位。尤其值得关注的是，语音内容准确率达到了0.8646，领先行业其他同类模型一个身位。

配图由AI生成