京东开源长视频生成框架JoyAI-Echo

京东终于放出了一个重磅消息。6月3日，京东黑板报正式对外发布了JoyAI-Echo长音视频生成框架，这款工具直击行业中最令人头疼的三大难题——角色崩坏、声音跳跃、生成速度缓慢。简单来说，过去想要生成一段几分钟的长视频，要么主角中途“变脸”，要么音色突然跑偏，还得耗费大半天时间等待结果。如今这套框架引入了“对话式编辑”功能，想要调整某个镜头？直接语音或文字告诉它就行，无需整条视频重新渲染。

这一框架的发布，让京东直接跻身长视频生成领域的全球第一梯队。别小看这个定位——能够同时兼顾一致性、速度和制作自由度，目前全球能做到的团队屈指可数。

支撑这一地位的，是四项核心技术创新，每一项都精准击中用户痛点。

第一项，跨模态音视频记忆库。框架内部构建了一个专用记忆库，在多镜头生成过程中，它能持续记住角色的外貌、穿着、声音等细节。实测数据非常直观：在长达5分钟的视频中，角色的身份、视觉形象和音色始终保持一致，彻底避免了“主角穿越”的尴尬。

第二项，记忆驱动后训练。团队研发了一套独特的训练流程，将SFT、跨模态RLHF和DMD技术串联起来。仅DMD这一项，就让生成速度提升了约7.5倍。过去是“等半天”，现在是“秒出片”，效率差距肉眼可见。

第三项，Director Agent智能导演助理。你只需用日常语言描述需求，系统就会自动拆解成剧本、角色、场景和镜头。如果觉得哪里不理想，直接告诉它“这个镜头换个角度”或者“主角表情再自然一点”，它只重新生成那个局部，整条视频不动。这才是真正的“所见即所改”。

第四项，轻量化实时超分。配套的超分模块支持两档分辨率提升：从736×1280提升至1152×1920，以及从736×1280提升至1472×2560。只需单步超分，就能输出高分辨率视频和精细化的音频，算力消耗控制得相当到位。

为了不让宣传片自己说话，研究团队专门建立了一个评测集——包含100个故事、3000个镜头。结果显示，JoyAI-Echo在跨镜头一致性、视频质量、文本一致性、语音内容准确率等所有核心指标上全面领先。尤其语音内容准确率达到了0.8646，这在长视频场景下是非常亮眼的数字。用户偏好调研中，81.7%的人认为音频质量更讨喜，80.6%的人觉得提示词遵循得更好，视觉美学和IP一致性也分别有63.6%和59.4%的偏好率，说明用户的真实感受与技术指标高度吻合。

目前，JoyAI-Echo的代码和权重已经全部开源，项目页和GitHub仓库都已上线。感兴趣的朋友可以直接上手尝试，无需等待内测资格。