京东开源数字人JoyHallo 流利普通话与英语

在音频驱动的视频生成领域，制作标准普通话视频的难度显著高于英语视频。一方面，高质量、大规模的普通话数据集极难获取；另一方面，普通话独特的口型动作——尤其是声调变化与多音节组合——对模型训练提出了更为严苛的要求。为了攻克这些技术壁垒，JoyHallo 数字人应运而生。它基于京东健康国际公司员工录制的29小时普通话语音视频，构建了 jdh-Hallo 数据集，覆盖不同年龄段与说话风格的样本，内容涵盖日常对话和专业医疗主题。为了让模型真正“理解”普通话，JoyHallo 采用了中文 wa v2vec2 模型提取音频特征。更关键的是，它引入了一种半解耦结构，专门用于捕捉嘴唇、表情与姿态之间的内在关联。这种设计不仅提升了信息利用效率，还将推理速度提升了14.3%。值得注意的是，JoyHallo 在生成英语视频时依然表现优异，跨语言能力相当出众。

01 技术原理

现有的 AnimateAnyone、Hallo 等模型在英语视频生成方面已经表现强劲，但一旦涉及普通话就容易遇到瓶颈——主要原因有两个：缺乏高质量的普通话数据集，以及普通话本身复杂的唇部运动。JoyHallo 正是针对这两个痛点而设计，它采用半解耦结构大幅提升了普通话唇部动作预测的精准度。 那么，半解耦结构究竟有何独特之处？简单来说，它是一个专门为面部动画设计的模块，能够将嘴唇、表情、姿态这些关键要素既整合又分离。在传统模型中，这些特征往往纠缠在一起，面对普通话中精细的音素变化时效果自然不理想。而一些完全解耦的做法（如 Hallo），虽然把各个特征独立开来，却丢失了它们之间的隐含关联——面部特征越复杂，这种独立学习的弊端就越明显。 半解耦结构选择了一条折中路线：首先让这些特征耦合在一起，通过交叉注意力模块共同处理，充分捕捉彼此之间的相关性；然后再利用解耦模块将它们分开，使模型能够专注学习每个特征的细微差异，而不受其他特征的干扰。这个平衡点把握得恰到好处——既保留了特征间的协同关系，又确保了独立处理的精度。得益于此，JoyHallo 在普通话视频生成中，唇部同步和面部表情的真实感得到了明显提升，同时由于结构更优，推理效率也随之提高。再加上中文 wa v2vec2 这个专属的“听觉模块”，模型对普通话的理解和匹配能力直接迈上了新台阶。