SentiAvatar 开源国产 3D 数字人框架 实现文本驱动动作生成

近日，国内3D数字人技术领域迎来一项重要的开源突破。SentiPulse（思维光谱）联合中国人民大学高瓴人工智能学院博士生团队，正式发布了全新的交互式3D数字人框架——SentiA vatar。此次开源内容还包括配套的高精度3D数字人角色模型SUSU，以及一个高质量的中文多模态对话动作数据集SuSuInterActs。这一系列发布，旨在系统性解决当前3D数字人交互中普遍存在的动作与语义脱节、面部表情僵硬、语音与动作节奏错位等核心技术瓶颈。

许多用户都曾有过类似体验：面对一个外观高度仿真的数字人，一旦其开始对话或行动，不协调的肢体动作与空洞的面部表情会立刻带来疏离感，甚至引发“恐怖谷”效应。究其根源，主要在于高质量、符合中文对话习惯的全身动作数据严重稀缺；面对复杂的复合语义指令时，生成的动作容易产生偏差；加之语音韵律与动作节奏难以同步，最终导致整体交互体验不佳。

那么，SentiA vatar框架是如何针对这些痛点进行创新的呢？其核心在于构建了坚实的数据基础与创新的技术架构。

技术突破：从数据到架构的全面革新

首先，研究团队利用专业光学动作捕捉设备，构建了名为SuSuInterActs的高质量数据集。该数据集涵盖了2.1万段精标注对话片段，总时长高达37小时。其核心价值在于填补了中文语境下，面向3D数字人的高质量、多模态动作数据空白，为模型训练提供了至关重要的“母语”级素材。

其次，基于大规模数据，团队自主研发了新一代动作生成基础模型。该模型在超过20万条异构动作序列上进行了深度训练，显著增强了对复杂、隐含语义的理解与动作映射能力，使得数字人能够更精准地理解意图并做出合理反馈。

最后，框架采用了创新的“规划-填充”两阶段生成架构。该设计将高层语义规划与细节韵律驱动解耦：先根据对话内容规划整体动作意图与节奏框架，再依据语音的细微韵律特征进行具体动作的填充与微调。这种机制确保了动作与语音之间实现精准、自然的对齐与同步，而非简单拼接。

效果与前景：性能达到业界领先水平

根据已公布的评测结果，在SuSuInterActs数据集及国际通用的BEATv2基准测试中，SentiA vatar框架生成的动作质量均达到了当前最优水平，其综合表现超越了全球主流的文本生成3D动作模型。这表明，该框架在动作自然流畅度、语义契合度以及音画同步精度方面，已具备显著的竞争优势。

目前，SentiA vatar交互式3D数字人框架已在GitHub平台全面开源。其应用场景广泛，不仅可应用于虚拟偶像、情感陪伴社交等领域，更能深度赋能游戏NPC交互、影视动画预演、智能虚拟主播以及服务型机器人等前沿方向，为构建更具生命力、表现力的数字人交互体验提供强大的底层技术支撑。