小米开源OmniVoice语音克隆模型 支持600多种语言TTS

语音合成技术领域迎来重要突破。小米AI实验室新一代Kaldi团队正式发布OmniVoice，这是一个支持数百种语言的语音克隆TTS模型。该模型不仅在中英文场景下达到业界领先水平，其多语言合成能力据称已超越部分商用解决方案。

这一模型的核心优势何在？其最显著的创新在于极简的架构设计。OmniVoice摒弃了传统语音合成系统中复杂的模块堆叠，仅采用单一的双向Transformer网络，实现了从文本到语音的端到端直接转换。无需独立的文本前端、复杂的混合模型或多层级的token预测流程。这种化繁为简的设计理念，使其成为当前结构最简洁的非自回归TTS模型之一。

架构简洁并未牺牲性能。官方评测显示，OmniVoice在语音自然度方面优于当前主流同类模型。同时，其在效率上的表现更为突出：仅需一天即可完成10万小时数据的训练，基于PyTorch的推理速度可达实时音频的40倍。这种高效的训练与推理能力，为其大规模实际应用部署奠定了坚实基础。

两项核心技术：实现高效与清晰合成的关键

模型卓越性能的背后，依托于两项关键技术创新。首先是“全码本随机掩蔽策略”。该策略显著提升了模型训练效率，而训练效率的优化又进一步增强了模型的整体泛化能力与合成质量。

其次，是创新性地引入大语言模型作为预训练参数。这是非自回归TTS模型中首次成功融合大语言模型技术，其直接效益是大幅提升了合成语音的清晰度与可懂度，有效改善了传统语音合成中发音含糊、字词错误等长期存在的难题。

多语言支持：从广泛语种到低资源语言覆盖

OmniVoice的雄心体现在其对多语言，特别是低资源语种的广泛支持上。在涵盖24种语言的综合评估中，其语音相似度与可懂度均超过多款对比的商用系统。当测试范围扩展至102种语言时，其语音可懂度表现已接近甚至优于真实人声录音。

尤为值得注意的是，对于训练数据不足10小时的稀缺语种，OmniVoice仍能生成高质量的合成语音。这极大地降低了为小众语言开发语音服务的资源门槛，推动了语音AI技术的普惠化应用。

超越克隆：增强实用性的功能扩展

除核心的语音克隆与合成功能外，OmniVoice还集成了一系列提升实用价值的扩展特性：

自定义音色设计：用户无需提供参考音频，仅通过文本描述音色特征（例如“明亮的青年男声”或“温柔的成熟女声”），即可生成目标音色，并支持生成耳语等特殊发声风格。

带噪音频鲁棒性处理：针对现实场景中参考音频质量不一的问题，模型具备背景噪声抑制能力，可有效提取纯净的音色特征。这意味着即使在嘈杂环境中用手机录制的音频，也能用于生成高质量的克隆语音。

丰富的语气与情感表达：合成语音告别单调。通过在输入文本中插入特定控制符号，模型可让语音携带笑声、叹息、疑问语气等情感色彩，使合成语音更具表现力与自然交流感。

发音精准控制：针对中英文常见的多音字、专业名词及外来词误读问题，用户可通过简易的发音词典进行干预与纠正，从而确保合成语音的发音准确性与专业性。

总体而言，OmniVoice的发布不仅彰显了小米在语音人工智能领域的技术实力，其聚焦“极简架构”、“高效训练”与“广泛语种兼容”的技术路线，也为语音合成技术的未来发展提供了新的思路。如何将实验室的前沿性能，转化为稳定、易用且可感知的用户端产品体验，将是下一阶段值得关注的重点方向。