通义千问开源语音模型：省下近50%的GPU算力

12月24日消息，通义百聆家族近日开源新一代语音交互模型Fun-Audio-Chat-8B。

新模型融合高智商与高情商，具备出色的共情能力，对话如同与懂你的人聊天般自然。

在OpenAudioBench、VoiceBench、UltraEval-Audio、MMAU、MMSU、SpeechFunctionCall等权威基准评测中，Fun-Audio-Chat-8B斩获SOTA成绩，超越同量级开源模型。

目前，百聆家族成员已覆盖“会说话”的语音转文字模型Fun-ASR和“听得懂”的文字转语音模型Fun-CosyVoice3。

最新开源的模型Fun-Audio-Chat-8B主打语音对语种功能，实现了“能听会说”。

用户可与模型直接进行音频对话，适用于语音聊天、情感陪伴、智能设备和语音客服等多种场景。

即使没有任何情绪标签或提示词，它也能通过语义、语气、语速、停顿、重音等细微信号，感知对方的情绪状态，并给出恰到好处的关切、安慰或鼓励式回应。

此外，用户还能尝试角色扮演，量身定制语音的情绪、说话风格、语速、高低音和音量等。

而模型之所以能保持“原有智商”，主要得益于两项创新的音频模型训练模式。

一是采用Core-Cocktail两阶段训练策略。先快速学习新本事，再将“新本事”和“老底子”融合起来。为了避免在掌握新技能时遗忘原有能力（灾难性遗忘），第一阶段训练得到的模型会与原始纯文本大模型的参数先行合并，再进行微调。

二是与人类偏好对齐。通过多阶段、多任务的后训练设计，模型能更好地理解真实对话场景中用户的语音内容与情绪线索，从而做出更自然、更符合人类期待的回应。

值得注意的是，新模型通过压缩→自回归→解压缩的双分辨率的端到端设计，将音频帧率降到业界最低的5Hz，在保证语音质量的同时节省近50% GPU计算资源。

目前，用户可在魔搭社区、Hugging Face和GitHub下载模型自行体验。