开源版GPT-4o模型正式发布 免费使用教程

ChatGPT 这类大语言模型（LLM）已经成了通用任务的利器，但纯文本交互这个短板，让它的应用场景一直受限。GPT-4o 虽然打开了语音交互的新大门，可开源社区在这方面还差得远。现在常见的做法是把 ASR（语音识别）和 TTS（语音合成）模型拼起来用，结果延迟高得让人头疼。多模态语音-语言模型倒是试图直接做语音到语音的转换来减少延迟，但这技术挑战不是一般的大。

中科院计算所和中科院大学的研究团队最近出手了，提出了一个叫 LLaMA-Omni 的架构，目标是实现低延迟、高质量的 LLM 语音交互。

论文：https://arxiv.org/pdf/2409.06666
代码：https://github.com/ictnlp/LLaMA-Omni
模型：https://huggingface.co/ICTNLP/Llama-3.1-8B-Omni
论文标题：LLaMA-Omni: Seamless Speech Interaction with Large Language Models

LLaMA-Omni 由四个部分组成：语音编码器、语音适配器、LLM 和流式语音解码器。用户的语音指令先被编码，再经过适配器喂给 LLM。有意思的是，LLM 直接从语音指令解码文本响应，不需要先把语音转录成文字。语音解码器是个非自回归（NAR）的流式 Transformer，它拿 LLM 的输出表示作为输入，用 CTC（连接时序分类）来预测跟语音响应对应的离散单元序列。

推理的时候，LLM 一边自回归地生成文本响应，语音解码器就同步生成相应的离散单元。为了更贴合语音交互的场景，团队把现有的文本指令数据改写成语音指令，还合成了语音，搞出一个叫 InstructS2S-200K 的数据集。实验结果显示，LLaMA-Omni 能同步生成高质量的文本和语音响应，延迟低到 226ms——比 GPT-4o 的平均音频响应延迟 320ms 还低一整截。

而且，跟 SpeechGPT 这类语音-语言模型比，LLaMA-Omni 训练时用的数据和算力都少得多。这就意味着，基于最新的 LLM 来开发强大的语音交互模型变得更高效、更可行了。

LLaMA-Omni 模型概览

如图 2 所示，LLaMA-Omni 的四个组件各自分工：用户的语音指令记为 X^S，文本响应记为 Y^T，语音响应记为 Y^S。

语音编码器

这里选用了 Whisper-large-v3（Radford et al., 2023）的编码器作为语音编码器 E。Whisper 本身是在海量音频数据上训练出来的通用语音识别模型，它的编码器能很好地从语音里提取有意义的表征。具体来说，给一段用户的语音指令 X^S，编码后的语音表征就是 H = ε(X^S)，其中 H = [h₁, ..., h_N] 是长度为 N 的语音表征序列。编码器的参数在整个训练过程里保持冻结。

语音适配器

为了让 LLM 能理解输入的语音，LLaMA-Omni 加入了一个可训练的语音适配器 A。它负责把语音表征映射到 LLM 的嵌入空间。适配器先对语音表征 H 做下采样，减少序列长度：每 k 个连续帧按特征维度拼接。

然后，拼接后的 H′ 经过一个带 ReLU 激活的两层感知器，得到最终的语音表征 S：

大型语言模型

LLM 这部分用了 Llama-3.1-8B-Instruct（Dubey et al., 2024），是目前开源最好的 LLM 之一，推理能力强，还对齐了人类偏好。它的 prompt 模板 P(·) 如图 3 所示。

语音表征序列 S 被填充到 prompt 里对应的位置，整个序列 P(S) 输入 LLM。然后 LLM 直接根据语音指令自回归生成文本响应 Y^T = [y^T₁, ..., y^T_M]，用交叉熵损失来训练：

语音解码器

为了跟文本响应同步生成语音响应，LLaMA-Omni 在 LLM 后面加了一个流式语音解码器 D。它由几个标准的 Transformer 层组成，架构跟 LLaMA（Dubey et al., 2024）一样，每一层都有因果自注意力模块和前馈网络。语音解码器以非自回归方式工作——把 LLM 的输出表示上采样后作为输入，然后生成对应语音响应的离散单元序列。

训练

如图 2 所示，训练分两个阶段。第一阶段先让模型能根据语音指令直接生成文本响应。具体来说，冻结语音编码器，只训练语音适配器和 LLM，用公式 (3) 的目标 L_LLM。这一阶段不碰语音解码器。第二阶段才训练模型生成语音响应。这时候，语音编码器、适配器和 LLM 全部冻结，只用公式 (5) 的目标 L_CTC 来训练语音解码器。

推理

推理过程中，LLM 根据语音指令自回归生成文本响应。同时，因为语音解码器用了因果注意力，一旦 LLM 生成了文本响应的前缀 ，对应的输出状态 就能喂给语音解码器，生成部分对齐的 ，进而产生跟已生成文本前缀对应的离散单元。

为了让语音波形也能流式合成，当生成的离散单元数量达到预定义的块大小 Ω 时，就把这个离散单元片段送给声码器合成语音片段，然后立刻播放给用户。这样用户不需要等完整文本响应生成完，就能开始听语音响应了——低延迟就是这么来的。算法 1 描述了整个过程。

语音指令数据的构建：InstructS2S-200K

要训练 LLaMA-Omni，就得有“语音指令 – 文本响应 – 语音响应”这样的三元组数据。制作语音指令数据分成三步：指令重写、响应生成、语音合成。

对于基础文本指令，团队从 Alpaca 数据集里取了大约 50K 条指令（涵盖各种主题），又从 UltraChat 数据集里取了大约 150K 条指令（主要是关于世界的问题）。UltraChat 本身是个大规模多轮对话数据集，但这里只取了前 150K 条，并且只用第一轮指令。最后一共凑出 200K 条语音指令数据，命名为 InstructS2S-200K。

实验结果

训练数据。 使用 InstructS2S-200K 数据集，共 200K 条语音指令。

模型配置。 语音编码器用 Whisper-large-v3，LLM 用 Llama-3.1-8B-Instruct。

训练。 两阶段训练：第一阶段训练语音适配器和 LLM，batch size 32，跑 3 个 epoch；第二阶段训练语音解码器，batch size 和步数跟第一阶段一样。整个训练在 4 块 NVIDIA L40 GPU 上大约需要 65 小时。

评估维度。 团队从四个方面评估模型：ChatGPT 得分、语音-文本对齐、语音质量、响应延迟。作为对比的基线系统包括 SpeechGPT、SALMONN (+TTS)、Qwen2-Audio (+TTS)。

主要结果

表 1 展示了 InstructS2S-Eval 基准上的结果。

先看 S2TIF 任务（语音指令转文本指令跟随）。从内容得分来看，LLaMA-Omni 比之前的模型提升很明显——原因很简单，它基于最新的 Llama-3.1-8B Instruct 模型，本身就继承了强大的文本指令跟随能力。

再看风格得分。SALMONN 和 Qwen2-Audio 得分较低，因为它们是语音-文本模型，输出风格跟语音交互场景不太匹配，经常输出格式化内容，附带大量冗余解释。相比之下，SpeechGPT 作为语音-语音模型，风格得分更高一些。而 LLaMA-Omni 拿到了最高的风格得分——说明在 InstructS2S-200K 数据集上训练之后，它的输出风格已经跟语音交互场景对齐得相当好。

对于 S2SIF 任务（语音指令转语音指令跟随），LLaMA-Omni 在内容和风格得分上都优于之前的模型，进一步证明它能高效、简洁地通过语音处理用户指令。

在语音和文本响应的对齐方面，LLaMA-Omni 的 ASR-WER 和 ASR-CER 得分最低。相比之下，SpeechGPT 的语音和文本对齐表现不佳——可能因为它串行生成文本和语音，天然容易错位。级联系统（SALMONN+TTS、Qwen2-Audio+TTS）的对齐也不理想，因为生成的文本响应可能包含无法合成语音的字符（比如 Qwen2-Audio 偶尔输出中文字符，直接导致语音响应出错）。LLaMA-Omni 这边，ASR-WER 和 ASR-CER 都最低，说明它同时生成文本和语音响应的策略确实有优势。

语音质量和响应延迟之间的权衡

为了搞清楚块大小 Ω 的影响，团队实验了不同 Ω 下系统的延迟、语音和文本对齐、以及语音质量。

如表 2 所示，当 Ω 设为 10 时，系统响应延迟低至 226ms，比 GPT-4o 的平均音频延迟 320ms 还低。当然，可以根据不同场景调整 Ω 值，在响应延迟和语音质量之间做取舍。

解码时间

表 3 列出了不同模型在 S2TIF 和 S2SIF 任务上的平均解码时间。LLaMA-Omni 直接给出简洁的答案，解码时间明显缩短，每条指令平均只有 1.49 秒。而且它同时输出文本和语音响应，采用非自回归架构生成离散单元，总生成时间只增加了 1.28 倍——解码速度上的优势非常明显。

案例研究

表 4 给出了一个示例，直观对比不同模型的响应差异。可以看到，Qwen2-Audio 的响应相当啰嗦，还包含换行符和括号这些没法合成语音的元素；SALMONN 的响应也有点长；SpeechGPT 的响应风格更适合语音交互，但信息量偏少。相比之下，LLaMA-Omni 的回答既简洁又详细，在语音交互场景里明显优于之前的模型。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：开源版GPT-4o模型正式发布 免费使用教程要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题