谷歌开源扩散模型每秒输出1000个Token，单卡4090可跑

今天凌晨，谷歌DeepMind丢出一枚重磅冲击波——DiffusionGemma，一个探索文本扩散技术的开放实验模型，正式亮相。这款模型基于Apache 2.0许可协议发布，是260亿参数的混合专家（MoE）架构。它最亮眼的能力是：一次性生成整段文本，在GPU上，文本生成速度最高能达到传统自回归LLM的4倍。

▲DeepMind官宣（图源：X）

DeepMind还联手英伟达，完成了全硬件栈优化。DiffusionGemma不仅能在消费级硬件上跑得动（已针对GeForce RTX 5090、4090显卡做了量化适配），在企业级设备上同样能发挥性能。

无论是搭载Hopper架构、Blackwell架构、支持NVFP4内核的设备，还是面向本地桌面部署的英伟达DGX Spark、DGX Station，以及专为AI专业人员设计的RTX PRO系列产品，都已被纳入兼容范围。

值得一提的是，该模型原生支持NVFP4技术。这项技术能在几乎不损失生成精度的前提下，大幅拉高计算吞吐量，进一步推升整体运行效率。

模型权重：
DiffusionGemma 26B 指令微调版（A4B‑it）：
https://huggingface.co/google/diffusiongemma-26B-A4B-it

框架地址：
Hugging Face Transformers：
https://github.com/huggingface/transformers

一、DiffusionGemma速度占优，生成质量不及Gemma 4

DeepMind的判断是：自回归模型的生成质量确实更高，但如果你在写东西时想要实时补全、来回修改，模型往往要重新生成整段，响应速度跟不上。不少开发实时交互式AI应用的团队，也一再被本地推理带来的延迟问题所困扰。

自回归语言模型的工作方式，就像一台老式打字机——从左到右，一个字一个字地敲出来。在云端场景中，服务器可以批量处理数千条用户请求、分摊硬件负载，所以这套模式尚可接受。

但当模型在本地为单一用户运行时，这种逐词生成的方式就会导致GPU或TPU利用率严重偏低。硬件大部分时间都在等待下一个“输入字符”，处于空闲状态。

很多研发团队都在琢磨，怎么从模型架构层面把推理速度提上去。扩散模型架构，则是被业界普遍看好的一个潜力方向。相关研究已持续多年，但要把这项技术用在大模型上，一直困难重重。

具体来说，扩散模型计算成本高，长文本生成质量难以保证。它对近距离的信息敏感，而对远距离信息容易忽略，导致对长上下文的理解存在局限。要在不牺牲质量、不烧掉太多算力的前提下，把它做大、做稳定，长期以来缺乏有效的工程方案。

DeepMind此次推出DiffusionGemma，正是为了打破这一僵局。核心思路，是重新设计模型调用硬件的方式。

DiffusionGemma依托Gemma 4系列模型的单位参数性能，结合Gemini Diffusion相关研究打造，同时搭载全新的diffusion head（扩散输出头）。它能突破传统自回归LLM逐个token串行处理的模式，最大化提升文本生成速度。

DiffusionGemma不搞逐词预测，而是一次性生成包含256个token的完整文本段落。它一次性向处理器分配更大的计算任务，让硬件算力得到充分使用。这一特性，在行内编辑、代码补全、氨基酸序列、数学图谱等非线性应用场景中，具备独特优势。

这款模型的推理模式，相当于把单台串行工作的打字机，升级为一台能一次性输出整段文本的大型印刷设备。

不止如此，该模型在推理阶段仅激活38亿参数，经过量化处理后，能流畅运行在高端消费级专用显卡18GB显存的硬件限制内。

DiffusionGemma的文本扩散技术，其原理与AI图像生成模型相似。图像模型从随机噪点出发，迭代优化最终生成清晰画面；DiffusionGemma则把这套逻辑搬到了文本生成中。

首先，DiffusionGemma会生成一组随机的占位token，作为文本生成的初始基底。接着，模型进行多轮迭代计算：先锁定已经生成的准确token内容，再把这些有效信息当作上下文依据，持续修正和优化剩余文本。

如下所示，经过层层打磨，模型生成的整体内容不断收敛优化，最终形成通顺、完整、可直接使用的文本结果。

此外，在生成文本的全过程中，该模型能同步处理整段内容，由此衍生出新的实用能力——比如精准补全复杂的Markdown格式，或是近乎实时地生成并渲染代码等。

二、能生成3D SVG图形，支持开发者微调优化

DiffusionGemma直击本地推理带来延迟问题这一痛点，但它也并非完美无缺。以下是该模型的功能特点：

首先是极速推理。DiffusionGemma将解码瓶颈从内存带宽转移至计算单元，在专用GPU上token输出速度实现显著提升。例如，在单张英伟达H100上，生成速度可达每秒1000个token以上；在GeForce RTX 5090上，也能达到每秒700个token以上。

第二点是智能自纠错。该模型会迭代优化输出内容，可一次性对整段文本进行校验，实时修正错误。

不仅如此，该模型并不局限于纯文本创作。它能理解文字语义、输出图形相关内容，可根据文字描述生成3D SVG图形。这一生成过程如下图所示，Hugging Face制作了演示样例，直观呈现了DiffusionGemma根据文字描述生成图形的全过程。

同时，开发者还可以通过微调，进一步提升DiffusionGemma在特定任务中的表现。

如下图所示，大模型高效微调开源框架Unsloth对DiffusionGemma进行数独任务微调。在数独任务中，每个token都与后续token存在关联，自回归模型处理该任务难度较大，而DiffusionGemma的双向注意力机制则能降低处理难度。

DiffusionGemma面向追求高速、本地实时交互的研究人员与开发者设计，适用于各类对速度敏感的交互式本地工作场景，例如行内编辑、内容快速迭代以及非线性文本结构生成等。

不过，DiffusionGemma主打的提速优势，主要体现在本地部署及低并发推理场景。这种“快”并不是所有场景都适用，尤其不适合高并发云端服务。

在高查询量（QPS）的云端服务场景中，自回归模型可以充分榨取计算资源，而DiffusionGemma的并行解码优势会不断弱化，甚至还可能推高服务成本。

综合来看，DiffusionGemma的吞吐性能优势，在单张加速卡、中小批次任务的场景下最为突出。换句话说，个人开发者、小团队在本地跑实验的场景，使用DiffusionGemma能最大程度发挥其性能优势。

如下图所示，由于DiffusionGemma优先兼顾生成速度与并行输出架构，单请求生成token的速度约为Gemma 4的3.65倍，但整体输出质量不及Gemma 4。对于追求极致生成质量的应用场景，DeepMind建议用户继续使用标准版Gemma 4。

结语：聚焦端侧提速需求，探索文本生成新路径

DiffusionGemma的亮相，并不是要立刻宣判自回归模型的死刑。至少在生成质量、云端高并发部署效率等方面，自回归架构依然占据主导地位。

但DiffusionGemma展示了另一种可能。在本地推理、实时交互和低并发场景下，通过改变文本生成方式，该模型能够突破传统逐token解码带来的速度限制。

随着端侧AI和本地部署需求持续增长，如何在生成质量、推理速度与硬件成本之间取得平衡，正成为大模型发展的重要方向。DiffusionGemma更像是一次针对这一问题的前沿探索，其最终价值，仍有待开发者社区和实际应用场景进一步验证。

来源：谷歌正式

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：谷歌开源扩散模型每秒输出1000个Token，单卡4090可跑要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题