Google开源高速文本扩散大语言模型DiffusionGemma
谷歌发布开源文本扩散模型DiffusionGemma，生成速度是传统大语言模型的四倍，内存占用更低，可在消费级显卡如RTX5090上运行。模型并行生成256个Token，采用混合专家架构（260亿参数仅激活38亿）及轻量数据格式，已在HuggingFace平台开源。
谷歌近日正式推出DiffusionGemma，这是一款采用文本扩散这一前沿机器学习技术构建的大语言模型。事实上，该技术路线在业界已探索多时，而谷歌率先将其成熟产品化并对外开放源代码。
据官方数据显示，DiffusionGemma的文本生成速率达到传统大语言模型的四倍，同时内存占用显著降低。这意味着它不再局限于昂贵的服务器级GPU，而是能够在消费级显卡如GeForce RTX 5090上流畅运行——这才是关键亮点。
那么，它是如何实现这一突破的？文本扩散技术，顾名思义，借鉴了AI图像生成的成熟范式。图像生成的过程通常是从一张充满噪声的图片起步，AI逐步去除噪声、分析特征、恢复像素，最终生成清晰图像。DiffusionGemma的核心思路异曲同工，只是将处理对象从像素换成了文字。
当你输入提示词后，DiffusionGemma并不会像传统模型那样逐字逐Token地输出。相反，它首先生成一组随机词语作为占位符，然后通过多轮迭代，逐步将这些占位符替换为真正符合语义的词语，每轮替换后都会进行一次质量审查，如此循环直至生成完整回复。本质上，这是一种“批量生成、逐轮精修”的策略，而非传统的逐Token线性推进。
这种差异直接反映在效率层面：传统AI模型每次只能生成一个Token，而DiffusionGemma可以一次性并行生成256个Token。这类似于流水线上单线程作业与批量生产之间的效率差距，速度提升自然十分显著。
在具体硬件性能方面，谷歌提供的数据显示：在服务器级H100 GPU上，每秒可生成超过1000个Token；在桌面级RTX 5090上，每秒也能达到700个Token以上。对于需要高频交互的应用场景，这种速度提升将带来用户体验的质变。
那么，它为何能够在消费级GPU上运行？这主要得益于混合专家架构。DiffusionGemma的总参数量高达260亿，但每次推理时仅激活其中的38亿个参数。用比喻来说，就像一家公司拥有260名员工，但每次接到任务只需调用38人执行，其余人员无需参与。这样一来，内存和计算资源的占用自然大幅降低。此外，它还采用了名为NVFP4的轻量级数据格式，进一步压缩显存消耗。
该模型基于今年4月发布的Gemma 4 26B A4B进行构建。为实现文本扩散，谷歌对其注意力机制进行了关键性调整。传统模型的注意力模块仅能参考前文内容来推断当前词语的含义，而DiffusionGemma的新型注意力模块还可以同时审阅当前词语之后的文本。换言之，它具备了“回看”能力，这使得其在理解和生成方面更贴近人类的阅读习惯。
谷歌研究科学家Brendan O'Donoghue与Sebastian Flennerhag在博客中表示：“尽管AI研究社区多年来一直在探索基于扩散的文本生成方法，但将其应用于大规模模型始终充满挑战。DiffusionGemma通过改变模型对硬件的利用方式，成功突破了这一瓶颈。”——这段论述点明了此项工作的本质：并非创造了全新的算法，而是使早已存在的思路在硬件上真正得以落地。
目前，DiffusionGemma已在Hugging Face平台以开源许可证形式发布，公众可免费获取并使用。这意味着，不仅仅是大型企业，任何拥有相应显卡的开发者都能亲自尝试这一模型。
Q&A
Q1：DiffusionGemma是什么模型，有什么特别之处？
A：DiffusionGemma是谷歌推出的一款采用文本扩散架构的大语言模型。其独特之处在于，它摒弃了传统模型每次仅生成一个Token的方式，转而一次并行生成256个Token，生成速度达到传统模型的四倍。此外，其内存占用更低，可在消费级高端显卡如RTX 5090上运行，每秒生成速度超过700个Token。
Q2：DiffusionGemma的文本扩散原理是怎么运作的？
A：简而言之，它借鉴了AI图像生成领域成熟的技术路径。接收提示词后，模型首先生成一组随机词语作为占位内容，然后逐步将这些随机词替换为有意义的答案词语，每一轮都会对已有内容进行审查并补充新词，通过反复迭代直至生成完整回复。这种方法本质上属于“先生成后精修”，与传统逐Token生成的逻辑完全不同。
Q3：DiffusionGemma采用了哪些技术来降低内存占用？
A：主要依靠两项技术：其一是混合专家架构，模型总参数量达260亿，但每次推理仅激活38亿个参数，大幅降低了活跃参数数量；其二是采用轻量级数据格式NVFP4存储信息，进一步压缩显存占用。二者协同作用，使得模型能够在消费级GPU上流畅运行。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Google开源高速文本扩散大语言模型DiffusionGemma要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点TP-LINK深圳总部要求全体员工将劳动合同转签至注册资金仅3000万元的全资子公司思码逻辑，因保障缩水风险引发员工强烈抵制。内部投票显示近九成参与员工拒绝签字。与此同时，部分员工社保状态异常，面临断缴风险，叠加此前超140人的裁员以及企业主体迁出等变动，导致内部人心动荡。这家曾占据全球路由器市场4
本田中国5月销量数据出炉，单月总交付量仅为28279辆，同比大幅下滑48 7%，销量近乎腰斩。与2020年前后的市场巅峰期相比，如今整体体量仅剩约两成。这已是本田中国连续第27个月同比下滑，跌幅仍在加深。颓势根源在于电动化战略预判失误，产品梯队崩塌，新能源车型销量惨淡，同时双合资体系内耗严重，部分工
台积电CEO近日在股东会上谈及芯片涨价策略，明确表示不会效仿存储芯片厂商短期价格暴涨数倍的做法，强调公司注重长期稳健经营。然而，供应链消息显示，台积电已计划于2026年下半年上调3纳米制程报价最高15%，2027年可能进一步上涨。CEO指出，AI应用正转向“代理式行动模式”，算力需求激增，全球芯片供
近日，方程豹品牌旗下全新硬派SUV车型“钛9”的路试谍照曝光。新车采用经典的“方盒子”造型，线条平直硬朗，车身立柱垂直，分体式灯组和贯穿式日行灯设计颇具辨识度。侧面配备大轮毂和高离地间隙，车门带有固定踏板，车尾预留外挂备胎位置，整体风格硬派。动力方面，预计将搭载2 0T发动机加双电机的混动系统，综合
- 日榜
- 周榜
- 月榜
热点快看