谷歌TurboQuant技术发布：键值缓存压缩至1/6，推理提速8倍

谷歌研究院于2026年3月26日发布一项新型人工智能内存压缩技术，命名为TurboQuant，旨在有效缓解大语言模型推理过程中面临的内存压力。

该技术在完全保持模型原有精度的前提下，可将推理阶段所需的键值缓存内存占用降低至原来的六分之一，同时使整体推理速度提升最高达八倍。

在大语言模型运行过程中，存在一类关键的临时存储结构，即键值缓存。它用于暂存模型在生成文本时产生的中间状态信息。随着输入上下文长度增加，该缓存所占内存呈显著增长趋势，已成为制约系统响应效率、部署规模与运行成本的关键因素。问题本质并非模型能力不足，而是实时运行中内存资源难以匹配其计算需求。

TurboQuant通过向量量化策略对键值缓存实施高效压缩，在大幅削减内存开销的同时，确保模型仍能准确复现原始行为并维持长程信息的记忆能力。

其核心技术包含两部分：一是名为PolarQuant的新型量化方法，专为缓存特征设计；二是称为QJL的联合训练与优化机制，可在不依赖模型预训练或额外微调的情况下完成适配。相关研究成果拟于2026年4月举行的国际学习表征会议正式公开。

团队已在Gemma、Mistral等主流开源大语言模型上开展多维度基准验证。实测表明，TurboQuant可直接将键值缓存压缩至3比特精度，在“大海捞针”等典型长上下文理解任务中未出现任何精度下降，内存消耗稳定控制在原始水平的约16.7%。进一步测试显示，在H100 GPU平台上，采用4比特精度的TurboQuant方案，相较标准32比特浮点运算，推理吞吐量提升达八倍。