内存压缩如何让大模型在更低资源下运行更准？

来源：科技日报

来自英国爱丁堡大学与英伟达的联合研究团队开发出一种新方法，能够压缩人工智能模型运行时依赖的内存占用。这意味着，在保持响应速度不变的前提下，模型处理复杂任务时的准确性将得到提升，其能耗也能显著降低。这项突破也指向了一个新的可能性：更小的内存或许能催生出“更强大的AI”，并有望突破大语言模型目前面临的性能瓶颈。

研究团队发现，当将大语言模型使用的内存压缩至原有大小的八分之一后，模型在数学、科学和编程等专业测试中的表现反而更优，且推理时间并未延长。这一方法也有助于模型同时响应更多用户请求，从而降低处理单个任务的平均功耗。除了节能优势，这项改进还有望使AI更适用于处理复杂问题的专业系统，或是那些存储速度较慢、内存容量有限的终端设备，例如智能家居产品和可穿戴设备。

人工智能模型在处理问题时，通常需要“思考”更复杂的假设，或同时探索多种可能性来寻找答案。在这个过程中，模型需要将已生成的推理线程内容暂存于一种称为“KV缓存”的内存中。随着线程数量增多或线程长度增加，KV缓存的体积会迅速膨胀，成为制约性能的瓶颈，拖慢模型输出响应的速度。

为了突破这一限制，该团队提出了一种名为“动态记忆稀疏化”（DMS）的内存压缩技术。该方法并非保留所有生成的标记，而是动态判断哪些标记对后续推理至关重要、哪些可以剔除。由于从决定删除某个标记到实际删除之间存在微小的延迟，使模型有机会将待删除标记中的有用信息转移至保留的标记中。通过这种方式，DMS让AI模型能够在相同的计算资源下进行更深入的“思考”，或探索更多可能的解决方案路径。

在测试中，情况得到了积极验证。在一项基于美国数学奥利匹克资格赛设计的数学测试中，压缩模型在相同内存读取次数下，平均得分比未压缩模型高出12分；在由博士级专家编制的专业科学题库中，其表现同样优于原模型；在评估代码编写能力的平台上，压缩模型的平均得分也提高了10分。

总编辑圈点

这项研究打破了人们“计算资源越多，AI越强”的惯性认知。DMS内存压缩技术就像给AI装上了过滤器，让它学会抓住思考的重点，而非盲目堆砌数据。这种“更少内存，更强智能”的路径，可能从根本上改变AI的研发方向，让高性能AI真正走向轻量化。未来，复杂的科学计算或许在智能手表上就能运行，家用机器人也可以同时处理多项复杂指令而不会卡顿。事实上，这也暗合了人类的高效思考逻辑——我们不会记住每个细节，而是提炼关键信息进行推理。这种向人脑学习的选择性记忆机制，或许会比单纯扩大模型规模更早触及通用AI的门槛。