GPTQ：大模型量化技术，让AI推理更轻更快
GPTQ是一种针对大型语言模型的高效后训练量化技术，通过将模型权重从16位浮点数（FP16）压缩为4位或8位整数，显著减少显存占用和推理延迟，同时保持模型性能损失极小。它利用二阶信息（海森矩阵）进行量化补偿，是目前大模型部署中最主流的量化方案之一。
一句话解释 GPTQ
GPTQ是一种将大语言模型从FP16压缩到4位或8位整数的后训练量化方法，可在几乎不损失精度的情况下减少约4倍显存占用并显著提升推理速度。
为什么 GPTQ 会被关注
随着大语言模型参数量达到百亿甚至千亿级别，直接部署需要在昂贵的GPU上消耗大量显存和计算时间。GPTQ提供了一种低成本、高效的压缩方案，使得模型能够在消费级显卡甚至手机上运行，极大降低了AI应用的门槛和成本。同时其量化速度较快，对原始模型改动小，已成为Hugging Face等平台上的主流量化标准。
GPTQ 的核心逻辑
GPTQ基于二阶优化思想，利用权重的海森矩阵（Hessian）来评估每个权重的重要性。它采用逐层量化的方式，先固定其他层，对当前层进行4位或8位量化，并通过最小化量化误差的平方和来补偿精度损失。这种方法比简单的逐权重四舍五入（RTN）效果更好，能在相同比特数下保留更多模型能力。
GPTQ 的常见应用场景
最常见场景是在本地部署大模型进行推理，例如在个人电脑上运行Llama、Mistral等开源模型，进行对话、代码生成等任务。此外也用于边缘设备、移动端AI助手以及需要低延迟响应的API服务。搭配vLLM、TGI等推理框架，可以进一步优化吞吐量。
容易与 GPTQ 混淆的概念
容易与AWQ（自适应权重量化）混淆——两者都是针对LLM的4位量化方法，但AWQ通过激活感知的缩放因子选择保留重要通道，而GPTQ依赖二阶优化。另外也会与训练时量化（QAT）混淆，GPTQ属于后训练量化（PTQ），无需重新训练模型即可完成压缩，而QAT需要带量化感知的训练过程，耗时更长但理论精度更高。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词AWQ是一种针对大语言模型的低比特量化技术，通过分析激活值分布，对敏感通道保留更高精度，从而在极小精度损失下实现4-bit甚至3-bit量化，大幅降低显存占用和推理延迟。
大语言模型是一种基于海量文本数据训练的人工智能模型，能够理解、生成和推理人类语言。它通过深度学习技术，学习语言的统计规律和语义关联，从而完成对话、写作、翻译等多种任务，是当前生成式AI浪潮的核心驱动力。