模型量化
模型量化是一种将AI模型参数从高精度浮点数转换为低精度整数的方法，能显著减小模型体积、加快推理速度，同时尽量保持模型精度，是部署大模型到手机、IoT设备等资源受限环境的关键技术。
一句话解释
模型量化就是把AI模型里的数字（比如权重和激活值）从32位浮点数（FP32）变成8位整数（INT8）或更低精度，让模型文件变小、跑得更快，同时尽量不损失太多准确度。
为什么会被关注
大模型（如GPT、Llama）动辄几十GB，直接部署到手机或物联网芯片上几乎不可能。量化能让模型体积缩小到原来的四分之一甚至更小，推理速度提升数倍，功耗也大幅降低。
在云端场景中，量化还能降低服务器算力成本和带宽压力。因此无论是边缘端还是云端，量化都是让AI落地实用化的核心手段之一，备受工业界和研究界关注。
核心逻辑
量化本质是离散化：把连续的浮点数值映射到有限的整数集合上。比如INT8只有256个取值，而FP32有约42亿个。映射过程需要找到合适的缩放因子（scale）和零点（zero point），使映射误差最小。
后训练量化直接对已训练好的模型做转换，速度快但精度损失可能较大；量化感知训练则在训练过程中模拟低精度运算，让模型主动适应量化误差，通常能保留更高精度。
常见场景
手机端运行AI助手：比如语音识别、实时翻译模型通过量化后可以在手机CPU/GPU上流畅运行，不依赖云端。
物联网设备中的智能摄像头：对视频帧进行目标检测或人脸识别时，量化后的模型能塞进几MB的闪存中，且每秒处理多帧。
云侧推理加速：在数据中心使用量化后的模型进行批量推理，吞吐量可以提升2-4倍，同时降低电费。
容易混淆的点
“量化”≠“剪枝”：剪枝是删除模型中不重要的连接或神经元，量化是降低每个参数的比特数，两者是互补的压缩手段，常组合使用。
“量化”≠“混合精度训练”：“混合精度训练”通常指训练时使用FP16与FP32混合来加速和节省显存，但推理时仍可能保持FP32；而量化是专门为推理阶段的压缩和加速设计的。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词推理加速是一系列旨在提升AI模型在部署后实际运行（即推理）阶段速度和效率的技术总称。它通过硬件优化、软件算法和模型压缩等手段，让模型在保持精度的前提下，用更少的计算资源和时间完成预测任务，是AI落地应用的核心瓶颈突破点。
模型压缩是一系列旨在减少深度学习模型大小和计算需求的技术总称，目的是让强大的AI模型能在手机、汽车、物联网设备等资源受限的环境中高效运行。