模型蒸馏：让大模型“瘦身”的智慧传承术
模型蒸馏是一种将大型、复杂模型（教师模型）的知识迁移到小型、高效模型（学生模型）中的技术。其核心在于让学生模型模仿教师模型的输出行为或中间特征，从而在保持较高性能的同时，大幅降低模型的计算开销和部署成本。
一句话解释
模型蒸馏是一种将大型、复杂模型（教师模型）的知识和决策能力，迁移到小型、高效模型（学生模型）中的技术，旨在让“小模型”学会“大模型”的本事。
为什么会被关注
随着大模型参数激增，其巨大的计算和存储需求阻碍了在手机、物联网设备等资源受限场景的部署。模型蒸馏提供了一种有效的解决方案，能在性能损失可控的前提下，让模型“瘦身”数十甚至数百倍，极大地推动了AI应用的普及和落地。
核心逻辑
其核心是“模仿学习”。教师模型不仅提供最终的“硬”答案（如分类标签），更重要的是提供包含丰富信息的“软标签”（即各类别的概率分布）。学生模型通过模仿这些更平滑、包含类间关系的软标签，以及教师模型的中间层特征，学习到比单纯使用原始数据标签更深刻、更泛化的知识表示。
常见场景
1. 移动端部署：将云端大模型蒸馏为可在手机APP中实时运行的轻量模型。
2. 工业质检：在算力有限的边缘设备上部署高效的缺陷检测模型。
3. 模型集成：将多个专家模型的知识蒸馏到一个统一模型中，简化部署。
4. 隐私保护：在本地设备上用蒸馏后的小模型处理敏感数据，避免上传云端。
容易混淆的点
模型蒸馏常与模型剪枝、量化等压缩技术并列，但本质不同。剪枝是“做减法”，直接移除网络中不重要的参数；量化是“换单位”，降低参数数值的精度。而蒸馏是“教知识”，通过训练过程传递知识，学生模型的结构可以与教师模型完全不同，是一种更灵活的知识迁移方法。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词Adobe Firefly 是 Adobe 公司推出的系列生成式 AI 模型，专注于创意内容生成。它并非单一工具，而是一个包含文生图、文生矢量图、文字特效等功能的模型家族，其最大特点是直接内置于 Photoshop、Illustrator 等 Adobe 创意软件中，旨在成为设计师安全、高效的“副驾驶”。
Canva-AI是集成在在线设计平台Canva中的一系列人工智能功能，旨在通过自然语言指令和自动化工具，大幅降低平面设计、演示文稿、视频制作等视觉创作的门槛。
Leonardo AI是一个集成了多种先进AI模型的综合性图像生成与设计平台，以其高质量的图像输出、丰富的模型库和面向游戏、设计等专业领域的工具链而闻名。
Playground最初指代AI模型的在线测试环境，现已演变为低门槛的AI创作平台，让用户无需代码即可探索模型能力。
Recraft是一个专注于矢量图形和图标生成的AI设计工具，能够将文本描述或草图转化为可编辑的矢量图形，并保持统一的视觉风格。
Kling-2是昆仑万维推出的新一代AI视频生成模型，以其强大的文生视频、图生视频能力，在视频时长、物理真实性和运动一致性上表现出色，被视为Sora的有力竞争者。