Distillation：让大模型“瘦身”的知识蒸馏术
知识蒸馏是一种将大型、复杂模型（教师模型）的知识迁移到小型、高效模型（学生模型）中的技术，通过模仿教师模型的输出或中间特征，使学生模型在保持较小体积的同时获得接近教师模型的性能。
一句话解释
知识蒸馏是一种“大教小”的AI训练方法，让庞大复杂的教师模型将其学到的“知识”（表现为输出概率或特征表示）传授给更小巧的学生模型，使小模型能在资源有限的设备上实现近似大模型的性能。
为什么会被关注
随着大模型参数量激增，其部署成本高、推理速度慢的问题日益凸显。知识蒸馏能有效将大模型能力“浓缩”进小模型，满足手机、物联网设备等边缘侧对实时、低功耗AI的需求，是平衡性能与效率的关键技术。
核心逻辑
其核心在于学生模型并非仅学习原始的“硬标签”（如“这是一只猫”），而是学习教师模型输出的“软标签”（如“猫:0.85, 狗:0.12, 兔:0.03”）。这些软标签包含了类别间的关系和模型的不确定性等丰富信息，指导学生模型更细致地模仿教师模型的决策逻辑。
常见场景
1. 移动端部署：将云端百亿参数大模型蒸馏为几亿参数的手机端模型，实现离线语音助手、实时图像处理。
2. 工业质检：在算力有限的工厂边缘服务器上，运行蒸馏后的高精度缺陷检测模型。
3. 学术研究：用于构建高效的基准模型，或探究模型所学知识的可迁移性。
容易混淆的点
与模型剪枝/量化的区别：剪枝和量化是直接对原模型进行“物理”裁剪或数值精度降低，而蒸馏是训练一个全新的、结构可能不同的小模型来“继承”知识。
与迁移学习的区别：迁移学习通常指在一个任务上预训练的模型适应另一个任务；而蒸馏侧重于模型间知识的迁移，且师生模型通常解决相同的任务。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词Adobe Firefly 是 Adobe 公司推出的系列生成式 AI 模型，专注于创意内容生成。它并非单一工具，而是一个包含文生图、文生矢量图、文字特效等功能的模型家族，其最大特点是直接内置于 Photoshop、Illustrator 等 Adobe 创意软件中，旨在成为设计师安全、高效的“副驾驶”。
Canva-AI是集成在在线设计平台Canva中的一系列人工智能功能，旨在通过自然语言指令和自动化工具，大幅降低平面设计、演示文稿、视频制作等视觉创作的门槛。
Leonardo AI是一个集成了多种先进AI模型的综合性图像生成与设计平台，以其高质量的图像输出、丰富的模型库和面向游戏、设计等专业领域的工具链而闻名。
Playground最初指代AI模型的在线测试环境，现已演变为低门槛的AI创作平台，让用户无需代码即可探索模型能力。
Recraft是一个专注于矢量图形和图标生成的AI设计工具，能够将文本描述或草图转化为可编辑的矢量图形，并保持统一的视觉风格。
Kling-2是昆仑万维推出的新一代AI视频生成模型，以其强大的文生视频、图生视频能力，在视频时长、物理真实性和运动一致性上表现出色，被视为Sora的有力竞争者。