PEFT：让大模型“轻装上阵”的微调魔法
PEFT（参数高效微调）是一系列旨在高效微调大型预训练模型的技术总称。它通过仅更新或新增极少量的模型参数，而非调整整个庞大的模型，来实现对新任务或领域的适配。这种方法极大地降低了计算成本、内存需求和存储开销，使得在消费级硬件上微调大模型成为可能，是推动大模型应用落地的关键技术之一。
一句话解释
PEFT（参数高效微调）是一种“四两拨千斤”的技术，它允许我们只用改动大模型中极少一部分参数（通常不到1%），就能让它学会新任务，而无需重新训练整个庞然大物。
为什么会被关注
随着模型参数规模突破千亿，全参数微调的成本变得极其高昂，需要庞大的GPU集群和数天时间，普通开发者和小型企业根本无法承担。PEFT技术的出现，使得在单张消费级显卡上，用几个小时和少量数据定制一个大模型成为现实，极大地 democratize（民主化）了大模型的应用能力。
核心逻辑
PEFT的核心思想是“冻结大部分，只动小部分”。它假设预训练大模型已经学习了丰富的通用知识，微调时只需对其内部知识进行小幅“引导”或“重组”。具体实现上，它通常通过在模型内部插入小型可训练模块（如LoRA的秩分解矩阵），或为输入添加可学习的提示前缀（Prefix Tuning），来让模型适应新任务，而原始模型的绝大部分权重保持冻结不变。
常见场景
1. 领域适配：用医疗文献微调模型，打造专业医疗助手；用法律条文微调，生成合规文书。
2. 任务定制：让通用聊天模型学会写诗、生成特定风格的文案或进行代码审查。
3. 轻量化部署：微调后只需保存和加载新增的极小参数文件（如LoRA权重），极大节省存储和传输成本。
4. 多任务学习：为同一个基础模型附加多个不同的PEFT模块，快速切换不同技能，避免“灾难性遗忘”。
容易混淆的点
PEFT ≠ LoRA：LoRA是PEFT最流行的一种具体实现方法，但PEFT是一个更广泛的技术范畴，还包括Adapter、Prefix Tuning等多种方法。
PEFT vs. 提示工程：两者都旨在引导模型输出，但提示工程不改变模型任何参数，只在输入文本上做文章；PEFT则会轻微调整模型内部参数，通常效果更强、更稳定，但需要训练过程。
PEFT vs. 全参数微调：PEFT是后者的高效替代方案，在效果接近的情况下，资源消耗低几个数量级，但理论上限可能略低于全参数微调。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词Adobe Firefly 是 Adobe 公司推出的系列生成式 AI 模型，专注于创意内容生成。它并非单一工具，而是一个包含文生图、文生矢量图、文字特效等功能的模型家族，其最大特点是直接内置于 Photoshop、Illustrator 等 Adobe 创意软件中，旨在成为设计师安全、高效的“副驾驶”。
Canva-AI是集成在在线设计平台Canva中的一系列人工智能功能，旨在通过自然语言指令和自动化工具，大幅降低平面设计、演示文稿、视频制作等视觉创作的门槛。
Leonardo AI是一个集成了多种先进AI模型的综合性图像生成与设计平台，以其高质量的图像输出、丰富的模型库和面向游戏、设计等专业领域的工具链而闻名。
Playground最初指代AI模型的在线测试环境，现已演变为低门槛的AI创作平台，让用户无需代码即可探索模型能力。
Recraft是一个专注于矢量图形和图标生成的AI设计工具，能够将文本描述或草图转化为可编辑的矢量图形，并保持统一的视觉风格。
Kling-2是昆仑万维推出的新一代AI视频生成模型，以其强大的文生视频、图生视频能力，在视频时长、物理真实性和运动一致性上表现出色，被视为Sora的有力竞争者。