LoRA：大模型微调的“轻量级外挂”
LoRA是一种用于大语言模型高效微调的技术，它通过向模型注入少量可训练的参数（适配器），来学习特定任务或领域知识，而无需重新训练整个庞大的模型。
一句话解释
LoRA（Low-Rank Adaptation）是一种大模型的高效微调技术，它像给模型加一个“轻量级外挂模块”，只训练这个外挂来让大模型学会新任务，从而极大节省计算和存储成本。
为什么会被关注
随着ChatGPT等大模型兴起，如何低成本地让通用大模型适应医疗、法律、编程等专业领域成为关键。LoRA让普通开发者甚至个人用户能在消费级显卡上微调大模型，推动了AI应用的民主化和场景化落地。
核心逻辑
LoRA的核心思想是“冻结原模型，只学参数增量”。它假设模型在适应新任务时，权重矩阵的变化是低秩的。因此，它将需要学习的参数变化分解为两个更小矩阵的乘积，仅训练这两个小矩阵，再将其输出叠加到原模型的冻结权重上，实现高效的知识注入。
常见场景
1. 角色扮演与风格模仿：用LoRA微调模型，使其模仿特定作家或角色的语言风格。
2. 垂直领域问答：为医疗、金融、客服等领域注入专业知识，构建专业助手。
3. 图像生成定制：在Stable Diffusion等文生图模型中，训练特定画风或人物形象的LoRA模型。
4. 资源受限环境：在个人电脑或单张GPU上，快速实验和部署定制化模型。
容易混淆的点
LoRA vs. 全量微调：LoRA只训练新增的小参数，原模型参数冻结；全量微调则更新所有参数，成本极高。
LoRA vs. 提示词工程：LoRA是改变模型内部参数；提示词工程仅通过输入文本来引导模型，不改变模型本身。LoRA效果更深刻持久。
LoRA与适配器：LoRA是适配器方法的一种流行实现，但通常特指其低秩分解的数学形式，已成为该技术的事实代名词。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词PEFT（参数高效微调）是一系列旨在高效微调大型预训练模型的技术总称。它通过仅更新或新增极少量的模型参数，而非调整整个庞大的模型，来实现对新任务或领域的适配。这种方法极大地降低了计算成本、内存需求和存储开销，使得在消费级硬件上微调大模型成为可能，是推动大模型应用落地的关键技术之一。