参数高效微调通过更新少量权重调整大模型

先直接给出核心结论。参数高效微调（Parameter-Efficient Fine-Tuning，简称PEFT）的核心思路是仅更新模型中的一小部分权重，进而调整大模型的行为。该方向已取得众多成果，但近期大量可解释性研究表明，模型的“表示”（representation）中编码了极为丰富的语义信息。这引出一个值得探索的方向：与其费力修改权重，直接编辑模型的内部表示，会不会是一条更强大的路径？

本篇论文提出了一种名为LoReFT的方案，全称为低秩线性子空间表示微调（Low-rank Linear Subspace Representation Fine-tuning，LoReFT），目标在于挑战甚至取代现有的PEFT方法。效果如何？在涵盖四个领域的基准测试中，LoReFT表现强劲，参数效率比此前最优的PEFT方法高出10倍到50倍。更值得关注的是，它在常识推理、指令遵循和自然语言理解等任务上均刷新了最佳成绩，全面超越了顶级的PEFT方法。论文还将这些工作统一整合到一个名为ReFT的框架下。简而言之，ReFT是一种全新的微调思路，比所有现有的PEFT方法更强大、参数效率更高，且更具可解释性。

二、论文解读

2.1 研究背景

预训练语言模型如今已非常普遍，为了适配新领域或新任务，通常需要进行微调。仅使用少量领域数据，一个基础模型就能完成多种任务。但问题也很明显：全参数微调成本高昂，尤其是对于当前动辄数百亿、上千亿参数的大模型而言，计算开销令人难以承受。

PEFT方法正是为解决这一痛点而诞生，它仅更新一小部分权重，大幅降低内存占用和训练时间。实践证明，在许多实际场景中，PEFT的效果可与全参数微调相媲美。适配器（Adapter）是常见的PEFT方法之一，它们要么学习对原有权重的修改，要么在冻结的模型旁新增一组权重直接使用。近期大火的LoRA及其变种DoRA，通过低秩矩阵近似权重更新，进一步减少了可训练参数量。QLoRA则更进一步，证明即使在低精度模型上训练全精度适配器，也不会损失性能。

现有的PEFT方法，无论是适配器、前缀微调还是其他方式，本质上都是修改权重。但正如前文所述，大量可解释性研究表明，模型的表示中蕴含了丰富的信息。这强烈暗示：直接编辑表示本身可能比更新权重更具潜力。本文正是沿着这一思路，提出并推广了“表示微调”（Representation Fine-tuning，ReFT）。

ReFT不直接修改模型权重，而是在推理时通过精心设计的干预，直接操作模型表示的一小部分，从而引导模型行为完成下游任务。这种方法可作为基于权重的PEFT的即插即用替代方案。其灵感来源于近期语言模型可解释性方面的工作——这些工作通过干预模型的表示来寻找因果机制，并在推理时引导模型行为。可以将其视为此前表示编辑工作的集大成者。

本文聚焦于ReFT家族中一个既强大又高效的成员——LoReFT。其核心操作是在一个由低秩投影矩阵张成的线性子空间中进行干预，该方法直接建立在分布式对齐搜索（DAS）技术之上。

2.2 方案细节

2.2.1 核心动机

有一个理论称为“线性表示假说”，它认为概念在神经网络中的表示被编码在某个线性子空间内。早期连接主义工作就已提出这一猜想，而近期的实证研究在大量自然语言以及其他数据训练的神经网络中找到了支持这一猜想的证据。

在可解释性研究中，“因果抽象”框架常使用“交换干预”来因果判定神经网络某个组件在特定行为中的作用。其逻辑是：如果我们将一个表示固定为其反事实输入对应的表示，并且该干预操作符合我们对模型组件的假设，能一致地影响模型输出，那么该组件就在我们研究的行为中起到了因果作用。

为了验证某个概念是否如线性表示假说所言被编码在表示的一个线性子空间中，研究者们发明了“分布式交换干预”。该技术已成功应用于语言模型，用于寻找实体属性、语言特征、情感和数学推理的线性表示。有趣的是，实验发现，即使是一个刚初始化尚未学习的Transformer，使用分布式交换干预也能找到因果有效的子空间。虽然这一发现引发了关于分布式交换干预对于解释性目的是否足够忠实的讨论，但其强大的表现力也表明，它可以成为控制语言模型行为的有力工具，这与表示编辑和可控生成领域的研究方向一致。因此，本文的动机很明确：借鉴交换干预操作，开发一种全新的、参数高效的下游任务微调方法。

2.2.2 低秩线性子空间ReFT（LoReFT）

核心思想非常直观：我们能否学习一种干预，使模型能够准确预测出任务标签？论文考虑了两种场景：一是使用解码器或编码器-解码器模型进行生成任务，二是使用纯编码器模型进行分类任务。而预训练语言模型本质上是在学习如何生成token序列的分布。

2.3 实验效果

为了公平地比较LoReFT与现有PEFT方法的优劣，论文在涵盖20多个数据集的四个不同NLP基准测试上进行了实验。目标是全面展示LoReFT在不同场景下的表现。具体来说：

• 常识推理：包括BoolQ、PIQA、SIQA等八个数据集，任务形式为多项选择。
• 算术推理：包括AQuA、GSM8K等四个数学问题数据集，模型需要先生成思维链再给出答案。
• 指令遵循：评估模型是否能够准确理解人类指令。使用Ultrafeedback进行训练，并用Alpaca-Eval v1.0进行评分。
• 自然语言理解：即GLUE基准测试，涵盖情感分析、自然语言推理等八个经典任务。

实验覆盖了不同规模的模型，从1.25亿参数的RoBERTa-base到130亿参数的LLaMA-1，既包括掩码语言模型，也包括自回归模型。对比的基准包括前缀调整、串行适配器、并行适配器、LoRA和DoRA等主流方法。重点关注两个指标：性能和参数效率。为确保公平，论文尽可能复用了以往研究中的超参数调优结果。所有实验均在单张NVIDIA A100或RTX 6000 GPU上运行，模型采用torch.bfloat16加载以节省内存。

2.3.1 超参数配置

实际使用LoReFT时，需要确定几个关键参数：学习多少个干预？在哪些层、哪些输入位置应用这些干预？论文建议在提示（prompt）中，对固定数量的前p个位置和后s个位置学习干预。这样一共需要调整四个超参数：干预的前缀位置数量、后缀位置数量、需要干预的层集合L，以及是否在同一层的不同位置之间共享干预参数。

2.3.2 常识推理

论文复现了LoRA原作者Hu等人的实验设置，在包含8个常识推理任务的联合数据集COMMONSENSE170K上微调了LLaMA-1 7B和13B模型，并报告每个任务上的得分。任务形式为多项选择，模型直接生成正确选项。论文使用了与以往研究相同的提示模板，并进行了额外的字符串规范化。为了避免根据测试集结果选取超参数这种“作弊”行为，论文从GSM8K训练集中单独划分一个验证集用于超参数选择，但训练轮数从12轮减少到6轮，因为COMMONSENSE170K数据集规模更大。结果明确：LoReFT在常识推理上取得了最先进的性能，显著优于所有其他方法。

2.3.3 算术推理

本次实验在包含7个任务的数据集MATH10K上进行微调，仅评估最终答案的正确性。超参数设置与常识推理实验相同，训练12轮。结果有些微妙：LoReFT在算术推理上的表现不如LoRA和适配器，但优于前缀调整。论文分析，这可能是因为思维链推理需要生成较长的序列，而干预的效果会随序列长度增加而衰减，同时任务本身也比单步的常识推理更困难。不过，LoReFT在13B模型上的表现明显优于7B，说明随着模型规模扩大，该方法确实能获得提升。总体而言，算术推理上的结果波动较大，没有哪种方法占据绝对优势。

2.3.4 指令遵循

为了测试模型遵循人类指令的能力，论文使用Llama-2 7B在Ultrafeedback数据集上进行微调，并与全参数微调、LoRA以及另一种PEFT方法RED进行了对比。评估采用Alpaca-Eval v1.0，由GPT-4打分。结果相当惊艳：当LoReFT的参数数量与之前最优秀的PEFT方法RED持平时，它在Llama-2 7B上超越了所有被报告的微调方法，包括全参数微调，其胜率甚至与GPT-3.5 Turbo 1106仅相差不到1%！更令人惊叹的是，即使将参数数量减半，或者仅使用1/64的训练数据，LoReFT仍然比其他微调方法表现更好。这说明，尽管在算术推理上略有波折，但LoReFT在长文本生成任务上无疑是成功的，而且它可能成为评估指令微调数据集质量的有效工具，因为训练速度极快。

2.3.5 自然语言理解

最后，论文在GLUE基准上评估LoReFT，并与现有PEFT方法对比。本次实验使用RoBERTa-base（1.25亿参数）和RoBERTa-large（3.5亿参数），以考察该方法在较小模型上的表现。每个任务单独调整超参数，这是PEFT的标准做法。结果同样稳健：在与RED匹配参数量的前提下，LoReFT在两个模型规模上都获得了与顶尖PEFT方法相当的性能。

2.4 pyreft：一个开箱即用的ReFT库

为了让大家能够轻松地从PEFT迁移到ReFT，论文团队还发布了pyreft，一个专门用于训练和共享ReFT模型的Python库。该库建立在pyvene之上，而pyvene是一个能够对任意PyTorch模型执行并训练激活干预的框架。pyreft已发布在PyPI上，可以轻松加载HuggingFace上的任何预训练语言模型进行ReFT微调，微调好的模型也能方便地上传到HuggingFace。下面的示例代码展示了如何通过一条干预命令，将Llama-2 7B模型第19层残差流的输出包裹起来：

包装好的模型可以直接用于下游任务的训练。该库还提供了数据加载工具，能够方便地构建出与HuggingFace训练器兼容的数据格式。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：参数高效微调通过更新少量权重调整大模型要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题