深度学习克服灾难性遗忘新方法：相似性加权交错学习登PNAS

近年来，AI绘画技术实现了跨越式发展，从早期的简易滤镜效果演进至能够生成细节精致、风格多元的高质量图像，甚至达到近乎以假乱真的水准。这一进步主要得益于深度学习模型，特别是扩散模型的持续突破。然而技术飞速迭代的同时，也带来了一系列新的挑战——如何让AI更准确地理解用户抽象、个性化的创意描述，成为当前亟待优化的关键。

传统的文本生成图像模型，例如广泛应用的Stable Diffusion，通常依赖固定的文本编码器（如CLIP）来解析提示词。尽管该方式具备较强的语义理解能力，但其局限性在于：模型所学到的“概念”被固化在参数之中。当用户希望生成高度特定或完全新颖的对象时——例如“尾巴尖带白斑的橘猫”或充满想象力的“赛博龙舟”——模型往往难以精准呈现，因为它从未在训练中接触过这类样本。这好比让一位仅背诵过词典的人创作小说，即便词汇储备丰富，也难以组合出真正独特的意境与叙事。

那么，是否存在一种方法，能够为AI模型“快速补充知识”，使其高效掌握新概念？这正是“个性化图像生成”领域的核心课题。其目标十分明确：用户仅需提供少量（通常3–5张）特定主体（如个人宠物、专属饰品或自定义角色）的图像，模型即可学习该概念，并依据新的场景描述准确生成包含该主体的画面。

一、主流技术路径：从全参数微调到LoRA

早期个性化生成采用全参数微调策略，即对整个文生图模型进行权重更新。这类似于为学习一个新词汇而重写整部词典。虽然效果显著，但存在计算成本高、易引发模型遗忘原有知识（灾难性遗忘）等问题，且每个新概念都需存储完整模型副本，在部署与维护上效率较低。

随后，更高效的适配器方法逐渐成为主流，其中LoRA（低秩自适应）技术表现尤为突出。其设计思路十分巧妙：无需改动原模型参数，而是为其添加一个轻量化的“专用插件”。具体而言，LoRA冻结预训练模型所有权重，仅额外训练一组低秩矩阵，在推理阶段将该矩阵权重叠加至原有网络。这一方式大幅提升训练速度，降低存储开销（通常仅需数MB至百MB级别），同时较好保留基础模型的泛化能力。目前，LoRA已成为社区实现模型个性化的实际标准方案。

二、新挑战：概念“泄漏”与语义混合

随着个性化生成应用日益普及，新的技术问题逐渐显现。当用户同时注入多个自定义概念时（例如“我的狗”和“我的背包”），在生成组合场景（如“我的狗背着我的背包”）过程中，模型可能出现错误：狗的体表可能渗透背包的材质纹理，或背包背带与毛发视觉融合。该现象被称为概念“泄漏”或概念混合——即不同概念的视觉属性发生非预期的迁移与纠缠。

问题根源在于，LoRA等方法的适配器参数通常作用于所有交叉注意力层，而该层正是文本提示影响图像生成的关键模块。当多个概念的LoRA权重同时对同一组注意力机制进行干预时，其对特征图的修改会产生相互干扰，导致概念之间的语义边界模糊不清。

三、解耦之道：Separate Your LoRA

近期，一项名为“Separate Your LoRA”的研究提出了直观且高效的解决方案。其核心思想可概括为：为不同概念，在模型的不同网络层级进行个性化学习。

研究发现，在Stable Diffusion的UNet架构中，不同深度的交叉注意力模块实际上负责捕捉不同粒度与类型的语义信息。浅层网络可能更关注整体轮廓、姿态等结构特征，而深层网络则侧重于材质、纹理等细节表现。基于此，该研究提出将不同概念分配到不同的网络层级进行学习。

具体实现包含两个关键步骤：

1. 概念专属层分配： 不再对所有概念统一微调全部网络层。针对每个待学习的新概念，系统可自动或由用户指定一个连续的层级区间（例如第5至第8个交叉注意力层）。仅在该区间内训练该概念独立的LoRA权重，其余层级参数保持冻结。

2. 分层融合推理： 在生成包含多概念的图像时，每个概念仅在其分配的层级区间内激活对应的LoRA权重，对其他层则不产生干扰。通过这种方式，不同概念对生成过程的控制被物理隔离于网络的不同深度。

这类似于交响乐团的协作机制：弦乐组负责主旋律，铜管组承担和声支撑，打击乐组控制节奏层次。若所有乐手在同一音域同时演奏全部声部，结果将是杂乱无章；而让各组专注于自身对应的“声部层级”，方能合奏出和谐而富有层次的乐曲。

四、效果与优势

实验证明，该方法能显著缓解多概念生成时的语义混合问题。例如，在同时生成“玩具熊”与“毛线帽”时，传统LoRA可能导致熊的皮毛呈现编织纹理；而采用分层分离LoRA后，两个概念得以清晰区分，玩具熊保持毛绒质感，毛线帽则保留针织细节。

该方法主要具备三方面优势：

更高的概念保真度： 每个概念在专属层级中学习，减少相互干扰，生成图像中概念属性更加纯粹明确。

增强的组合生成能力： 能够更稳定地生成多个自定义概念按正确空间关系组合的图像，提升构图可靠性。

优秀的灵活性与可扩展性： 用户可按需添加新概念，仅需为其分配新的层级区间即可，理论上支持大量概念共存与管理。

五、未来展望

“Separate Your LoRA”指出了一个值得深入的方向：个性化生成不仅需要关注“学习什么概念”，也应设计“在何处学习”。通过对参数修改位置进行精细化控制，我们可以更系统化地管理模型中并行的知识体系。

当然，这仅是起步阶段。如何自动化、智能化地为不同概念分配合适的层级区间？如何处理概念之间合理的交互关系（如光影投射、遮挡效应）？如何将该方法与更复杂的控制条件（如姿态引导、布局约束）相结合？这些都是未来值得探索的重要课题。

可以预见，随着技术持续细化，AI绘画将不再仅是机械执行模糊指令的工具，而有望成为真正理解用户独特意图、精准呈现复杂想象的创作伙伴。从“大致符合描述”到“精准还原创意”，层分离技术正为这一目标铺设可行的技术路径。