腾讯优图联合上海交大开源增强知识框架定向提升大模型

大语言模型（LLM）在众多自然语言处理任务上展现出卓越能力，然而要落地到实际业务场景中，指令微调是激活其专业性能的关键步骤。传统微调依赖大量标注数据和高昂计算资源，这在真实业务环境中往往难以满足。所幸开源社区提供了海量现成的指令微调模型与数据集，为开发者开辟了高效途径。不过，直接采纳这些资源仍需跨越几道障碍：

• 仅拥有少量有标注样本时，直接微调或上下文学习的效果常不尽如人意——如何将零散的业务样本与开源社区积累的外部知识有效融合，使模型既精通具体任务又具备良好泛化能力？
• 开源社区中存在大量对齐的SFT模型与数据集，看似全面，但模型之间、数据之间可能存在知识冲突。如何整合这些异质知识，避免内耗、实现互补？现有的模型组合方法虽多，却难以最大化利用多个模型的知识储备。
• 对开源模型的评估大多仅依赖测试集上的精确匹配准确率，容易产生偏差；对开源数据的评估也多关注通用质量与复杂度，缺乏针对特定任务导向的精细筛选。

针对上述痛点，本文提出一套贴近业务实际的新型实验框架：K-shot有标签真实业务数据下的开源知识增强方案。在此框架中，充分利用K-shot样本对LLM进行定向任务增强。具体而言，我们设计了一条易于扩展的知识增强管线，让有限的K-shot样本充当“向导”，指导开源模型与数据的筛选。方法设计面临三大挑战：

• 挑战1：针对特定任务，如何仅用少量K-shot数据高效识别出潜力最大的模型？
• 挑战2：如何从开源数据集中挑选与K-shot任务最相关的指令数据，为LLM补充缺失的领域知识，同时有效防止过拟合？
• 挑战3：当多个模型在目标任务上表现较好时，如何构建自适应模型融合系统，使它们相互补充，实现1+1>2的协同效果？

本研究的主要贡献在于，提出了一套结合公开可用模型与数据集、面向特定任务提升LLM性能的完整方法论：

1. 高效筛选潜力模型的策略——综合考量推理困惑度、模型表现以及模型间的知识丰富度，在K-shot数据条件下充分挖掘模型能力。
2. 从开源数据集中提取任务相关知识的方案——采用“相似性-多样性”筛选策略，为LLM提供补充信息，同时降低过拟合风险。
3. 利用混合专家模型结构构建自适应模型融合系统——在多个有效LLM之间实现知识互补与协同优化，获得更优的任务性能。

前提储备：LoRA模型库构建

从Huggingface平台选取了38个具有代表性、广泛使用的指令数据集，对每个数据集进行预处理并执行LoRA微调，构建出一个LoRA模型库。该库为特定任务提供了可选的预训练模型集合，同时确保了实验的可重复性与公平对比。

核心方法

1. K-shot指导的专家模型筛选机制

提出一种专家模型选择方法，综合考量模型的推理困惑度、在K-shot数据上的性能表现以及模型多样性，筛选出最具潜力的模型组。研究发现，仅依赖推理结果的性能评估（如后处理+精确匹配）难以准确预测模型在特定任务上的表现——因为输出答案可能因后处理解析失败而被低估。相反，推理困惑度能够揭示模型对领域的理解深度，因此将两者结合。下图显示，部分直接推理指标较高的模型在微调后反而比某些指标低的模型差，而推理困惑度低的模型微调后性能显著更强。此外，模型组内部的多样性同样关键——不同模型的知识差异越大，混合专家系统的训练效果就越好。

2. 混合专家模型初始化

采用混合专家（MoE）结构来合理利用LoRA模型库。将筛选出的模型作为MoE的初始专家，随后训练路由网络（Router），使模型能够自动将不同token分配给最合适的专家，促进专家间的协同合作。

3. K-shot指导的先相似后多样的数据筛选机制

提出相似性优先与多样性感知相结合的数据选择策略。对原始指令文本进行嵌入计算，度量开源数据与K-shot数据的相似度，优先选出最相似的数据子集；再通过语义去重剔除冗余数据，保证多样性。相似性确保数据与任务高度相关，多样性则防止信息过度集中，从而避免过拟合。

4. 混合专家模型进一步调优

结合增强数据集与K-shot数据集，采用交叉熵损失监督语言建模输出，同时优化MoE系统的路由权重与各专家权重。

实验设置

数据集

使用六个开源数据集（ARC-Challenge、ARC-Easy、PiQA、BoolQ、MBPP、GSM8K）作为评估集，从每个数据集的官方训练集中随机采样K条有标注的指令-响应对作为K-shot数据。

基线方法

与五种基线方法（基础模型、随机选择模型、基于整个训练集微调的模型、测试集上表现最佳的专家模型、对最佳专家微调的模型）以及其他前沿方法进行对比。

实验结果与分析

1. 本文方法在各项任务上均取得了更优性能，全面超越基线与前沿方法。
2. 可视化专家激活模式显示，MoE系统并未等效坍缩为单个模型，每位专家均有实质贡献。
3. 模型选择消融实验：综合评测性能、推理困惑度与模型多样性的策略优于仅依赖K-shot性能或单一推理困惑度的方法；推理困惑度比普通困惑度更有效。
4. 数据选择消融实验：基于相似性优先与多样性感知的策略进一步提升了MoE性能。数据量增加时，性能呈现先升后降趋势，多样性在平衡数据分布与缓解过拟合方面发挥重要作用；不同相似性采样技术也会影响最终效果。
5. 针对K、N和k的消融：仅需K=5（即5条有标注样本），即可在目标任务上取得不错效果。专家候选者之间的差异对任务导向的MoE系统至关重要。训练数据量需根据任务优化，困难任务需要更多高质量数据；数据量过多反而导致性能下降，说明只有与任务高度相似的外部数据才能有效提升性能。从LoRA模型库中选出的专家数量N无需过多，高相关性的适配器才能增强任务能力。
6. MoE组合有效性：将数据划分为All-correct、All-incorrect、Mixed三类（Mixed指至少一个专家正确、一个专家错误，即存在分歧的样本）。采用MoE融合后，效果超越最优的单个专家，验证了MoE组合方案的有效性。

讨论

1. 本方法不依赖数据集和模型的元信息——实际场景中，数据和模型的来源信息往往描述不清、难以精确定位，开源模型的训练数据与细节也难以获取。这种“无元信息依赖”特性是其核心优势之一。

2. 方法具备多任务适用性与易用性。大多数开源LLM属于LLaMA和Mistral家族变体，Huggingface上可获取大量模型。不过，不同PEFT方法之间计算模型相似性可能存在不兼容问题，需加以注意。

结论

本文提出的方法使K-shot数据在模型选择与数据扩增中发挥了关键作用，效果优于现有方法。消融研究验证了选择机制的有效性，展示了挖掘开放知识、定制技能整合的高效流程。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：腾讯优图联合上海交大开源增强知识框架定向提升大模型要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题