浙大团队发布首个统一多模态上下文学习框架实现举一反三

先抛出几个核心发现：给多模态大模型多看几道例题，它就一定能答得更好吗？答案可能恰恰相反。在UniICL-Bench上，有模型在感知类理解任务中的平均分直接从zero-shot的54.8跌到8-shot的6.9。是的，你没看错——例题越多，模型反而越糊涂。

这一反常现象在统一多模态模型里尤其值得警惕。如今，一个模型既能看图答题，也能生成、编辑图片；但当图像、文字和多组示例被塞进同一段上下文时，模型不仅要“看见”，还得判断：哪道例题在教规则，哪道在示范风格，哪道只是噪声。示例一多，注意力竞争、错误关联和上下文过载就随之而来。

正是为了破解这个困局，浙江大学、上海交通大学、新加坡国立大学与南洋理工大学联合团队提出了UniICL。他们没有走以往“多任务拼接”的老路，而是从“示例究竟教会模型什么”这个根本问题出发，首次系统梳理了统一多模态上下文学习，并构建了UniICL-760K、UniICL-Bench与轻量模块CAPM三件套。

有意思的是，实验中UniICL是论文所对比的所有统一模型里，唯一一个在理解与生成两侧都获得正向ICL效率的方法。

图｜以往的碎片化范式将不同模态和任务彼此隔离，常常出现随示例数量增加而性能非单调变化的问题。UniICL缓解了这一问题，实现了稳定收益。

研究方法

1. 六类能力：先弄清例题到底在教什么

过去的多模态ICL研究，常按视觉问答、图像生成、图像编辑来划分任务。UniICL换了一个更贴近“学习过程”的角度：不先看答案是文字还是图片，而是看示例在解题时承担什么角色。

团队据此归纳出六类能力：感知——用例题提示模型该关注哪里；模仿——要求复现结构、风格或逻辑模板；概念形成——让模型临时学会一个新符号或视觉概念；演绎——依据因果或时间链推导下一步；类比——从多组变化里抽出没有明说的规则；审辩——学习审美、真实性与质量标准。

这可不是给任务简单排难度，而是在回答一个更关键的问题：模型面对示例时，究竟需要调用哪一种“举一反三”的能力？在任务趋势分析中，同类任务对的平均相关性达到0.746，跨类则仅为0.063，这足以说明六类能力确实呈现出不同的随示例数变化模式。

2. UniICL-760K：不是简单收集数据，而是给每道题配好例题

图 ｜UniICL-760K数据统计

一组ICL episode，可以理解为“若干道例题 + 一道新题”。UniICL-760K共包含766,868组episode。团队先沿着真实图像与生成/编辑数据两条管线构造细粒度数据，再经过标注校正、幻觉检查和质量筛选，为每个查询组装8-shot上下文。整个数据集的构建大约消耗了24000 H20 GPU-hours。

同样重要的，是“怎么配例题”。对感知、模仿和审辩任务，Feature-Based Assembly会同时比较图像与文字特征，选出相关但不重复的示例；对概念形成、演绎和类比任务，Intent-Based Assembly则把查询拆成结构化条件，寻找意图真正一致、而不只是画面看起来相似的示例。举个例子，新题要求找出“指定区域内穿红衣的女性”——仅仅构图相似可不够，类别、颜色与位置必须同时对上。这个细节恰恰解释了论文最重要的发现之一：给什么例题，往往比给多少例题更重要。

图｜UniICL-760K数据构造与两类上下文组装流程

3. UniICL-Bench：不只看最高分，还要看整条学习曲线

如果只报一个最佳分数，很容易掩盖问题：模型可能在2-shot达到高点，到了4-shot、8-shot却迅速退化；也可能原本zero-shot就很强，新加的例题根本没有被利用。

因此，UniICL-Bench用1,250个与训练集隔离的episode覆盖六类能力、15个子任务，并按0、1、2、4、8-shot及链式任务的原生协议形成了5,650个测试实例。除了干净上下文，基准还会随机替换示例、颠倒顺序、混入不匹配示例，观察模型是否真的读懂了上下文。

4. CAPM：先读懂例题之间“发生了什么变化”

标准自注意力会把多组图文示例摊成长序列，问题、答案和视觉细节很容易搅在一起。团队设计了一个轻量化可插拔模块Context-Adaptive Prototype Modulator（CAPM）。它的工作流程是：先分开提取每个示例的输入与输出，再把二者之间的变化压缩成原型表示，最后根据当前任务，自适应地选择少数关键示例，或汇总多条示例中的共同规律。

CAPM通过门控把这些信息送回骨干模型，完整模块约含189.2M参数，只占14.61B骨干模型的1.29%。它的目标并不是替模型重做一遍推理，而是让模型少被无关例题带跑偏。

图 ｜CAPM通过输入/输出解耦、原型提取、自适应路由与门控注入，帮助模型利用上下文

研究结果

团队从峰值能力、整条shot曲线、上下文扰动和跨基准泛化四个方面，对UniICL进行了评估。

1. 总体表现：理解和生成同时从例题中受益

在UniICL-Bench上，UniICL的理解/生成平均峰值达到78.9/69.6，相比原始BAGEL骨干的59.3/60.5，提升相当明显。

更关键的指标是ICL效率。它衡量整条0—8-shot曲线相对zero-shot基线的面积：正值说明加入示例后整体受益，负值则说明模型平均被示例拖累。UniICL的理解/生成ICL效率达到了+16.9/+4.9，是论文对比的所有统一模型中唯一两侧均为正的方法。

图｜主实验结果与shot-scaling曲线：有些任务从更多例题中受益，有些任务反而出现退化

2. 稳定性：换错例题，比调换顺序更致命

面对随机换例、顺序颠倒和噪声混入，UniICL在理解/生成侧的综合稳定性分数为1.7%/6.6%，统一模型平均值为12.4%/10.6%。这个分数由扰动下各指标的绝对相对变化曲线积分得到，数值越低越稳定。

实验中，随机替换示例造成的影响普遍大于打乱顺序。这说明一个关键点：模型更在意的不是例题1和例题2谁排在前面，而是摆在面前的究竟是不是合适的例题。

3. 消融结果：数据与统一训练抬高上限，CAPM稳住曲线

去掉CAPM后，单靠UniICL-760K和统一训练，模型已经能达到77.0/68.6的理解/生成峰值。这说明大部分峰值增益来自系统化数据与联合训练。

CAPM的作用则更集中地体现在“能否持续利用例题”上：加入它后，生成侧ICL效率从0.4猛增到4.9。换句话说，数据与统一训练让模型变得更强，而CAPM让它面对不同数量的例题时更稳。

示例组装同样不可忽视。在Feature-Based分支中，相比默认方案，随机选例会让生成峰值下降13.34，生成ICL效率下降15.17；只保留相似度、拿掉多样性控制，也会出现明显的退化。

图｜稳定性分析与消融实验分别显示：UniICL在三种扰动下具有最好的稳定性，且合适的数据、统一训练、示例组装与CAPM各自解决不同问题

4. 跨基准测试：换一套考卷，提升依然存在

在VL-ICL-Bench的原始协议下，UniICL相比BAGEL的理解平均峰值从55.9提升到66.4，生成平均峰值从48.4提升到55.5。15名评估者对350个episode的盲测也显示，论文使用的主观任务指标与人类偏好具有较强一致性。

图 ｜UniICL在外部基准上的理解与生成任务中仍保持提升

不足和未来方向

当然，UniICL还没有彻底解决多示例带来的上下文过载。尤其在精细图像编辑中，当多个示例包含相互重叠的空间变化时，模型往往已经知道“要改什么”，却未必能准确控制“在哪里改、改到什么程度”。感知类图像生成的ICL效率也仍为负值，说明生成侧比理解侧更容易受错误示例干扰。

当前研究只覆盖图像与文本。扩展到视频和音频后，时间建模、跨模态同步以及更长上下文都会带来新的变量；数据管线依赖的外部基础模型，也可能把自身偏差带入标注、合成与筛选过程。

研究团队表示，未来将继续探索更有效的噪声过滤与上下文路由，让模型把已经识别出的编辑意图落实为更精确的像素操作，并检验这套能力分类能否延伸到视频、音频等更多模态。

统一多模态模型已经能在一个系统里理解和生成。UniICL追问的，是再往前一步的问题：当几道例题摆在模型面前，它能不能真正看懂其中的规律，并稳定地用到下一道题上？