姚顺雨入职腾讯首秀CL-BENCH撕开大模型学习伪装

你是否曾想象过这样的场景：步入电影院，观看一部毫无直白叙事的电影——镜头只是静静地凝视着空荡的走廊、几个学生的背影、储物柜开关的声响。你只能从这些零散的细节中，凭借自己的理解拼凑出完整的故事。

这正是格斯·范·桑特（Gus Van Sant）执导的《大象》带给观众的独特观影体验，也映射出人类应对真实世界的底层能力：我们无需死记硬背，便能从全新、复杂的信息流中快速学习，构建起全新的认知框架。

然而，当前的大语言模型在这项能力上，差距之明显令人不安。

这一切要从腾讯首席AI科学家姚顺禹入职后的首个重要成果说起——CL-BENCH。这套全新的基准测试专门用于评估大模型“从上下文环境中学习”的能力，而其核心发现，是系统性地揭开了当前最前沿模型在真实世界任务中长期以来被忽视的短板。

先给出几个关键判断。

如今的模型，无论是GPT系列还是国内选手，都极其擅长调用预训练阶段存储的知识库。解数学题、写代码、回答常识问题——这些能力本质上是基于“记忆”的。但真实世界的任务从来不会按照剧本进行：你需要根据一份全新的产品手册操作设备，根据一个虚构国家的法律体系裁决案件，或者从一组实验数据中总结出物理规律。这些任务的核心，是从全新的上下文里学习知识，而不是翻找已有的记忆。

论文中的图表将这个错位表现得非常直观：模型优化的主要方向集中在“提示工程”（Prompt Engineering），让模型更好地运用预训练知识；而真实世界的刚需，是让模型从复杂的上下文里学习新鲜内容。这才是“上下文学习”的真正含义。

这种能力缺失会带来很具体的后果。当你给模型一份全新的API文档，要求它按文档编写代码时，它往往会依赖预训练中的旧知识，而不是遵循新规则；当你给它一组实验数据要求总结规律时，它倾向于输出已有的结论，而非从数据中推导出新的规律。

为了系统性地评估这种力不从心，研究团队构建了CL-BENCH。这个基准测试由500个复杂上下文、1899个任务和31607个评估标准组成，全部由领域专家手工打造，确保真实、无污染且具有挑战性。

CL-BENCH的上下文覆盖了人类真实学习的四大核心场景：

领域知识推理——比如分析一份全新的医学研究报告，评估一种新药的疗效；
规则系统应用——比如根据一个虚构国家的法律体系，裁决一个案件；
程序性任务执行——比如根据一份无人机物流系统的API文档，生成操作代码；
经验发现与模拟——比如从实验数据中总结物理规律，或模拟一个复杂的沙盒环境。

每个大类下还有更细分的子类，比如领域知识推理包括金融、医疗、人文等；规则系统应用包括游戏机制、数学形式化、编程语法等。关键在于，这些上下文里的知识要么是专家全新创建的，要么是经过修改的，要么是小众的长尾知识——确保模型无法靠预训练知识蒙混过关，必须从头学起。

还有一个细节：CL-BENCH中51.1%的任务是多轮的，需要依赖前一轮的结果。这更贴近真实交互场景——比如你先要理解产品的基础规则，才能解决更复杂的操作问题。

团队测试了10个前沿大模型，包括GPT-5.1、Claude 3 Opus等。结果如何？所有模型的平均解决率只有17.2%，而表现最好的GPT-5.1，也只解决了23.7%的任务。

最薄弱的环节是经验发现与模拟类任务，平均解决率仅为11.8%。这说明模型从实验数据中总结规律、模拟复杂环境的能力极其薄弱。程序性任务执行的平均解决率也只有16.3%，模型在严格遵循复杂程序步骤上存在明显问题。

论文中有一张图展示了一个典型任务流程：模型需要从上下文里学习带电粒子动力学的新规则，然后应用这些规则解决问题。评估维度非常细致——是否使用了上下文里的规则，是否给出正确的计算步骤，是否得出正确结果。

错误分析揭示了问题的根源：模型失败的主要原因是忽略了上下文里的信息。它们更倾向于使用预训练知识，而不是遵循新规则。比如在法律任务中，模型会援引现实世界的法律条文，而不是上下文里虚构国家的规则；在API任务中，它使用的是预训练中的旧语法，而非新文档里的规范。

长上下文推理能力的不足也是重要因素。很多上下文的长度达到65000 tokens，模型无法有效处理，难以提取关键信息。指令遵循能力同样不达标——模型无法理解上下文里的复杂约束，无法按要求完成任务。

这让人想起《大象》的叙事逻辑。观众需要从零散细节中搭建出完整的故事脉络——这正是CL-BENCH想要测试的核心能力。但当前的大模型，更像是只读过电影梗概的读者，抓不住藏在细节里的关键信息，只能依赖已有的知识储备，无法从新信息中真正学习。

这揭示了一个发展误区：我们一直在追求更大的预训练数据集、更多的参数，以为这样模型就更智能。但人类的智能不在于记了多少知识，而在于从新信息中快速学习的能力。一个小孩不需要记住所有物理公式，就能从一次实验里总结出规律；一个员工不需要背下所有操作手册，就能从新文档里学会操作设备。

CL-BENCH的意义，不仅是提供了一个全新的基准测试，更是指明了模型发展的新方向：需要让模型具备真正的“学习”能力，而不是“记忆”能力。

当前的上下文工程（比如RAG）只关注如何给模型提供上下文，却没有关注模型能否真的从上下文里学习——就像给了学生一本教材，却没教他如何阅读教材。

研究的下一步，方向其实已经非常清晰：

如何让模型处理上下文里的冲突信息——当新规则与预训练知识相悖时，能优先遵循新规则；如何提升长上下文推理能力，让模型在更长的上下文里提取关键信息；如何增强多轮学习能力，在对话中保持对上下文信息的记忆并应用；如何让模型从上下文里提取结构化知识——比如从文档中归纳出规则、流程、规律，而非零散信息。

CL-BENCH也在提醒整个评估体系：需要更关注模型的“学习”能力，而非“记忆”能力。一个能从新上下文里快速学习的模型，比一个记住了更多知识的模型，更能适应真实世界的复杂任务。这才是大模型应该进化的方向。