中国人民大学团队揭示顶尖大模型在科学文献处理中的致命软肋

这项由中国人民大学信息检索实验室联合多位研究人员共同完成的研究，以预印本形式发布于2026年4月28日，论文编号为arXiv:2604.25256。

“AI科学家”的概念正从科幻走向现实。科技巨头们时常展示其AI系统如何辅助甚至独立完成研究。然而，真正的科学研究远不止于信息检索。它更像是在数百万篇学术论文构成的迷宫中进行的精密探索——研究者需要根据蛛丝马迹般的细微线索，逐步锁定那篇包含关键证据的论文，或者将所有满足严苛条件的文献无一遗漏地找出来。这对人类研究者已是巨大挑战，那么对于当前最先进的AI大模型而言，其表现究竟如何？

中国人民大学的研究团队设计了一个名为 **AutoResearchBench** 的基准测试，专门用于评估AI在“真实科研文献发现”这一核心场景下的能力。测试结果令人深思：即便是全球顶尖的大语言模型，在此项测试中的表现也普遍低于10%，揭示了其在复杂学术推理任务上的显著短板。

一、为什么“搜索学术论文”比想象中困难得多

我们可以用一个侦探故事来类比这项任务的本质。假设你需要找到一个特定的嫌疑人，但手中的线索极其隐晦：他曾在某次学术会议上提及一个冷僻的数学公式、其论文致谢里提到了某个城市的一家咖啡馆、他引用过的某篇文献附录里有一张特定的数据表。任何单一线索都不足以锁定目标，但这些线索叠加起来，却能精确指向唯一一个人。

这正是真实科研文献检索的典型场景。研究者经常寻找的并非“关于某个宽泛主题的论文”，而是“同时满足一系列具体且苛刻技术条件的那一篇或那几篇”。关键证据往往隐藏在论文的方法细节、消融实验表格、图表说明、附录推导过程或复杂的参考文献链条中，而非简单的标题或摘要里。普通的网络搜索引擎，在此类任务上几乎无能为力。

更复杂的情形在于，有时符合条件的论文根本不存在，研究者需要在充分检索后得出“没有相关文献”的结论；有时则存在多篇，需要全部找出。这两种情况都要求AI具备深入的逻辑推理和精准的判断能力。

以往测试AI“网络搜索”能力的基准，如BrowseComp，主要考察其在通用网页上查找信息的能力。在这一领域，顶尖模型的准确率已能超过80%。但这些测试与真正的科研文献发现相距甚远——后者要求模型能够理解整篇论文的全文内容，掌握深度专业知识，在多篇论文间进行交叉引用和推理，并准确判断何时应停止搜索。这个巨大的能力鸿沟，正是AutoResearchBench试图精确度量的目标。

二、这把“尺子”是如何设计的

研究团队将科研文献发现拆分为两种典型任务模式，类似于侦探工作的两种基本形态：追踪特定目标，或列出所有符合某类特征的名单。

第一种任务称为**深度研究（Deep Research）**。给予AI一段精心构造的描述，其中包含多个相互关联且隐晦的技术线索，要求其在超过三百万篇论文的语料库中，找出唯一满足所有条件的那一篇——或判断其不存在。这考察的是精准定位与唯一性验证能力。评分标准极为严苛：要么完全答对，要么得零分。

第二种任务称为**广度研究（Wide Research）**。给予AI一段包含多个技术约束的查询，要求其找出所有满足条件的论文，既不能遗漏，也不能误增。这考察的是系统性覆盖与完整性核查能力。评分采用IoU（交并比），即模型找到的正确答案与标准答案的重叠部分，除以两者的合集总量。

整个数据集包含1000道高质量题目，其中600道为深度研究题，400道为广度研究题，覆盖计算机视觉、机器学习、自然语言处理、多模态、AI for Science、理论与算法、机器人与AI系统、AI安全与可信AI等八个计算机科学核心领域。

题目的构建过程本身，就确保了测试的高难度与可靠性。

对于深度研究题，团队首先筛选了一批技术含量高但“曝光度适中”的论文（通常被引用10到100次），排除了过于知名（可能被AI从训练数据中直接记忆）的论文，以及综述和大型技术报告。接着，标注专家仔细阅读论文全文，从方法细节、证明推导、局部实验、作者机构关系等处提取线索，并刻意回避标题、知名数据集名称、主要贡献等显眼信息。提取出的线索还需经过“主题模糊化”和“细节模糊化”两层处理，以减少关键词直接命中的可能性。最后进行“最小充分性剪枝”，保留刚好足够唯一确定目标论文的最少线索集合。

广度研究题的构建则从另一端出发。团队先在各个CS领域确定高层次研究主题，利用外部搜索工具获取初步候选论文池，然后用AI提炼这些论文的共同属性（如方法类型、数据集、评价指标等），构造出一个包含多维约束条件的初始查询。经过人工核验、反复扩充搜索、多模型投票（需三个高级模型全部同意才算通过）等步骤，最终确定每道题的完整正确答案集合。

验证流程同样严格，分为四个阶段：多种变体搜索测试、使用Claude和Gemini系列模型进行多轮自主搜索压力测试、人工限时10分钟搜索、唯一性语料库审计。只有通过所有四道关卡的题目才能最终保留。

这套构建与验证流程成本高昂：仅构建数据集就花费了约6700美元的API调用费用，人工专家累计投入约580小时，平均每道深度研究题消耗约17万token、每道广度研究题消耗约26万token。

三、顶尖模型的成绩单，揭示了巨大差距

测试结果正式出炉。研究团队评测了包括Claude Opus 4.6、Gemini 3.1 Pro Preview、GPT-5.4、Seed 2.0 Pro、Qwen3-Max、DeepSeek-V3.2等一系列当今最强模型，以及GPT Deep Research、AI Studio Gemini等端到端研究系统。

所有模型统一使用ReAct（推理+行动）框架，连接同一套DeepXiv学术搜索工具（一个覆盖三百万篇arXiv论文全文的专用搜索引擎），最多允许进行30轮搜索交互。

在深度研究任务上，表现最好的是Claude Opus 4.6，准确率仅为9.39%，意味着每100道题大约答对不到10道。排名第二的Gemini 3.1 Pro Preview达到7.93%，GPT-5.4为7.44%，其他模型大多在5%以下，表现最弱的模型准确率仅有1.94%。

在广度研究任务上，表现最好的是Gemini 3.1 Pro Preview，IoU为9.31%。GPT-5.4为8.12%，Seed 2.0 Pro为7.87%，DeepSeek-V3.2为7.70%，Claude Opus 4.6仅为6.56%。同样，大多数模型得分在5%以下。

对比鲜明的是，这些相同的模型在BrowseComp通用网页浏览测试上的得分可以轻松超过80%。如此巨大的性能落差表明，科研文献发现是一种与通用网页浏览截然不同的高阶能力，当前AI在此方面远未成熟。

一个值得关注的细节是，搜索轮数与最终成绩之间并非正相关。GPT-5.4在深度研究上平均只用6.1轮就达到7.44%的准确率，而DeepSeek-V3.2平均用了28.8轮却只达到4.21%。更多的搜索轮次并未带来更好的结果——当模型无法找到新证据时，往往会陷入无效循环，重复检索相似内容，或在没有新信息的情况下继续发出无意义的搜索请求。这说明，关键能力在于有效利用信息并进行精准判断，而非盲目增加搜索次数。

四、学术全文搜索与普通网络搜索的效果对比

研究团队还专门对比了两种搜索工具的效果：为学术场景深度优化的DeepXiv（提供全文检索）和普通的通用网络搜索（基于Jina搜索工具）。

使用同样的四个模型分别接入两种工具，结果显示DeepXiv在深度研究任务上具有显著优势。四个模型的平均准确率从使用DeepXiv时的5.42%，下降到使用网络搜索时的3.97%。原因很直接：深度研究题的线索深藏在论文内部——如方法细节、附录推导、局部数据——这些内容通常不会出现在标题、摘要或网页摘要里，必须阅读全文才能发现。普通网络搜索无法触及这一深度，因此效果更差、信息更碎片化，对多条件联合验证也更为困难。在广度研究任务上，DeepXiv同样表现出稳定的优势。

五、“让AI多思考一会儿”有用吗？推理模式的测试

研究团队测试了“思维链”模式（让模型在回答前进行更多显式推理）与标准模式的对比。结论出人意料：开启思维链模式并未带来稳定的性能收益，在广度研究任务上甚至普遍有害，而且会大幅增加任务的运行时间。

这个发现揭示了一个关键问题：在文献搜索这个特定场景里，更长的“思考”时间并不等同于更正确的推理。模型在额外的推理时间内，并未形成更优的证据搜集策略，而是将更多时间耗费在已有的不确定性上打转，消耗了计算资源却未能真正缩小搜索盲区。推理只有在能直接改善外部证据获取时才有价值，否则只是增加了延迟。

六、多次尝试能否提升成功率？规模扩展实验

研究团队进行了“测试时扩展”实验：对同一道题目，让模型运行多次，观察多次尝试能否提升最终成功率。对于深度研究任务，使用pass@k（k次尝试中至少有一次答对的概率）度量；对于广度研究任务，使用best@k（k次结果中最好一次的IoU）度量。

结论是：多试几次确实有帮助，但深度研究任务的提升幅度远大于广度研究。这个差异很有启发性：深度研究的失败往往是“搜索路径的脆弱性”——正确的论文本身是可以被找到的，但单次运行可能碰巧走错了推理路径。多次尝试可以覆盖不同的搜索策略，从而提升命中概率。而广度研究的问题更深层——多次运行的错误往往是同样的遗漏，说明模型在召回覆盖上存在系统性的能力盲区，单纯增加尝试次数无法弥补根本缺陷。

不同模型的规模扩展行为也有差异：例如，Kimi-K2.5在深度研究上从扩展中受益更多，而Gemini 3.1 Pro在广度研究上始终保持最强的性能。

七、错误在哪里？一次深度的失败模式剖析

为了更精准地理解模型失败的根源，研究团队对三个代表性模型（Gemini 3.1 Pro、Seed 2.0 Pro、Claude Opus 4.5）的错误案例进行了人工标注分析，归纳出一套系统的错误类型分类体系。

在深度研究任务上，主要有四类失败模式。第一类是“检索漂移与语义混淆”——模型找到了正确的研究领域，但认错了具体论文，例如将目标论文所引用的那篇当成了目标本身，或者混淆了两个高度相似的子领域。根本问题在于对全部约束条件的联合验证不够严格。第二类是“工具调用失败”——API请求格式错误、解析出错、执行中断等技术性故障消耗了搜索预算，中断了证据积累链条。第三类是“证据聚合与终止失败”——模型找到了大量相关线索，但始终未能将其整合成一个经过充分验证的确定性答案。第四类是“候选排序失败”——目标论文已出现在候选集中，但模型给出了错误的名次排序，最终选择了其他论文。

在广度研究任务上，失败模式则有所不同。Gemini 3.1 Pro最常见的错误（68%）是“语义边界错位”——找到的论文与正确答案在语义上很接近，但并非同一研究对象，说明其检索和排序机制基本正常，但最后一步的精确语义核查不足。Claude Opus 4.5的错误则几乎全是“无约束候选扩展”（85.3%）——大量召回却不进行严格过滤，召回率高但精准度极低。Seed 2.0 Pro则主要陷入“约束字面主义”（过于死板地进行字面匹配，排除了实际满足条件的论文）和“过早终止”（找到一个看似不错的候选就停止搜索）的双重困境。此外还有“专业知识盲区”——模型遇到不熟悉的专业术语时，即使正确的论文出现在搜索结果中也无法识别。

八、数字背后，揭示了哪些深层能力缺陷

综合来看，AutoResearchBench揭示的不仅是“AI搜论文不准确”这一表面现象，而是一组环环相扣的深层能力缺陷。

当核心证据被刻意模糊或深埋在全文深处时，当前模型普遍缺乏进行长程、严密推理以从海量语料中唯一定位目标的能力——即便是平均进行28.1轮搜索的Claude Opus 4.6，也在超过90%的题目上以失败告终。

在广度研究任务上，通用网络搜索倾向于使用短关键词，这在专业科研语境下会严重失灵。系统性管理假设空间、维护结果集的完整性，是模型目前明显不擅长的事情。扩张式搜索可能带来了足够的召回，但精准度低下；而保守型模型则因过早停止而错过了大量有效论文。

一个经过专门人工抽检验证的关键发现是：模型在广度研究任务上提交的那些“多余”答案（超出正确答案集的部分），有96%确实属于客观错误——它们违反了查询中明确说明的约束条件。这个高比例排除了“标准答案不完整”的干扰，证明低精准度主要是模型自身的推理与过滤能力问题。

这项研究完成了一项至关重要的量化工作：它清晰地度量了“AI能进行通用搜索”与“AI能完成科研级文献发现”这两者之间的巨大鸿沟。

当我们探讨AI辅助科研的未来时，很容易被AI在通用任务上的出色表现所迷惑，误以为科研辅助只是“难度稍高的搜索”。AutoResearchBench的测试结果告诉我们，这个判断严重低估了真实科研的复杂性。真正的科研文献发现要求模型能够读懂深度专业知识，能够在多篇论文之间进行交叉引用和跳转推理，能够判断何时证据已充分、何时应继续搜索，还能够在“精准定位唯一一篇”和“系统找全所有相关篇”这两种不同目标间灵活切换。这组综合能力，与“在网络上查找一篇新闻”所需的能力，属于完全不同的层次。

高达90%的性能差距摆在眼前。这并非悲观的论断，而是清醒的认知。下一代真正意义上能胜任科研辅助的AI，还有很长的路要走。对于研究AI推理能力边界的研究者而言，这份详尽的失败分析与性能基准，或许比任何一个漂亮的成功案例都更具价值。

Q&A

Q1：AutoResearchBench测试的是什么能力，和普通的AI搜索测试有什么本质不同？

A：AutoResearchBench专门测试AI在真实科研场景下进行复杂文献发现的能力，核心分为两类任务：一是在海量论文库中精准定位唯一满足多个隐蔽技术条件的论文（深度研究），二是系统性地找出所有满足某组科学约束的论文，要求无一遗漏（广度研究）。与普通搜索测试最大的区别在于，其关键线索深藏在论文全文的方法细节、附录、图表中，无法通过标题或摘要直接命中，且需要模型在多篇文献间进行连贯推理，并准确判断搜索终止的时机。

Q2：为什么在深度研究任务上，搜索轮次多的模型表现反而不如轮次少的模型？

A：测试发现，搜索轮次多并不等同于信息利用效率高。例如，GPT-5.4平均用6.1轮搜索达到7.44%的准确率，而DeepSeek-V3.2用了28.8轮却只达到4.21%。核心原因在于，当模型无法获取有效新证据时，容易陷入无效循环——反复进行相似的检索，或在缺乏新信息的情况下进行冗余推理，消耗了搜索预算却未能真正缩小不确定性。关键在于模型整合已有证据并做出精准判断的能力，而非盲目增加搜索次数。

Q3：在广度研究任务上，为什么模型的召回率和精准率很难同时做好？

A：广度研究要求模型同时实现高召回（找全所有相关论文）和高精准（严格排除不相关论文）。测试表明，不同模型在此上面临不同困境：例如Claude Opus 4.6倾向于大量召回但过滤不严，导致精准率极低；而Seed 2.0 Pro和GPT-5.4则容易过早停止搜索，导致召回不足。人工抽检进一步证实，模型多提交的“额外”答案中，高达96%确实违反了查询中的明确约束，这说明低精准率主要是模型自身的推理与过滤能力问题，而非数据集标注不全。在科研文献发现中，同时管理好“完整性”和“精确性”，是当前AI面临的核心挑战。