OpenKG发布大模型知识增强综合能力评测榜单OneEval

OneEval：大模型知识增强能力评测，到底在测什么？

先来聊聊这项评测的发起初衷。目前市面上已有不少大模型能力评估榜单，像MMLU、CMMLU、C-Eval大家都很熟悉，它们主要衡量模型在通用知识问答、指令遵循、对话交互和安全防护等方面的基础功底。但一个核心问题逐渐浮出水面——模型在实际应用中，往往需要结合外部知识库才能完成推理任务。举个例子，企业希望AI查阅内部表格后回答业务问题，医生要求AI结合病历库给出诊断建议，这类场景的关键，并非模型“记住了多少知识”，而是它“能不能灵活运用给它的知识库”。

正是看准了这一空白，OpenKG推出了OneEval——一个专注于评估“大模型+知识库”融合能力的专业评测榜单。它不考察死记硬背，也不测试简单问答，而是聚焦于模型在面对文本、表格、知识图谱、代码这四类知识载体时，能否实现深度理解和复杂推理。说得更直接些，就是考验模型的“慢思考能力”和“神经符号混合推理能力”。

1. 为什么要打造这个榜单？

近年来大语言模型发展迅猛，从OpenAI o1到DeepSeek R1，从Grok 3到Claude 3.7 Sonnet，推理能力肉眼可见地持续跃升。但现有评测体系的短板也十分明显：它们大多聚焦于“模型内化的知识”，却忽视了模型在处理多类型、异构知识时的真实表现。打个比方，你问模型“法国大革命发生在哪一年”，它可能脱口而出；但如果你递给它一份法律文书和一张表格，让它判断某个情节是否构成侵权，那完全是另一回事了。

OneEval V1.0正是为此应运而生。它涵盖十个典型任务，涉及文本、表格、知识图谱、代码四类知识载体，覆盖通用、医学、政务、科学、法律与编程六大领域。整套评测框架的设计初衷，就是为了系统化地衡量模型“理解知识、运用知识、推理知识”的综合素养。

图1 OneEval评测框架示意图

该榜单由OpenKG SIGEval工作组持续维护，评测数据和结果会定期更新，并且在流程中嵌入了防作弊机制，包括样本变体生成、模型输出标准化、多次采样验证、对抗性问题构造等手段。目标是让评测结果尽可能科学、透明、公平。

2. 现有评测体系存在哪些不足？

目前市面上的大模型评测，大致可归为四类：知识考察型（如MMLU、CMMLU、CEval）、指令遵循型（如LLMBAR、Flan）、聊天对话型（如CoQA、MT-Bench）和安全风险型（如DecodingTrust、HarmBench）。每一类都有自己的侧重点，但有一个共同的盲区——缺乏对“复杂知识库推理”的系统化评估。

再看那些综合性排行榜。HuggingFace的Open LLM Leaderboard整合了MMLU-Pro、GPQA、MATH等六个基准；上海AI Lab的OpenCompass构建了六个维度的评测框架；北京智源的FlagEval则整合了30多项能力维度。这些榜单覆盖面虽广，但知识载体较为单一，尤其缺少对知识图谱、代码和表格这类结构化知识库的专项测试。

OneEval要做的，正是填补这一空白：构建一个统一的、跨知识源、多领域的复杂知识库推理评测框架。

3. 评测数据集长什么样？

OneEval V1.0的数据集，主要基于OpenKG自建或整理的公开资源。第一批十个推理评测数据集，覆盖了结构化与非结构化、显性与隐性等多种知识形态。相比MMLU和BigBench这类通识评测，OneEval的数据集具备更强的“知识特异性”和“任务复杂度”。

表1 OneEval评测数据集来源信息

3.1 知识库类型

OneEval V1.0涉及四种知识库：

• 文本知识库：非结构化文献与文档，用于测试模型在复杂语境下的语义建构和信息抽取能力。
• 表格知识库：结构化表格数据，考查模型对数值、分类与层级信息的处理和计算能力。
• 知识图谱：实体-关系三元组构成的语义网络，评估模型的多跳推理和关系识别能力。
• 代码知识库：函数文档、源代码与API说明，聚焦代码补全和自然语言到代码的生成能力。

表2 OneEval评测数据集任务类型与统计信息

3.2 任务类别

根据知识库类型，任务分为四类：

• 文本推理：基于非结构化文本知识库，进行语义理解与推理。
• 知识图谱推理：借助结构化知识图谱的三元组，进行多跳推理或纠错。
• 表格推理：对表格数据进行计算、比较、聚合等操作。
• 代码推理：基于代码知识库，生成或理解程序代码。

3.3 领域类别

覆盖六个关键知识领域：

• 通用：百科全书式综合知识。
• 医疗：涉及生理学、药理学与临床医学。
• 政务：聚焦中文政策条文与行政流程。
• 科学：整合生物、材料科学文献及生物医药知识图谱。
• 法律：源自真实法律文书，考查法律条文与案例事实的结合推理。
• 编程：来自GitHub的开源代码库，涵盖300+依赖库和2000+ API版本。

图2 OneEval评测数据集领域信息

3.4 OneEval-Hard：高难度推理集

为了提升评测的区分度，团队还人工构建了一个困难样本子集——OneEval-Hard，共1285个样本。这些样本聚焦于多步推理、隐式知识关联和跨域知识整合，难度明显升级，专门用来暴露模型的推理薄弱环节。

4. 评测框架怎么设计的？

OneEval的评测框架，核心思路是保持LLM参数不变，让模型在接收到用户输入和外部知识上下文后，进行推理并生成答案。整个过程更像是在模拟真实应用场景中的“知识增强式推理”。

4.1 带知识上下文的提示

每个测试样本的提示由三部分组成：任务指令、标准化后的用户输入、以及从对应知识库中检索出的上下文信息。所有结构化数据（如表格、三元组）都会转换成文本格式，以适配LLM的输入接口。

4.2 外部知识检索范式

评测重点在于模型对知识的理解与运用能力，而非检索能力。因此，采用统一的Dense Retrieval范式，基于用户输入与知识片段之间的稠密向量相似度排序，选取top-k片段作为上下文。这种检索方式会引入一定噪声，反而更贴近真实场景，也能顺便测试模型对不完美信息的鲁棒性。

S(q, K) = cos(q, K)

4.3 评测对象

第一批评测对象涵盖了多个国内外代表性模型，包括开源与闭源、不同参数规模和技术路线的LLM。

表3 评测对象统计信息

4.4 评测指标

采用多维度指标体系：各任务使用准确率、F1分数或ISM@1；综合评分为所有任务得分的平均值。

5. 核心实验结果

5.1 OneEval整体榜单

表4 OneEval评测榜单

Grok 3以55.82%的平均得分位列第一，知识库利用与综合推理能力确实突出。值得关注的是，国产模型QWQ-32B、Hunyuan Turbo和Qwen 2.5-72B紧随其后，表现稳健，说明国产模型在知识增强场景下的进步势头明显。

相比之下，GPT-4o、DeepSeek R1等主流模型并未展现出明显优势，而中小规模模型如Baichuan2-7B、Llama3.1-8B得分偏低——这也进一步印证了，在复杂知识推理任务中，模型的知识广度与深度仍然是决定性因素。

5.2 OneEval-Hard结果

表5 OneEval-Hard评测榜单

进入高难度子集后，所有模型得分整体下降，说明难度确实拉高了。Grok 3依然以26.57%位列第一。OpenAI o1和Hunyuan Turbo保持稳定。QWQ-32B、Qwen2.5-72B虽有回落，但在面对迷惑性和歧义性更强的任务时，也展现了后续提升的潜力。DeepSeek-R1-671B在Hard子集中的排名比全集有所上升，而GPT-4o下降了两名，说明其在复杂知识整合与深层推理上仍有优化空间。

5.3 不同知识库类型的推理表现

文本推理：Hunyuan-turbo以78.76%领先，主要得益于其在中文医学文献和英文生物文献上的理解优势。GPT-4o和Claude 3.7 Sonnet表现中等，暴露了在中文或特定领域文本推理上的短板。

图3 文本推理实验结果

知识图谱推理：Grok 3以42.53%的成绩领跑，多跳推理和结构化知识校验能力突出。DeepSeek-R1-671B和DeepSeek V3紧随其后。值得注意，Hunyuan-turbo和GLM4-9B虽在文本推理上表现出色，但在此类任务中得分偏低，反映出不同模型对结构化与非结构化知识的处理能力有明显差异。

图4 知识图谱推理实验结果

表格推理：Grok 3以76.50%夺魁，DeepSeek-R1-671B（74.30%）和QWQ-32B（70.50%）紧随其后。GPT-4o和DeepSeek V3准确率接近70%。相比之下，Claude 3.7 Sonnet仅得28.30%，Baichuan2-7B更是只有4.80%——差距十分悬殊。

图5 表格推理实验结果

代码推理：GPT-4o以66.50%位居榜首，DeepSeek-R1-671B（65.60%）和Grok 3（64.00%）紧随其后。Doubao-pro和GLM4-9B也取得不俗成绩，说明部分国产模型在代码理解上已有显著突破。

图6 代码推理实验结果

5.4 不同领域的表现对比

通用领域：Grok 3最佳，DeepSeek-R1-671B和DeepSeek V3优于GPT-4o。有趣的是，Qwen 2.5-72B和QWQ-32B虽然参数量差一倍，但表现几乎持平——轻量级模型的性价比优势显现。

图7 通用领域表现排名

医疗领域：Hunyuan-turbo以84.50%遥遥领先，显示其在医疗知识上的深度训练。QWQ-32B、Qwen 2.5-72B、DeepSeek V3和GPT-4o均处于59%左右的中高水平。

图8 医疗领域表现排名

政务领域：各模型表现相对接近。Qwen2.5-7B、Grok 3、DeepSeek-R1-671B位列前三——小模型（7B）也能在政策类任务中取得不错效果，说明这类任务更依赖语言模式识别和规则理解。Claude 3.7 Sonnet排名垫底，中文政务场景下的局限性比较明显。

图9 政务领域表现排名

编程领域：GPT-4o领跑，DeepSeek-R1-671B和Grok 3紧随其后。Claude 3.7 Sonnet、Qwen2.5-7B、Llama3.1-8B及Baichuan2系列得分较低，代码处理能力存在明显短板。

图10 编程领域表现排名

科学领域：Llama3.1-70B和Grok 3领先。GPT-4o仅得48.75%，未能进入前五。Hunyuan、Qwen系列和GLM4-9B表现优异。值得关注的是，一些小参数量模型（8B、9B）也在该领域取得了不错的结果。

图11 科学领域表现排名

法律领域：Hunyuan-turbo以83.87%相对领先。QWQ-32B和Qwen 2.5-72B表现较为突出。Grok 3、DeepSeek V3和Baichuan2-7B表现相对不足，说明在法律类任务中存在一定短板。

图12 法律领域表现排名

5.5 多维度能力对比

综合来看，不同模型各有所长：Hunyuan-turbo适合文本理解类任务，Grok 3在知识图谱和表格推理上表现较好，DeepSeek-R1-671B和GPT-4o则在代码推理上竞争力强。选择模型时，确实需要根据具体应用场景和任务类型来权衡。总体而言，这些LLM在理解和运用知识图谱的能力上，仍存在明显局限。

图13 不同知识库类型下的模型表现

图14 不同领域下的模型表现

6. 案例分析：模型都错在哪？

为了更深入地理解模型在OneEval中的表现，团队对具体案例进行了逐模型分析，并归纳了主要错误类型。

6.1 文本推理：法律事实核查

测试案例涉及“飞机喷洒农药导致养鸡场损失”的侵权责任判定。案例中，法律声明为“甲公司应当对没有因果关系承担责任”。解题关键在于识别出环境侵权属于因果关系倒置的适用情形，被告需就无因果关系承担证明责任。

结果很有意思：只有QWQ-32B答对。大部分模型忽略了一个关键细节——“证明责任也是责任”。Claude-3.7-Sonnet和o1没能识别这一点；GPT-4o完全没捕捉到“喷洒农药”与“环境污染”的关系；Deepseek-R1推理过程中产生大量无关内容，自问自答，偏离了核心问题。

归纳来看，模型存在三个突出问题：（1）专业术语理解不深，容易混淆归责概念；（2）缺乏隐含前提的推理能力，无法建立常识性关联；（3）长推理链中容易跑偏。

6.2 知识图谱推理：谱系关系推理

测试问题是：“伊丽莎白·克里斯蒂娜的女儿的女婿是谁，同时他又是查理十世的哥哥？”正确结果是路易十六。

只有o1答对。Deepseek-R1错误认为查理十世的哥哥是路易十八；QWQ-32B只做了表面三元组匹配，没有进行实际谱系推理；Grok-3推理到一半就断了。模型普遍依赖浅层三元组链接，缺乏连贯的多跳推理能力。

6.3 表格推理：连续胜场统计

给出一个橄榄球比赛结果表格，需要找出Air Force在奖杯时代的最大连胜次数。正确答案是7。o1、Deepseek-R1、QWQ-32B、GPT-4o和Grok-3都答对了。但Claude-3.7-Sonnet却只识别出2连胜，明显遗漏了大量连续的胜场记录，时间线分析能力偏弱。

6.4 代码推理：版本敏感API生成

测试要求模型生成代码，且必须使用特定版本的API（_legacy_add_rows）。结果所有模型普遍未能识别API的版本依赖，生成的代码缺少版本限定。即使是QWQ-32B和Claude-3.7-Sonnet，虽然核心功能实现正确，但要么没包含版本限定API，要么输出格式不符合要求。反映了模型对细粒度技术信息的敏感度不足。

7. 关键问题与讨论

基于以上案例，团队归纳出当前大语言模型在知识推理类任务中面临的五个关键问题：

(1) 长推理链导致指令遗忘。模型的推理链越长，越容易在过程中忘记用户的原始指令。QWQ-32B在代码推理任务中，虽然思考过程提到了格式要求，但输出却没有遵守。

(2) 过度思考引入边缘假设干扰。Deepseek-R1在文本推理中，本来已经判断出“环境污染导致法律责任”，却又在长链推理中引入了“飞机噪音惊吓动物”等低概率假设，导致偏离正确路径。

(3) 缺乏对细粒度外部知识的理解。多数模型在处理版本敏感代码生成时，未能体现对细粒度上下文知识的把握。即使上下文中有明确的版本限定信息，模型也未能有效利用。

(4) 难以构建深层推理链。在知识图谱推理中，模型普遍依赖浅层三元组链接，推理结果片段化，缺乏连贯逻辑结构。

(5) 常识性因果关系的利用不足。部分模型在识别“喷洒农药可能导致环境污染”这类常识性因果关系时表现不佳，反映出先验知识的掌握和应用仍有差距。

8. 总结与展望

OneEval V1.0已经为“大模型+知识库”融合能力评估提供了一个系统化的框架。首批十个任务覆盖了文本、表格、知识图谱、代码四类知识形态和六大领域，初步勾画出了当前主流大模型在知识增强场景下的能力图谱。

未来，OneEval将持续进行周期性更新，纳入更多由OpenKG自主研发的评测方法与数据集，重点关注大模型在知识增强驱动下的慢思维与神经符号集成推理能力，支持大模型向“知识深、思维强”的方向持续演进。

当然，理解到构建一个完全客观、公正、可重复的大模型评测榜单本身就是一项极具挑战的工作。当前的评测框架仍有不足：受限于时间和资源，可能存在个别结果的偏差，模型覆盖范围有限，知识检索机制相对简单，防作弊策略也有待完善。期待未来能与更多研究者携手，共同推进评测体系的持续优化。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：OpenKG发布大模型知识增强综合能力评测榜单OneEval要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题