新加坡国立大学发布AI评测新标准模拟研究员思维

如何科学评估人工智能的研究能力？这已成为当前AI发展的核心挑战。传统评测方法往往只关注最终输出结果，却忽视了研究过程本身，如同仅凭一份报告来评判研究员水平，显然无法全面衡量AI的真实研究潜力。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

2026年3月，一项突破性研究为此带来了转机。新加坡国立大学MiroMind团队联合南洋理工大学学者，在arXiv预印本平台发布了全新AI评测框架MiroEval（论文编号：arXiv:2603.28407v1）。该框架旨在为深度研究型AI设计一套全方位的“能力评估体系”，推动AI评测迈向新阶段。

传统AI评测方法的四大局限

现有AI研究能力评估体系主要存在四个根本性缺陷，导致评测结果往往失真。首先，评测过度聚焦最终报告质量，完全忽略研究过程，这好比仅凭菜品外观评价厨师，而忽视其刀工、火候等核心技艺。其次，评测缺乏多模态能力考核。真实研究涉及图表、PDF、数据表格等多种材料，而多数评测仍局限于纯文本。第三，任务设计过于理想化，缺乏真实用户需求的复杂性与动态变化。最后，评测标准更新滞后，难以跟上知识快速迭代的步伐。

MiroEval：从结果评价到过程诊断的范式转变

MiroEval框架的核心创新在于，它从传统的“阅卷式”评分，转变为全方位的“研究能力诊断”。该系统的基石是一个包含100个研究任务的评测集，其中70个为文本任务，30个为多模态任务。这些任务全部源于真实场景：一部分通过收集并改写真实用户需求生成；另一部分则基于网络热点趋势自动创建，确保了评测的实用性与时效性。

更重要的是，MiroEval的评估维度实现了根本性拓展，系统性地考察AI“如何思考”：

1. 综合报告质量评估： 全面评价研究报告的写作水准、结构组织与信息呈现能力。

2. 智能事实核查： 对报告中的关键声明进行自动化溯源验证，确保每一个结论都有可靠证据支撑。

3. 研究过程深度评估： 这是最具突破性的部分。系统通过分析AI的“思考轨迹”，评估其信息搜索策略、证据分析逻辑以及处理矛盾信息时的推理能力，完整还原从问题提出到报告成稿的全过程。

评测结果揭示AI研究能力的真实图景

研究团队对13个主流深度研究AI系统进行了全面测试，结果呈现出显著差异。不同系统在三个评估维度上表现各异，如同不同领域的研究员，各有所长。有的AI擅长撰写结构清晰的报告，但事实准确性不足；有的信息搜集能力强，却缺乏深度分析；还有的系统最终输出尚可，但研究过程却逻辑混乱。

一个关键发现是：研究过程的质量能够有效预测最终报告的质量。 那些在信息搜索、分析与推理环节表现优异的AI，其产出的研究报告质量也普遍更高。这有力证明了过程评估的独立价值与必要性。

多模态任务则暴露了当前AI的普遍短板。当任务需要整合图像、表格、PDF等跨媒介信息时，几乎所有系统的表现都出现显著下滑，得分普遍下降3-10分。这表明当前AI在跨模态理解与信息融合方面仍面临巨大挑战。

在所有受测系统中，MiroThinker系列表现最为均衡，尤其是MiroThinker-H1，在综合评估中位列第一。其在报告质量、事实核查与研究过程三个维度均达到高水平，展现了“全能型”AI研究助手的潜力。

框架的可靠性与行业意义

为确保评测可靠性，团队进行了大量稳定性测试与人工验证。结果显示，该框架的自动评估准确率达92%，与专家人工评估的一致性高达91%，具备高度的可信度。

这项研究的意义深远。它明确指出：深度研究AI的未来发展，不能仅优化最终输出，必须同步提升其内在的“思维过程”。这类似于现代教育更注重培养学生的学习方法与批判性思维，而非仅仅关注考试成绩。

随着AI深入金融分析、医学研究、法律论证等高价值领域，用户需求已从“获取答案”升级为“理解答案的推导过程”。MiroEval强调的过程透明度评估，正是提升AI可信度与可解释性的关键。其双路径任务生成机制也确保了框架能持续进化，通过吸纳真实用户反馈与追踪网络热点，使评测标准始终保持前沿性与实用性。

总之，MiroEval标志着一个新时代的开启：AI评测正从表面的“文字游戏”深入至机器的“思维内核”。这种范式转变将推动深度研究AI向更可靠、更智能的方向发展。未来，我们有望借助真正值得信赖的AI研究助手，它们不仅能提供严谨结论，更能清晰展现每一步推理逻辑，让用户放心地将更复杂的探索任务托付给它们。

当然，MiroEval目前也存在一些限制。例如，它要求AI系统能够公开其推理过程，这对某些封闭式商业系统可能构成障碍。此外，在面对冲突信息源时，系统能识别矛盾，但尚无法自动判断信源可信度。团队表示，将利用其可更新的任务生成机制，定期发布新版本评测集，确保该标准持续引领AI研究能力评估的前沿发展。

Q&A

Q1：MiroEval与传统AI评测方法的核心区别是什么？

传统方法主要评价AI产出的“最终报告”，而MiroEval的核心创新在于系统评估AI的“完整研究过程”。它从报告质量、事实准确性和研究过程（信息搜索、分析、推理）三个维度进行综合诊断，实现了从“结果评分”到“能力诊断”的范式转变。

Q2：为何多模态任务对AI系统构成普遍挑战？

多模态任务要求AI同时理解并整合文本、图像、表格、PDF等不同格式的信息，这对跨模态理解与信息综合能力提出了极高要求。测试结果表明，多数AI系统在此类任务上性能显著下降，揭示了当前技术在多媒体信息深度融合方面的瓶颈。

Q3：MiroEval评测结果的可靠性如何保障？

研究团队通过大规模专家人工验证、多轮稳定性测试以及不同评估模型的交叉对比来确保可靠性。数据显示，其自动评估准确率达92%，与专家评判的一致性为91%，证明了该框架具备高度的可信度与实用价值。