科学家：多数大语言模型测试标准存缺陷，难以客观评分

11月8日消息，科技媒体The Decoder今日报道称，牛津大学与华盛顿大学等机构联合发布的一项国际研究指出，目前大多数大语言模型的测试标准存在严重的方法论缺陷，这使得人们难以客观衡量人工智能的真实进展。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

研究人员系统梳理了2018至2024年间顶级人工智能学术会议发布的445篇基准测试论文，这些会议涵盖ICML、ICLR、NeurIPS、ACL等权威平台。在邀请29名领域专家进行评审后，发现这些论文均存在至少一个重大方法论漏洞。

研究报告显示，这些基准定义中普遍存在术语模糊或概念争议的问题。虽然78%的基准能够说明测试内容，但其中半数未能清晰定义"推理""对齐""安全性"等核心概念，导致研究结论缺乏可信度。

值得注意的是，约61%的基准测试评估了复合型能力，例如"智能体行为"。这类测试通常同时涉及意图理解、结构化输出生成等多个子任务，而这些子任务鲜少被单独评估，导致最终结果难以合理解读。

数据采样方法也是基准测试的另一个薄弱环节。约93%的论文采用便利抽样，12%完全依赖便利抽样，这些样本无法代表真实使用场景。此外，38%的测试复用了现有数据集，许多研究甚至直接使用其他测试集。这种做法可能扭曲大语言模型的实际表现，无法真实反映模型在复杂数学推理方面的能力水平。

此外，超过80%的研究使用"完全匹配率"作为评分标准，但仅16%采用统计校验方法来比较不同模型间的差异，还有13%使用人工评判。大多数测试未能提供不确定性统计或置信区间，严重削弱了结果的可信度。

研究团队也提出了具体改进建议。他们强调后续测试需要明确定义测试目标和边界，确保评估过程不掺杂无关任务，同时需要防范数据污染问题。建议采用严谨的统计与误差分析方法，从定量和定性两个维度着手，让研究结论更加准确可靠。