斯坦福评测榜Claude3登顶阿里Qwen2等国产入前十

斯坦福大学基础模型研究中心（CRFM）于6月11日发布了一份备受关注的大模型评测榜单——大规模多任务语言理解能力评估（MMLU on HELM）。结果显示，综合排名前十的模型中，有两款来自中国厂商，分别是阿里巴巴的Qwen2 Instruct（72B）和零一万物的Yi Large（Preview），引起业界广泛关注。

该评测基于Dan Hendrycks等人设计的测试方法，专门用于衡量文本模型在多任务学习中的准确率。测试内容涵盖基础数学、美国历史、计算机科学、法律等57个任务——简而言之，模型要想取得高分，必须具备广泛的世界知识和扎实的推理能力。以下是完整的排名榜单：

▲ 图源斯坦福大学基础模型研究中心官网

• 1、Claude 3 Opus（20240229）：Anthropic（美国，亚马逊投资）
• 2、GPT-4o（2024-05-13）：OpenAI（美国）
• 3、Gemini 1.5 Pro：谷歌（美国）
• 4、GPT-4（0613）：OpenAI（美国）
• 5、Qwen2 Instruct（72B）：阿里巴巴（中国）
• 6、GPT-4 Turbo（2024-04-09）：OpenAI（美国）
• 7、Gemini 1.5 Pro（0409 preview）：谷歌（美国）
• 8、GPT-4 Turbo（1106 preview）：OpenAI（美国）
• 9、Llama 3（70B）：Meta（美国）
• 10、Yi Large（Preview）：零一万物（中国）

先来看看阿里此次的表现。Qwen2是阿里巴巴开源的大语言模型，今年6月6日刚刚发布，动作十分迅速。整个系列包含五个不同规模的预训练及指令微调模型：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。训练数据覆盖了英语和中文之外的27种语言，其中Qwen2-7B-Instruct和Qwen2-72B-Instruct支持长达128K个token的上下文——这一长度在开源模型中相当能打。

再看零一万物的Yi Large。这是一款闭源大模型，Yi系列基于6B和34B的预训练语言模型，并延伸出聊天模型、200K长上下文模型、深度升级模型和视觉语言模型。官方宣称Yi Large在关键基准测试分数上超越了GPT-4和Claude 3 Opus等领先模型。当然，榜单上它排名第十，但能挤进前十，已经充分说明中国厂商在大模型赛道上绝非陪跑角色。

总体来看，这份榜单透露出两个信号：一是头部模型仍以美国厂商为主（Anthropic、OpenAI、谷歌、Meta），但中国力量正在快速追赶；二是开源与闭源的界限越来越模糊——阿里走开源路线，零一万物走闭源路线，两种策略都能产出高水准成果。接下来，就看下一轮评测中，谁会冲进前五。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：斯坦福评测榜Claude3登顶阿里Qwen2等国产入前十要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题