阿里云通义千问Qwen2开源模型,5尺寸支持128K上下文
通义千问系列模型升级至Qwen2,涵盖0 5B至72B共五个尺寸,全部标配分组查询注意力机制,上下文长度最高支持128Ktokens。新增27种语言训练数据,在代码、数学等能力上显著提升,Qwen2-72B超越Llama-3-70B等顶尖开源模型。
阿里云通义千问(Qwen)今日正式宣布,经过数月精心打磨,Qwen 系列模型完成了从 Qwen1.5 到 Qwen2 的重大升级,并已在 Hugging Face 和 ModelScope 平台同步开源。

这次 Qwen2 带来了哪些重磅升级?下面直接列出核心亮点:
共推出 5 种尺寸的预训练和指令微调模型:Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B
在中文和英语基础上,训练数据新增了 27 种语言的高质量语料
在多项权威评测基准上实现了领先表现
代码编写与数学推理能力提升明显
上下文长度大幅扩展,最高支持 128K tokens(Qwen2-72B-Instruct)
Qwen2 基础参数与配置
Qwen2 系列包含 5 种尺寸的预训练和指令微调模型:Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 与 Qwen2-72B,具体参数详见下表:
| 模型 | Qwen2-0.5B | Qwen2-1.5B | Qwen2-7B | Qwen2-57B-A14B | Qwen2-72B |
|---|---|---|---|---|---|
| 参数量 | 0.49B | 1.54B | 7.07B | 57.41B | 72.71B |
| 非 Embedding 参数量 | 0.35B | 1.31B | 5.98B | 56.32B | 70.21B |
| GQA | True | True | True | True | True |
| Tie Embedding | True | True | False | False | False |
| 上下文长度 | 32K | 32K | 128K | 64K | 128K |
值得注意的是,在 Qwen1.5 系列中,仅 32B 和 110B 的模型采用了 GQA(分组查询注意力)。而此次 Qwen2 全系列模型均标配 GQA,这意味着无论选用哪个尺寸的模型,都能享受到 GQA 带来的推理加速和显存占用降低等优势。
模型性能评测结果
与 Qwen1.5 相比,Qwen2 在大规模模型上的性能提升幅度相当显著。我们重点对 Qwen2-72B 进行了全方位评测。
在预训练语言模型评估中,与当前最优秀的开源模型相比,Qwen2-72B 在自然语言理解、知识、代码、数学、多语言等多个能力维度上,均显著超越了顶尖对手——例如 Llama-3-70B,甚至超过了 Qwen1.5 系列中最大的 Qwen1.5-110B。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:阿里云通义千问Qwen2开源模型,5尺寸支持128K上下文要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点腾讯发布混元文生图大模型加速库,生图时间缩短75%,支持ComfyUI界面与HuggingFace三行调用。作为业内首个中文原生DiT架构开源模型,支持中英双语输入,最低11GB显存。
StabilityAI推出StableAudioOpen1 0,专门用于生成鼓点、乐器乐段及环境音效等短音频片段,时长最长47秒。该模型遵循非商业研究社区协议开源,允许用户进行微调,训练数据源自FreeSound及免费音乐档案,确保不含版权材料,可用于研究和创作。
BestyAI全天候智能聊天助手,随时陪伴、建议与倾听。可智能回答天气、旅行攻略、烹饪技巧等问题,对话流畅,支持多语言,安全可靠。提供温暖交流与实用信息,让您随时随地获得帮助。
- 日榜
- 周榜
- 月榜
热点快看
