通义千问Qwen2.5开源性能比肩Llama3.1-405B
通义千问Qwen2 5开源,媲美Llama3 1-405B 今天早些时候,阿里正式发布了新一代语言模型——Qwen2 5,同时推出了专攻编程的Qwen2 5-Coder和聚焦数学的Qwen2 5-Math。这次发布覆盖了相当完整的产品线: Qwen2 5:包含0 5B、1 5B、3B、7B、14B、
通义千问Qwen2.5开源,媲美Llama3.1-405B
今天早些时候,阿里正式发布了新一代语言模型——Qwen2.5,同时推出了专攻编程的Qwen2.5-Coder和聚焦数学的Qwen2.5-Math。这次发布覆盖了相当完整的产品线:
- Qwen2.5:包含0.5B、1.5B、3B、7B、14B、32B、72B共计七个尺寸
- Qwen2.5-Coder:1.5B、7B版本已上线,32B版本即将推出
- Qwen2.5-Math:1.5B、7B、72B三个版本同步发布
所有模型都在一个规模庞大的最新数据集上完成了预训练——数据量高达18T tokens。相比前代,新模型在指令执行、长文本生成(超过8K tokens)、结构化数据理解(比如表格),以及JSON等结构化输出方面,改进相当明显。还有个细节值得关注:Qwen2.5整体上对各类system prompt的适配性更强了,这对角色扮演和聊天机器人的条件设置无疑是个利好。和Qwen2类似,新系列支持128K tokens的上下文,单次最大输出可达8K tokens。语言覆盖也保持了29种以上,包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等。具体参数信息,可以参照下表中的数据。
专业领域这边,Qwen2.5-Coder和Qwen2.5-Math相比前身CodeQwen1.5和Qwen2-Math,进步堪称实质性的。Qwen2.5-Coder的训练数据中包含了5.5 T tokens的编程相关语料,这使得即使是小尺寸的编程专用模型,在编码评估基准上也表现出了媲美大型语言模型的竞争力。而Qwen2.5-Math则同时支持中文和英文,并且整合了多种推理方法——包括CoT(思维链)、PoT(程序思维)和TIR(工具集成推理)。
以下是整体的模型参数信息介绍:
模型性能
从基准测试结果来看,Qwen2.5-72B的指令调优版本表现相当亮眼。在多个评测维度上,它不仅全方位领先Llama3.1-70B,甚至在部分指标上优于Llama3.1-405B。这意味着什么?一款72B参数的开源模型,直接对标了405B的顶级闭源模型。
基础语言模型方面,Qwen2.5-72B同样达到了顶级水准,与Llama-3-405B这样的大参数模型对比也丝毫不落下风。
这次Qwen2.5还重新发布了140亿参数和320亿参数两个版本——Qwen2.5-14B和Qwen2.5-32B。两款指令微调模型在多样化任务中,都超越了同等规模甚至更大规模的基线模型,比如Phi-3.5-MoE-Instruct和Gemma2-27B-IT。
小参数模型这边,Qwen2.5-3B令人印象深刻。仅凭借约30亿参数,就实现了与Qwen2-7B、Llama3-8B、MiniCPM3-4B同等的性能,高效得不像话。
再看编程模型,Qwen2.5-Coder在多个基准上基本全方位领先于DeepSeek-Coder 33B-Instruct和CodeStral-22B等竞品。
至于Qwen2.5-Math,相比上个月刚发布的Qwen2-Math,它在更大规模的数学相关数据上进行了预训练,并增加了对中文的支持。通过引入CoT、PoT和TIR三种推理方式,其推理能力得到明显加强。Qwen2.5-Math-72B-Instruct的整体性能,已经超越了Qwen2-Math-72B-Instruct和GPT4-o。即便是最小的专业模型Qwen2.5-Math-1.5B-Instruct,也能在与大型语言模型的竞争中展现出极强的竞争力。
支持框架
生态层面,Qwen2.5可以说得到了从训练到部署的全方位支持:
- 微调:ChatLearn、Llama-Factory、Axolotl、Firefly、Swift、XTuner、Unsloth、Liger Kernel
- 量化:AutoGPTQ、AutoAWQ、Neural Compressor
- 部署:vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI
- API平台:Together、Fireworks、OpenRouter
- 本地运行:MLX、Llama.cpp、Ollama、LM Studio、Jan
- Agent与RAG框架:Dify、LlamaIndex、CrewAI
- 评测:LMSys、OpenCompass、Open LLM Leaderboard
- 模型训练:Arcee AI、Sailor、Dolphin、Openbuddy
还需要提一句,昨天发布的Ollama 0.3.11版本已经支持了Qwen2.5,本地跑起来更方便了。
参考
官方博客:https://qwenlm.github.io/zh/blog/qwen2.5/
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:通义千问Qwen2.5开源性能比肩Llama3.1-405B要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点最近留意到一款AI聊天机器人构建工具——Craftman,它的核心思路很有意思:让企业或个人能用自己已有的数据来训练ChatGPT,然后直接嵌入到网站上做智能客服或问答助手。简单来说,就是把通用大模型变成你的专属知识库响应系统。什么是Craftman?Craftman是一个AI聊天机器人构建平台,允
如果告诉你,现在借助AI技术就能一键生成时长16秒、分辨率达1080P的高清视频,并且画面流畅自然、物理规律真实可信,你是不是觉得有些不可思议?事实上,这就是Vidu——由中国生数科技与清华大学联合打造的全球首个长时长、高一致性、高动态性视频大模型。它采用独创的Diffusion与Transform
想象一下,你拥有一个庞大而复杂的知识库,里面堆满了各类文档、PDF文件以及YouTube视频教程。过去想要查找某份资料,往往需要翻遍目录、反复尝试关键词搜索,效率低下令人困扰。如今,借助Hansei这款知识库管理工具,一切变得轻松高效——你只需像与朋友聊天一样,用自然语言提出需求,AI助手就能从你的
Blinkn是基于ChatGPT的智能电商购物助手,具备语义理解、精准产品推荐与比较、多语言支持等功能,可与主流平台无缝集成并个性化定制,提供7×24小时实时客服,高效解决购物疑问,显著减少决策摩擦,提升转化率与用户体验。
- 日榜
- 周榜
- 月榜
热点快看
