腾讯正式开源Hunyuan-Large大模型 389B总参数成为业界最大基于Transformer的MoE模型
腾讯近期重磅开源了Hunyuan-Large大模型，这是一枚真正的“核弹”——总参数量高达3890亿（389B），激活参数达520亿（52B）。官方直接宣称：这是目前业界已开源且基于Transformer架构的最大规模MoE模型。 开源动作相当干脆：Hugging Face上一次性发布了三个版本——
腾讯近期重磅开源了Hunyuan-Large大模型，这是一枚真正的“核弹”——总参数量高达3890亿（389B），激活参数达520亿（52B）。官方直接宣称：这是目前业界已开源且基于Transformer架构的最大规模MoE模型。
开源动作相当干脆：Hugging Face上一次性发布了三个版本——预训练版（Hunyuan-A52B-Pretrain）、指令微调版（Hunyuan-A52B-Instruct）以及FP8量化版（Hunyuan-A52B-Instruct-FP8）。与此同时，配套的技术报告和训练推理操作手册也一并公开，模型能力、训练细节、推理操作全部透明化呈现。
具体技术优势上，有几个亮点值得展开说明：
- 高质量合成数据：利用合成数据开展增强训练，模型能够学到更丰富的特征表示，轻松应对长上下文输入，泛化能力自然更强。
- KV缓存压缩：通过分组查询注意力（GQA）与跨层注意力（CLA）两项技术，有效降低推理过程中的显存占用和计算开销，显著提升吞吐量。
- 专家特定学习率缩放：为每个专家子模型分别匹配不同的学习率，确保每个模块都能真正学到有效知识，避免被平均水平“拖后腿”。
- 长上下文处理能力：预训练模型支持256K文本序列，Instruct模型支持128K，为长文档、长对话等场景提供了更扎实的技术基础。
- 广泛基准测试：在多语言、多任务场景下完成了全面实验，效果表现与安全性均已得到验证。
相关资源一并附上：
- 技术论文：https://arxiv.org/pdf/2411.02265
- Github仓库：https://github.com/Tencent/Tencent-Hunyuan-Large
- Huggingface模型页：https://huggingface.co/tencent/Tencent-Hunyuan-Large
- 腾讯云产品页：https://cloud.tencent.com/product/hunyuan
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：腾讯正式开源Hunyuan-Large大模型 389B总参数成为业界最大基于Transformer的MoE模型要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点Wasento是一款专为视频创作者打造的AI配音Chrome扩展，支持无限请求和字符，提供9种语言78种语音选项。其TTS模型生成的语音自然流畅，带有停顿和语调起伏，操作简便，适合快速大量产出配音内容。
Readio是一款可将PDF文件直接转换为有声书的工具，界面简洁直观，支持20多种语言及文本翻译。用户导入文档后即可收听，播放速度可自由调节，并配备单词高亮自动滚动和黑暗模式，提供沉浸式听书体验。
VoisiAI平台集成文本转语音、语音转文本、多语言翻译等丰富功能，整合多家顶级人工智能引擎，提供数百种逼真音色，并支持语音克隆、音乐生成、对话创建及工作流自动化，为各类语音应用场景提供高效解决方案。
FineVoice云端AI语音生成工具，覆盖语音克隆、文本转语音、AI旁白等全链路功能。用户输入文本或上传音频样本即可快速生成专业级旁白，操作极为简便，无需专业技能，零门槛快速上手使用，适用于广告、教育、自媒体等多种场景。
- 日榜
- 周榜
- 月榜
热点快看