AMD首训AI大模型ZAYA1，挑战英伟达的全新硬件方案

11月25日消息，AMD公司在昨日（11月24日）发布公告，宣布与IBM及AI初创公司Zyphra携手合作，历时一年多的研发实践，成功利用AMD硬件平台训练出首个大型混合专家（MoE）基础模型ZAYA1。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

根据相关博文介绍，该模型是首个完全基于AMD硬件生态系统构建的大型混合专家（MoE）模型，其完整训练流程均在IBM云平台完成，全程采用AMD Instinct MI300X GPU、Pensando网络技术及ROCm软件平台。目前详细技术报告已在arXiv预印本平台发布。

为高效训练ZAYA1模型，三方共同构建了大规模、高可靠性的专用训练集群。该集群包含128个计算节点，每个节点配置8块AMD MI300X GPU，总计1024块GPU，通过AMD Infinity Fabric高速互联技术实现节点间高效通信。

该集群在实际训练中展现出卓越性能，峰值运算能力突破750 PFLOPs（每秒75亿亿次浮点运算）。为确保训练过程的稳定高效，Zyphra还专门开发了一套针对AMD平台深度优化的训练框架。

ZAYA1基础模型在预训练阶段使用了高达14万亿tokens的高质量数据，并采用了渐进式课程学习策略：从初期的非结构化网络数据，逐步过渡到结构更清晰、信息密度更高的数学、代码与推理数据。

基准测试结果显示，ZAYA1的综合性能与业界领先的Qwen3系列模型表现相当，同时优于SmolLM3、Phi4等主流开源模型。特别是在未经特定指令微调的情况下，其推理版本在数学和STEM等复杂推理任务上的表现已接近Qwen3的专业版本。

ZAYA1的优异性能还得益于其模型架构中的两项关键创新。首先，它采用了新颖的CCA注意力机制（压缩卷积注意力），通过在注意力模块内部引入卷积操作，显著降低了计算复杂度和显存占用。

其次，该模型改进了混合专家模型（MoE）中常用的线性路由机制，设计了全新的路由结构，提升了模型的表达能力和专家模块的专业化程度。这些创新共同解决了Transformer架构中的计算与内存瓶颈问题。

Zyphra表示，ZAYA1的成功发布只是第一步。目前公开的版本仅为基础模型预览，未来团队将发布经过完整后训练（post-trained）的模型版本，并提供更详尽的性能评测与训练经验分享。