云天励飞研发推理芯片采用3D堆叠存储技术

近日，云天励飞在最新披露的投资者交流纪要中，系统阐述了其面向下一代人工智能的推理芯片研发蓝图。该芯片的核心创新围绕其自主研发的GPNPU架构展开，旨在从底层系统性破解当前大模型在推理部署中普遍面临的效率瓶颈与高昂成本难题。其技术战略主要聚焦于四大关键维度。

一、GPGPU级通用编程能力：破解“易用性”与生态迁移难题

当前国产芯片推广常面临生态壁垒高、用户迁移成本巨大的现实挑战。针对这一痛点，云天励飞的GPNPU架构将“通用编程能力”置于优先地位。该架构强调对CUDA等主流开发环境与编程模型的兼容与高效迁移支持，这意味着企业客户与开发者基于现有主流框架训练的大模型，能够以极低的改造成本和风险，平滑部署到新的国产芯片平台上。这一设计显著降低了技术切换门槛，为国产AI芯片的规模化应用扫清了关键障碍。

二、极致能效的NPU内核：专为推理场景优化，追求极致性价比

卓越的通用性是基础，而推理芯片的终极竞争力则在于能效比。云天励飞的第二项技术重点，是对专用NPU计算内核进行深度定制优化，使其计算单元、数据流与控制逻辑完全匹配Transformer等主流模型的推理计算特征。其核心目标是在给定的单位功耗预算内，释放出更高的实际推理吞吐量，从而直接提升从云端到边缘侧AI推理任务的整体性价比。这对于需要7x24小时持续运行或大规模部署的AI应用而言，是降低总体拥有成本的核心。

三、引入3D堆叠存储架构：突破制约算力的“内存墙”瓶颈

随着大模型参数规模持续增长，传统冯·诺依曼架构中存储与计算分离导致的“内存墙”问题日益突出，数据搬运的延迟与功耗往往成为算力利用率的主要瓶颈。为此，云天励飞在其新一代推理芯片中创新性地引入了3D堆叠存储技术。该技术通过先进的封装工艺，将高带宽存储器与计算核心在三维空间进行垂直集成，极大缩短了数据交互的物理距离。其效果是实现了远超传统架构的数据带宽与极低访问延迟，确保了强大的计算单元能够获得持续、高速的数据供给，从而显著提升芯片的整体计算效率与能效。

四、算力积木架构：灵活构建Scale-up超节点，应对万亿参数模型

为应对未来万亿参数乃至十万亿参数级别的MoE专家混合模型对算力的海量需求，单芯片算力已显不足。云天励飞基于其在国产工艺平台上长达五年的技术积淀，提出了创新的“算力积木”系统架构。其核心理念是将高性能的芯片单元作为基础“积木块”，通过先进的片间互连技术，像搭积木一样灵活构建出机架级甚至集群级的Scale-up超节点。这种架构能够实现算力的近乎线性扩展，并提供高带宽、低延迟的互联网络，从而满足超大规模模型训练与推理对庞大体量算力和高效数据协同的极致要求。

终极目标：实现推理成本指数级下降，加速AI应用普惠化

集成上述四大技术路径，云天励飞的最终目标清晰而坚定：通过从架构到工艺的底层系统性创新，实现大模型推理Token成本的指数级降低。只有当推理成本降至足够亲民的水平，大模型技术才能真正走出实验室与头部企业的试点，在千行百业中实现大规模、可持续的商业化落地与应用普惠。这不仅是单一芯片产品的成功，更是推动人工智能产业从技术探索迈向全面繁荣的关键基石。