英伟达AI新架构解析：1PB单台服务器如何缓解NAND短缺

在2026 年国际消费电子展（CES）上，英伟达CEO黄仁勋发布了Vera Rubin AI 超算平台，并推出推理上下文内存存储（ICMS）—— 这一被视为AI存储架构革新的方案，正为 NAND闪存与SSD开辟全新的AI推理应用场景。现场展示的独立黑色存储机架，标志着AI硬件从“算力优先”向“算力+存储协同”的深刻转变。

爱集微VIP频道近日上线Citi Research发布的《英伟达推理上下文内存平台，进一步加剧NAND短缺》。本报告深度解析了英伟达为Vera Rubin平台引入的ICMS架构，并通过量化的需求模型预测：这项创新将为全球NAND闪存市场带来结构性、大规模的增量需求，可能使本已紧张的供应短缺局面雪上加霜。

欢迎订阅爱集微VIP频道

核心洞察：一项架构革新如何重塑NAND市场

一、技术核心：用SSD解决AI推理的“内存墙”

英伟达为其Vera Rubin平台搭载了基于BlueField-4芯片的推理上下文内存存储（ICMS）架构，旨在解决大规模 AI 推理场景中普遍存在的内存瓶颈问题。该架构的核心创新在于：将AI推理过程中的关键键值缓存（KV Cache）从传统高带宽内存（HBM）中分流剥离，迁移至扩展性更强的专用存储介质，摆脱对昂贵且容量受限的HBM的过度依赖。

这一设计可带来三大性能提升：生成令牌速度最高提升5倍、能效最高提升5倍、延迟显著降低，从而全面强化Vera Rubin平台的AI推理算力。

为清晰阐释ICMS的技术逻辑，报告首先明确了KV Cache的核心作用：作为Transformer 模型的关键内存优化机制，KV Cache 通过缓存已计算的键值对避免重复运算。按照内存层级，其可划分为四类：

-GPU HBM（G1层级）：承载活跃KV缓存；

-系统 DRAM（G2层级）：承载过渡/溢出 KV 缓存；

-本地SSD（G3层级）：承载温/偏热KV缓存；

-传统共享企业存储（G4层级）：用于存储冷 KV 缓存数据。

ICMS的核心突破，是在现有内存层级中新增一个G3.5层级。该层级以16TB TLC SSD 为存储介质，可高效将海量、访问频率较低的冷KV缓存数据，转化为计算单元可快速访问的温/热数据，相当于在高速但容量有限的HBM与大容量但速度较慢的传统企业存储之间，搭建起一层高容量、中高带宽的高速桥梁，从架构层面系统性缓解大模型推理的内存墙问题。

二、需求量化：单台服务器需求超1PB，市场影响显著

报告通过严谨的硬件规格推演，量化了ICMS带来的NAND需求冲击：

1.单台服务器需求惊人

一台完整的Vera Rubin服务器配备72块GPU。根据架构，每块GPU需对应16TB的SSD用于ICMS。因此，单台服务器就需要额外搭载高达1152TB（即1.152PB）的NAND闪存。

2.全球需求占比可观

保守情景：假设2026年Vera Rubin服务器出货3万台，将新增3460万TB的NAND需求，占2026年全球NAND总需求的2.8%。

积极情景：若2027年出货量增至10万台，新增需求将跃升至1.152亿TB，占2027年全球NAND总需求的9.3%。

对于一个产能扩张周期长（通常需18-24个月）、供需本就紧平衡的市场而言，如此集中且庞大的新增需求，无疑将显著加剧供应短缺，并可能对价格产生强劲的向上支撑。

三、市场影响：核心NAND供应商直接受益

报告明确指出，ICMS架构的落地将成为NAND闪存核心供应商的重大利好。直接受益的企业包括全球市场的领导者：三星电子、SK海力士、西部数据（闪迪）、铠侠、美光科技。

这些公司凭借其技术、产能与客户关系，将率先承接来自英伟达及其服务器合作伙伴的订单，其市场份额与盈利能力有望获得提升。

产业前瞻：AI驱动存储架构的范式转移

报告揭示了一个超越短期市场波动的长期趋势：AI推理工作负载正在重塑数据中心存储层级。当模型参数和上下文长度不断增长，KV Cache的大小可能达到TB甚至PB级，单纯依赖HBM在成本和物理上都不再可行。

英伟达的ICMS架构标志着一个明确的转向：通过软件与系统架构创新，将海量、温冷的数据存储负担向更高容量、更具成本效益的NAND闪存转移。这不仅是为解决眼前的内存墙问题，更可能定义了未来AI服务器的标准存储配置。

立即注册爱集微VIP账号

解锁报告全部内容

爱集微VIP频道：您的前沿技术雷达

在技术快速迭代、全球竞争格局瞬息万变的时代，拥有系统、权威、前瞻的信息来源是做出正确决策的前提。爱集微VIP频道致力于打造ICT产业的全球报告资源库，通过“行业报告”“集微咨询”“政策指引”三大板块，为您提供：

-超过2万份深度产业与技术研究报告，持续更新；

-每周新增数百篇前沿分析与技术解读，紧扣脉搏；

-覆盖技术演进、市场动态、产业链布局的多维信息体系。

我们坚持“信息普惠”原则，会员一次订阅即可访问全平台内容，无二次收费，无分级限制。

限时会员通道现已开启，为您的专业决策注入持续动能：

-首月体验价仅需9.9元，以最低成本，超值体验完整服务。

-月卡19.9元，灵活应对短期、高强度的信息需求。

-季卡54.9元，以稳定的节奏，持续把握产业脉搏。

-年卡199元，是长期主义者最具性价比的智囊伙伴。

立即注册爱集微VIP账号，一键获取《英伟达推理上下文内存平台，进一步加剧NAND短缺》完整报告，深入理解英伟达ICMS架构如何颠覆AI存储体系，及其对全球NAND闪存市场供需与核心企业的深远影响。