英伟达推理上下文内存：NAND存储技术的核心作用与影响

花旗集团分析指出，英伟达在AI推理应用中采用的新型上下文内存存储技术，预计将加剧NAND闪存市场的供应紧张格局。

据业内信息，花旗最新发布的报告强调，英伟达推出的推理上下文内存存储（ICMS）架构将显著拉动NAND闪存需求，为存储芯片制造商带来结构性机遇，并可能进一步推升NAND市场价格。报告建议密切关注存储产业链供需格局的变化，相关厂商有望持续受益于此轮需求增长。

英伟达已宣布其Vera Rubin平台将采用搭载BlueField-4芯片的ICMS架构，通过卸载KV Cache突破内存瓶颈、提升AI推理性能。该架构单台服务器需额外配置1152TB SSD NAND，报告预计2026年、2027年将分别带来占全球NAND需求总量2.8%、9.3%的新增需求。此举将进一步加剧全球NAND供应短缺，同时为三星电子、SK海力士、闪迪、铠侠、美光科技等头部NAND供应商创造显著市场机会。

ICMS：AI推理的存储瓶颈解决方案

报告指出，大规模AI推理面临显著的内存瓶颈。Transformer模型的核心内存优化机制——KV Cache，通过存储已计算的键值对来避免重复运算，并根据性能与容量需求分层存储：活跃KV缓存存放于GPU HBM（G1），过渡/溢出KV缓存置于系统DRAM（G2），热KV缓存则分配至本地SSD（G3）。

为针对性优化这一架构，英伟达推出了推理上下文内存存储（ICMS）方案。该方案并非替代现有存储层级，而是在本地SSD（G3）与企业共享存储（G4）之间新增一个G3.5层级的专用KV Cache。这一层级能够高效地将G4中的冷上下文数据转换为G2中的暖缓存，并与HBM协同工作，从而显著提升数据传输效率与整体AI推理性能。

在硬件实现上，Vera Rubin平台采用16TB TLC SSD作为ICMS存储介质，结合KV缓存管理器与拓扑感知调度机制，目标实现三大性能突破：每秒处理令牌数最高提升5倍、能效比最高提升5倍以及更低的延迟。具体配置方面，每台服务器搭载72块GPU，每块GPU对应16TB ICMS专用NAND容量，使得单台服务器的总NAND需求达到1152TB。

英伟达在AI推理中引入上下文内存存储技术，标志着AI算力架构的重要演进。与传统训练场景不同，推理过程依赖于大量的上下文数据存储与快速调用能力。这一技术路径的转变，为NAND闪存开辟了全新的应用场景，有望成为继数据中心和智能手机之后的重要需求增长点。

NAND需求增量明确，供应短缺持续深化

花旗通过场景分析测算后认为，ICMS架构的规模化落地将为全球NAND市场带来显著且确定的需求增量。报告预计，2026年Vera Rubin服务器出货量将达到3万台，对应ICMS架构的NAND需求将达3460万TB（折合346亿8Gb当量），这一需求规模占当年全球NAND总需求的2.8%；随着AI推理需求的进一步释放，2027年Vera Rubin服务器出货量有望增至10万台，届时ICMS带来的NAND需求将飙升至1152万TB（折合1152亿8Gb当量），占全球NAND总需求的比例将提升至9.3%。

报告同时指出，当前全球NAND市场本就处于供应紧张的状态，近年来AI产业的爆发式发展已推动数据存储需求持续攀升，NAND作为核心存储介质的供需平衡已较为脆弱。而英伟达ICMS架构带来的新增需求具有刚性强、规模大的特点，将直接打破现有供需格局，导致全球NAND供应短缺的局面进一步加剧。

AI驱动下，NAND市场加速升级

花旗认为，英伟达ICMS架构的推出并非孤立的技术革新，而是AI技术与存储行业深度融合的必然结果，这一趋势将深刻影响NAND市场的未来发展。报告指出，在大模型推理场景不断拓展、运算规模持续扩大的背景下，存储系统的性能、容量和能效已成为决定AI应用体验的关键因素，这将推动NAND技术加速向更高密度、更快读写速度、更低功耗的方向迭代升级。

同时，报告预测，AI原生存储架构的创新发展将为NAND行业开辟新的增长空间，除了当前的ICMS架构之外，未来可能会出现更多针对特定AI场景的定制化存储解决方案，持续释放NAND的需求潜力。

报告还提到，ICMS架构带来的需求增量不仅将利好NAND厂商，还将向上游产业链传导，推动SSD制造、存储控制器等相关环节的协同发展，为整个半导体产业链注入新的增长动力。