英伟达Vera Rubin AI平台发布：单Token成本降至1/10

来源：环球网

【环球网科技综合报道】3月17日消息，据Investing报道，在今年的GTC大会上，英伟达正式发布了Vera Rubin AI平台，专为智能体AI发展量身打造。该平台被视为英伟达在AI基础设施领域的一次重大飞跃，也标志着其开启了史上最大规模的AI基建布局，全面覆盖从大规模预训练到实时智能体推理的AI全生命周期，为智能体AI技术发展提供强大的算力与技术支撑。

英伟达创始人兼首席执行官黄仁勋表示，Vera Rubin AI平台在核心算力、推理加速、数据存储等多个维度实现技术突破，从底层基础设施层面优化AI全流程运算效率，助力智能体AI的规模化落地。

在核心算力层面，平台搭载的新一代NVL72机架实现效率突破性提升，通过NVLink 6完成72块Rubin GPU与36块Vera CPU的连接。相较于上一代Blackwell平台，该系统完成混合专家大模型训练仅需四分之一的GPU，每瓦推理吞吐量提升10倍，成功将单Token成本降至原来的十分之一，大幅降低了AI模型训练与推理的成本。同时，专为验证AI模型结果设计的Vera CPU机架集成256块液冷CPU，运行效率达到传统CPU的两倍，运算速度提升50%，进一步提升AI模型验证环节的效率。

针对智能体系统低延迟、长上下文的核心需求，英伟达同步推出Groq 3 LPX推理加速机架。该系统配备256个LPU处理器，与Vera Rubin平台结合后，每兆瓦推理吞吐量最高可提升35倍，有效解决智能体AI运行过程中的延迟问题，适配长上下文的运算需求。

数据存储环节的技术升级同样亮眼，全新BlueField-4 STX机架构建起AI原生存储基础架构。依托全新的DOCA Memos框架，该系统能高效处理大型语言模型生成的海量键值缓存数据，在显著降低能耗的同时，将推理吞吐量最高提升5倍，让AI多轮交互的响应速度大幅加快，更好地匹配智能体AI的实际应用场景。（纯钧）