英伟达VeraCPU提升AI工厂吞吐量加速智能体工作负载

Agentic AI系统，说白了就是把模型的推理能力转化为实际行动。这中间涉及一系列多步骤的工作流：推理、调用工具、执行代码、检索数据、编排任务、处理结果——环环相扣。当这些系统在AI工厂里大规模铺开时，性能瓶颈就不仅仅取决于GPU的加速能力了，模型步骤之间的CPU工作同样关键。

在整个Agentic系统的创建和部署过程中，CPU扮演着一个承上启下的角色。它负责执行模型步骤之间的那些“杂活”：沙盒环境评估、工具调用、代码运行、数据处理、KV-cache协调，以及结果处理。可以说，CPU处在一个关键的临界路径上，直接决定了推理速度、响应时间，以及学习效率。

对于Agentic AI来说，衡量CPU性能最重要的指标之一，就是满负载下每个核心的持续性能。想象一下，一个CPU插座可能同时塞满了并发的沙盒环境、工具调用、模拟任务、编排任务和数据服务，但每个Agent或强化学习工作流又都依赖于那些必须按顺序执行的步骤——前一步没完成，后一步就启动不了。更多的核心可以提升工作流之间的并行度，而更高的单核频率，才能决定每个工作流向前推进的速度，无论是生成token、更新模型，还是处理下一轮请求。

如果CPU这一端执行慢了，GPU集群就会在三个方面遭殃：

1. 强化学习每轮能拿到的有用评估结果变少了，训练时间自然就拉长了。
2. 处理单个用户请求的时间也变长了，用户体验下降。
3. KV-cache可能会被驱逐，原本缓存上下文带来的计算节省就打了水漂。

接下来，我们就来具体看看，NVIDIA Vera CPU是如何应对这三个挑战的。

Vera CPU：让Agent变得更聪明、更高效

强化学习彻底改变了传统的计算模式，它引入了GPU和CPU之间持续的、交互式的反馈循环。传统的AI训练只是把数据一股脑地传给翻跟斗，但强化学习不一样，它需要主动生成“经验数据”。这个数据生成阶段，通常被称为环境推演或模拟，它的核心就是大量的、顺序的、基于逻辑的处理。

当处理器在这些高度并行的推演阶段出现卡顿时，整个训练管线都会受影响。一个较慢的处理器意味着每秒能完成的环境步数更少，这直接降低了用于更新模型策略的“梯度”质量。

这些梯度可以理解为发送给神经网络的“数学指令”，告诉它应该如何优化策略。在强化学习中，梯度的质量完全依赖于由CPU环境生成的反馈和奖励等训练信号。由于复杂问题的处理深度是顺序的，CPU的单核性能决定了在训练时间窗口内，有多少环境能完成评估。举个例子，一个基准CPU可能只能完成45%的评估，导致GPU只能干等着接收有意义的反馈。

正因如此，在规模化场景下，具备最强单线程性能的CPU——Vera CPU，就成为了破局的关键。它通过最大化满插座负载下的持续单核性能来解决这个瓶颈。Vera CPU的核心速度是上一代的1.8倍，能在相同的时间窗口内完成高达85%的评估。这意味着它能提供更丰富的、更高质量的强化学习训练信号，帮助GPU计算出更精确的梯度，从而加速模型收敛，最终得到更聪明的模型。

这一进步主要归功于NVIDIA Olympus核心，它专为强化学习和Agent执行中占主导地位的、分支密集的顺序计算工作而设计。下表1展示了Vera CPU的特性及其对强化学习工作负载的影响。

Vera CPU：让每GPU小时内服务更多用户

从离线训练转移到实时的、交互式的Agent部署，优化的主要指标就从纯粹的吞吐量，转变为了严格的、可预测的延迟。在这种环境下，AI Agent需要自主操作，通过执行一系列动作来解决复杂的用户查询。

这个序列里的每一步，在模型能继续之前，都需要发起一个工具调用、运行一段代码、编译一个测试，或者查询一次数据。

要在规模化场景下维持这种响应速度，仅仅有低的平均延迟是不够的。Agent要求的是，即使在插座上塞满了大量并发的沙盒、服务和数据处理任务时，延迟也是可预测的。

Vera CPU的设计初衷就是降低这种“负载下的延迟惩罚”，如图2所示。与常见的多芯粒CPU设计不同——那种设计下工作负载很容易在不同芯粒或子NUMA域之间“溢出”，导致性能剧烈下降——Vera CPU采用了一个单计算Die来容纳它的88个Olympus核心。这就避免了复杂的跨芯粒核心到核心的跳转。

再配合一个大型的统一缓存和NVIDIA可扩展一致性架构，数据在系统中的移动更加均匀。这种针对Agent场景的有意设计，使得Vera CPU的峰值负载延迟相比x86 CPU降低了40%。这种可预测的架构有助于减少尾部延迟，确保工具响应严格按时完成。

除了延迟，Agent还需要巨大的内存带宽。成千上万的并发沙盒、工具调用、检索操作、数据库查询和数据处理任务，在移动大量不规则数据集的同时，还必须让每个Agent的状态、上下文和输出都靠近核心。Vera CPU采用了高能效的LPDDR5x内存，提供了高达1.2 TB/s的总内存带宽，每个核心的带宽更是达到了14 GB/s。这相当于传统数据中心CPU的3倍以上单核内存带宽，功耗却不到一半——这能帮助Agent在每个核心都处于活动状态时维持高吞吐量。

最终的结果就是，Agentic AI管线拥有了极高的响应性，能够在不因硬件瓶颈影响用户体验的前提下，严格遵守服务水平协议。

Vera CPU：最大化每会话的GPU计算效率

在Agent推理中，GPU的工作并非一次不间断地完成。单个会话可能包含许多模型步骤，这些步骤之间穿插着CPU端的工具调用、代码执行、检索、数据库查询或沙盒评估。在一个完全满载的数据中心里，GPU并不会在这些间隙中空等。当CPU工作时，GPU会接手新的请求和新的活动上下文。随着请求不断累积，原始会话的KV缓存要想在原地保留下来就越来越困难。

更慢的CPU会拉长GPU计算步骤之间的间隔。这就大大增加了系统驱逐原始请求KV缓存的可能性，因为GPU需要腾出空间给其他等待执行工作的用户。当工具调用完成后，GPU可能需要重新构建之前的上下文——把之前的序列当成一个巨大的输入提示重新处理一遍，而不是从缓存状态恢复。

Vera CPU有助于压缩这个CPU侧的耗时。更快的工具执行、更强的负载单核性能、高内存带宽和可预测的延迟，共同缩短了Agent在GPU步骤之间的等待时间。这缩短了KV缓存暴露在驱逐压力下的窗口期，让更多活动上下文常驻在HBM中，并减少了通过昂贵的重新计算来重建先前状态的需求。

最终结果是，GPU更多的时间花在了生成有用的token上，而不是重建上下文。这使得CPU性能成为了饱和Agent系统中GPU效率的直接贡献因素。

加速AI工厂的未来

Vera CPU集成了对Agentic AI工厂最重要的CPU能力：持续的每核心性能、负载下的低延迟、海量内存带宽，以及大规模场景下的高效数据移动。随着Agentic AI的扩展，CPU不再是后台的基础设施。它直接驱动着AI工厂的吞吐量、响应速度和GPU效率。通过减少停顿、限制重新计算、帮助整个系统在负载下保持高效，NVIDIA Vera CPU旨在最大化下一代Agentic AI工厂的性能。

要了解这些能力如何转化为实际性能，可以进一步了解Vera CPU、NVIDIA Vera Rubin NVL72，以及Phoronix对Vera CPU的基准测试。

性能对比基于实测数据，可能会有变更。NVIDIA Vera CPU搭配LPDDR5X的性能基线设定为最新的x86 CPU。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：英伟达VeraCPU提升AI工厂吞吐量加速智能体工作负载要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题