英伟达GB300能效飙升20倍，一兆瓦驱动6万智能体

同样消耗一兆瓦电力，英伟达最新的GB300 NVL72能同时承载61400个AI智能体并发运行，而上一代H200仅能支撑约2600个。

这一性能差距，整整达到了20倍。

以上数据来源于英伟达公布的AA-AgentPerf基准测试成绩。在每秒20个token与60个token两档服务等级标准下，GB300 NVL72每兆瓦支持的并发智能体数量，均约为H200的20倍。

6月12日，这组数字刚发布时，外界的第一反应是：又是一次性能炫技？

但真正发生变化的，并非这代芯片本身有多强劲，而是衡量算力的那把标尺已经彻底改变。

这把新标尺，就是独立评测机构Artificial Analysis发布的全新基准：AA-AgentPerf。

Artificial Analysis在官方博客中称其为业界第一个专门为“AI智能体（AI agent）”设计的大模型推理性能基准。

它的核心指标也与传统基准截然不同：不再是每秒输出多少token，而是“每兆瓦并发智能体数（Agents per Megawatt）”。

通俗来说，就是每向系统输入1兆瓦电力，它能同时“养活”多少个正在工作的智能体。

FLOPS（每秒浮点运算次数）衡量了这么多年，每秒生成的token数也用得好好的，为什么还需要推出AA-AgentPerf这样一个新基准？

旧尺子

已经量不动智能体负载

要回答这个问题，首先得弄明白智能体实际运行时的负载特性。

Artificial Analysis的判断非常明确：2026年最主流的AI负载类型，与那些老基准当年设计时瞄准的场景早已不是一回事。传统基准测量的是固定长度的合成请求，并且往往关闭了生产环境中真正会开启的那些优化手段。

英伟达官方也打了一个贴切的比方：一次普通的对话，就像百米冲刺——模型接收一个问题，吐出一段回答，结束；但一个智能体干活，更像跑接力赛。它把一个目标拆解成几十到上百个步骤：读文件、写代码、运行命令、查看结果，再决定下一步，一棒接一棒，直到任务真正完成。

这一路下来，几十次甚至上百次的大模型调用串在一起，每一次都将越来越长的上下文传递给下一棒，其间还夹杂着编译、查库、执行搜索等工具调用。其复杂程度不是简单相加，而是层层相乘。

英伟达用“接力”比喻智能体负载。一个目标被拆解成几十到上百个步骤，大模型调用与工具调用一棒接一棒，串成不断变长的长链。

问题恰恰就出在这里。市面上现有的推理基准测试，测量的都是单次调用——一个请求进去多久返回、一台机器能同时接多少个请求。它们原本就不是为智能体场景设计的。链式调用、工具等待、上下文膨胀，这些行为对系统的压力方式，和单次请求完全是两回事。

单是长会话这一点，就暴露出老基准的测试盲区：同一段长长的前缀会一轮一轮重复出现，谁能把它缓存起来、不必每次重新计算，谁就能省下大量算力。再加上工具返回结果动不动把上下文撑爆，而输出却常常只有几百个token，调度器和显存层次能否承受这种忽长忽短的节奏，直接决定一套系统是顺畅运行还是当场崩溃。这正是固定长度的合成测试无法触及的死角。

对于真实投入资金购买显卡、建设数据中心的人来说，他们真正关心的是：这套系统到底能同时养活多少个正在干活的智能体，每一度电、每一块GPU又能换来多少有效产出。这些问题，老基准测试根本回答不了。

第一个为智能体量身打造的尺子

AA-AgentPerf的做法与传统基准完全不同：它不喂那种长度固定的合成提示词，而是回放真实的编程智能体运行轨迹。

AA-AgentPerf回放的智能体轨迹示意。从一个请求出发，LLM调用与工具调用交替推进，直到任务真正完成。

这些轨迹，是让智能体去解决真实代码仓库中的问题收集得来的。覆盖12种以上编程语言，单条会话最长可达200轮，上下文轻松突破10万token。输入长度从5000到13万token不等，平均约2.7万。真正把长度拉起来的，并非提示词本身，而是一轮轮累积的工具输出和对话历史。

更关键的是它的评分方式。它不去追求极限并发数——并发一旦堆得太高，每个智能体都慢如爬行，并发数再大也只是样子货。AA-AgentPerf反过来操作：先锁定一个服务等级标准，每个智能体的输出速度、首字延迟（TTFT）都必须达标，再看系统在守住这条线的同时，最多能扛住多少个智能体。这套约束有个专业名称，叫作服务等级目标（SLO）。

这套标准还分设了多个档次。从每秒20个token的“够用档”，到每秒180个token的“飞快档”，每一档都单独测试最大并发数，对应市面上真实存在的多种服务水平。

服务等级目标（SLO）如何限制最大并发数。绿点是达标区，一旦并发升高导致速度跌破门槛，对应的并发上限就是这套系统的最终成绩。

它还做了一件其他基准不太敢做的事：把厂商在生产环境中真正会开启的优化全部放开。KV cache复用、推测解码、将预填充和解码分离部署——这些以前常被基准一刀切关闭的技巧，这次全部允许。理由很简单：关掉这些优化测出来的结果，毫无实际意义。

与此同时，它还监控输出质量，防止某个优化通过牺牲回答质量来换取更高并发数。这样一来，每一项软硬件进步带来的提升，都能被它如实测量出来。

最后落到一个核心指标：每兆瓦并发智能体数。在一个电力越来越紧张、能耗直接等同于成本的现实世界中，这个指标才是买家真正关心的那个。从每秒token数，到每兆瓦智能体数，度量标准已经彻底升级。

每兆瓦领先20倍

每块GPU领先40倍

在一个代表当前最强类别的前沿混合专家（MoE）模型测试中，GB300 NVL72每兆瓦能支撑61400个并发智能体，平均每块GPU扛起57.5个。作为对照，H200每兆瓦仅约2600个，每块GPU只有1.4个。两者之间，每兆瓦性能差出约20倍，每块GPU差出约40倍。

这两个数字的含金量也各不相同。每兆瓦衡量的是同样一度电能买到多少智能体产能，这是一笔能效账；而每GPU衡量的则是单块卡的服务密度，这是一笔硬件账。根据这两个数据，用户可以直接换算自己手里的电力预算，到底能支撑多大规模的智能体应用。

榜单上不仅有英伟达的GB300，还有AMD的MI355X。从单卡、整机到整机架，都摆在台面上同台竞技。第一批测试结果跑出了两条很明显的规律：

规律1：机架级系统天然更具成本优势。它能更充分地将推理任务拆解、分摊到更多显卡上，无论是纯算力还是每兆瓦能效，都把单节点甩在身后。

规律2：从Hopper到Blackwell这一代跨越，将系统能够承载的并发数直接推上了一个新台阶，绝非小修小补。

从单卡到机架

系统级的胜利

从H200到GB300，表面看是单卡性能的飞跃，实际上这是一场系统级的胜利。更为关键的是，GB300 NVL72通过NVLink将72块GPU连接成一个机架级的整体。对于这种庞大的混合专家模型来说，这才是要害所在：模型可以完全摊开，专家分配到一整片GPU上并行执行，而不是全都挤在单卡里空耗。

CUDA核心在底层做了进一步优化，将跨专家之间的通信与计算重叠起来，使得协调各路专家的开销被算力悄悄消化，而不是叠加在延迟上。TensorRT-LLM则负责在并发会话不断攀升时，把效率守住，例如将输入的处理和输出的生成拆分成两件事，各自单独优化。

说白了，这个测试成绩，是硬件、互联和软件栈共同作用的结果。

GB300 NVL72机架。72块GPU通过NVLink连接成单一高带宽整体，这才是6万个智能体能够协同运行的硬件底座。

把72块显卡焊成一个高带宽的整体，每块GPU都能快速共享参数、KV cache和中间结果，这才是6万个智能体能够协同跑起来的底气。

几条不能忽略的边界

有几点需要特别注意，不能将基准测试等同于生产现实。

第一，6万这个数字，并非一台机器同时运行6万个独立的大模型。它是基准定义下的并发会话模拟，每个智能体走的是预先录好的轨迹，就连工具调用也不是真实执行，而是用一段固定的CPU耗时来模拟。这样设计，是为了让最终结果只反映算力本身的差异，但它和真实生产环境中能交付的服务能力，并不能直接画等号。

第二，基准成绩并非生产服务协议。Artificial Analysis自己也说，这只是一份仍在快速变动的前沿快照。各家系统都还有尚未榨干的余量，成绩会随着软件优化一路向上攀升。

第三，AA-AgentPerf目前还是单一机构提出的标准。它能否像MLPerf那样，最终长成整个行业公认的标尺，现在下结论还为时过早。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：英伟达GB300能效飙升20倍，一兆瓦驱动6万智能体要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题