浪潮信息单柜养4万Agent，大模型组队答题兼顾数量与质量

AI基础设施的核心任务，已经悄然换挡——从支撑大模型推理，转向支撑海量智能体的规模化运行与高质量Token的持续生产。

一组数据可以佐证这个趋势。IDC的数据显示，2025年中国AI Agent企业级市场规模大约在190亿元，而2025到2028年的复合增长率预计会超过110%。Gartner的判断则更加直接：到2026年，将有40%的企业应用集成任务型AI Agent。

大模型推理那会儿，基础设施面对的是一问一答，一次输入一次输出，任务就算完了。但到了Agent阶段，画风完全变了。基础设施要承担的，是任务拆解、工具调用、多轮协作和持续运行——这对算力提出了完全不同的要求。

背后其实指向了两个能力缺口。一个是海量Agent能不能规模化、稳定地跑起来；另一个是多个模型能不能协同工作，让Agent变得更聪明。浪潮信息在2026开放计算大会上，针对这两个缺口分别给出了新的产品方案。

Agent对基础设施提出新要求

Agent时代，企业对AI基础设施的期待也在变。过去部署AI，大多只是接入一两个模型，处理相对独立的任务，调用一次、返回一次，事情就结束了。

Agent不是这样。一个Agent应用要先把任务拆开，再一步步调用工具、来回协作，背后同时运转的可能是一整群Sub-Agent。

部署到企业之后，Agent的数量更可能高达成千上万。怎么让这么大规模的Agent群体稳定协同地跑起来，就成了绕不开的新问题。

除了Agent数量在增多，单一模型这边的压力也在增加。有的模型擅长逻辑推理，有的擅长写文本——这种能力上的偏科，靠堆参数量是解决不了的。但实际任务又变得越来越复杂，很难指望一个模型什么都会。

所以，怎么让多个模型分工协作、互相补台，成了另一个必须解决的问题。这两件事要真正落地，都必须有底层算力基础设施打头阵。

新需求来临之后，基础设施的第一个变化，是CPU变得更重要了，戏份也更多了。以前的问答模式下，大模型推理是一次输入一次输出，更多依靠GPU运行。但Agent不一样，任务拆解、调用工具、多轮协作、汇总结果——这些整型运算和逻辑推理，都需要CPU来承担。

而且Agent不是跑一次就“下班”，很多Agent必须常年在线，运行时间被大幅拉长。所以在AI Infra行业里，算力配比也在发生变化，从过去以GPU为中心，走向多元算力系统协同。

CPU的重要性上来之后，紧接着要面对的是功率密度问题。浪潮信息副总经理赵帅介绍，国内的AI机柜功率今年内就要冲到300千瓦，全球部分机柜已经进入兆瓦级。如果CPU侧还停留在单柜几千瓦的密度，根本没法匹配数据中心全新的电力基础设施。

随着机柜功率不断攀升，散热就成了问题。传统风冷单机柜散热40到50千瓦的上限早就撑不住了，液冷方案成了必选项。

单柜运行4万+Agent

为了实现Agent的规模化运行，浪潮信息发布了业界首款CPU原生液冷整机柜服务器。这台服务器单柜最大可支持384颗基于开放OCM架构的CPU处理器，兼容x86和ARM，可以支撑4万+个Agent协同运行。

△浪潮信息副总经理 赵帅

这个规模是浪潮信息今年4月发布的“企千虾”方案的40倍。企千虾当时是用单台2U服务器部署1000个OpenClaw，这一次，浪潮信息直接把Agent塞满了一整个机柜。

而且该机柜采用的OCM架构，能够兼容不同代际、不同架构的处理器，不用为每一代新芯片重新设计整套系统，研发周期因此被大幅压缩。

要在一个机柜里塞进384颗CPU，散热是绕不开的坎。浪潮信息提出了一种全新的散热理念：原生液冷。这一想法完全碘伏了传统风液混合的散热逻辑。以前的冷板液冷服务器，是给计算部件贴散热冷板，其他内存、网卡、硬盘还是要再研究怎么通过风扇把热量散出去。

这一次思路完全碘伏：计算和散热协同设计，突破传统液冷仅覆盖CPU的局限，对内存、网卡、光模块、SSD等所有发热部件一并纳入液冷散热体系，重构整个算力系统。

浪潮信息的具体做法是把算力单元做成2U超薄形态，一个节点塞进16颗CPU，同时把内存、网卡、光模块这些原本靠风扇和线缆维持散热与连接的部件，直接平铺在主板上，用一整块冷板统一承接散热，连服务器托架也省了。这样，原来被风扇、冷管、线缆占用的空间，都被腾出来留给计算和IO资源，整机柜也因此做到了无线缆设计，支持热维护，保障业务零中断，整机柜运维效率提升100%以上。

多个大模型，协同完成一次任务

为了让Agent变得更聪明，浪潮信息还在元脑企智EPAI平台上线了多模融合API，并同步发布了元脑SD200超节点AI服务器企业版。

多模融合做的事情，是把同一个任务同时甩给多个候选模型，让它们各自独立生成答案，再由一个评审融合模型出面，比较这些答案里的共识、分歧、遗漏和独特观点，最终拼出一个统一的输出。

当然，这套流程也不是所有任务都要走一遍。简单问答、工具调用、格式转换这类短任务，系统会直接路由给更轻量的单模型处理。只有复杂的长链路任务，系统才会调度多个候选模型协同处理，避免小题大做。

这套机制在DRACO测试里取得了53.9%的成绩，高于同一测试候选池里任何一个单模型的表现。目前这项能力可以多模融合API的形式对外开放，既可以像普通模型服务一样直接接入应用，也可以配置到智能体和开发框架里，沿用原有的对话、推理和工具调用流程。

不过问题也随之而来——多个大模型同时参与一次任务，无疑对底层算力提出了更高的要求，既要一次装得下多个万亿参数模型，又不能牺牲输出速度。这正是元脑SD200超节点要扛住的部分。

元脑SD200超节点去年发布时，已经能同时部署4个万亿参数大模型，token生成时间做到8.9毫秒，是国内首个突破10毫秒大关的产品。今年，这个数字进一步压到4.77毫秒，是国内首个跑进5毫秒的方案，首Token延迟也降低了35%。

这些提升背后是多Token预测、W4A8精度方案和JIT即时编译这类软硬协同优化在起作用。多Token预测让解码阶段一次生成多个候选token再校验，减少了逐字生成的轮次；W4A8把万亿参数模型里MoE模块的计算精度从BF16降到INT8，降低了访存带宽压力；JIT则会在运行时根据张量形状动态生成专用的GPU内核，让算力更贴近硬件的特性。

目前，元脑SD200超节点已经完成了对Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3等主流开源模型的适配。不过，这套架构的门槛，对不少中小企业来说依然偏高。

因此，浪潮信息还推出了元脑SD200超节点企业版——可以理解成是小号的元脑SD200。

它把Scale Up计算域从64卡减少到16卡，万亿参数模型的首token延迟降低40%以上，给企业提供了更低迁移和适配成本的选择。这样一来，原本只能部署千亿模型做辅助的企业，现在也能把万亿模型真正用进生产环境。

Agent基础设施，竞争已经生变

如今，CPU、GPU和软件平台这三者的分工，正在变得更紧密。软件平台负责模型接入、任务编排、资源调度、权限治理和结果融合；CPU承载Agent实例、工具调用、沙箱运行和业务系统交互；GPU则负责模型推理与Token生成。三者协同，才能支撑海量Agent稳定运行和复杂任务高效执行。

这条链路里，任何一环掉队，整个Agent应用都跑不顺畅。这也让Agent时代基础设施的竞争重点发生了变化——过去比的是谁对单一模型的支持能力更强，现在比的是谁的系统级协同能力做得更好。单点强已经不够，整条链路跑不跑得顺、协不协同，才是关键所在。

这，也正是浪潮信息这次想在Agent基础设施上给出的答案。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：浪潮信息单柜养4万Agent，大模型组队答题兼顾数量与质量要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题