国产GPGPU集群突破：智张量携手商汤实现推理成本低于A100

国产算力领域迎来重大突破——记忆张量科技有限公司与商汤科技大装置团队联合宣布，在国产GPGPU集群上成功部署全球首个以“记忆—计算—调度”一体化为核心的PD分离商用推理集群，并在真实生产环境中实现稳定运行。测试数据显示，该方案综合推理性价比达到同代英伟达A100芯片的1.5倍，标志着国产算力体系首次在大规模商业化落地中展现出体系级竞争力。

这一突破源于对传统PD分离技术的深度重构。传统方案仅通过硬件隔离优化推理性能，但受限于物理架构，性能提升存在天然瓶颈。联合团队创新性地将PD分离从硬件优化升级为以记忆为中心的设计范式，通过记忆张量自主研发的MemOS系统，将大规模认知结构分解为参数记忆、激活记忆、明文记忆三类，构建起跨时间尺度的智能调度链路。系统能够精准判断计算任务的前移时机、保留策略及淘汰规则，使PD分离架构的潜力得到充分释放。

在具体实现层面，商汤科技大装置提供了底层支撑：其IaaS层高效算力池与智能调度系统为模型推理构建了稳定基础，Ignite框架通过多后端适配、KVCache优化等手段形成完整优化链路；算丰信息则负责集群算力管理，确保高性能GPGPU资源、存储及网络的高效协同。三方协作下，MemOS的记忆体系被映射为清晰的物理分工：Prefill域（P域）作为“记忆工厂”集中处理影子上下文预测与KV+Cache预生成，Decode域（D域）则专注实时交互解码，二者通过高带宽互联实现跨节点KV+Cache“即产即用”，传输开销降低超40%。

生产级评测数据验证了方案优势：在2k输入、1k输出、首字生成时间（TTFT）小于2秒的严苛条件下，集群整体吞吐量从107.85 tokens/s提升至189.23 tokens/s，增幅达75%；单卡并发能力从25.00提升至29.42，提高20%；TTFT全程稳定达标，Decode域因职责单一化避免了资源竞争。记忆张量技术负责人比喻称：“这相当于为高速算力通道配备了精密的交通指挥系统，使每个计算单元都能发挥最大效能。”

该成果的突破性在于实现了从技术优化到范式变革的跨越。传统PD分离仅关注硬件层面的计算任务分配，而联合方案通过MemOS将业务调度逻辑注入记忆单元，使推理过程从静态计算转向动态流水线。例如，在C端高并发场景中，系统可自动调整记忆保留策略，确保关键任务优先处理；在长文本生成场景下，激活记忆机制能动态平衡计算资源，避免性能衰减。这种设计使国产GPU不再局限于“能运行大模型”，而是具备承载R1级C端业务的完整体系能力。

基于此次实践，双方计划进一步拓展合作边界：一方面，将构建更大规模的记忆驱动流水线推理底座，整合影子上下文生成、多级缓存管理、AIOps监控等模块，形成可演进的基础设施体系；另一方面，将在Prefill行为预测自治化、跨任务长时记忆一致性等前沿领域展开探索，为具身智能、复杂任务编排等场景提供技术支撑。业内专家指出，这一突破标志着国产算力正从“参数计算”向“记忆计算”转型，有望在AI技术竞争中定义下一代推理范式。