阿里云AI计算方案降本82%：大模型GPU成本锐减！

10月21日，在首尔举行的顶级学术会议SOSP+2025（操作系统原理研讨会）上，阿里云发布了名为“Aegaeon”的计算池化解决方案。

Aegaeon方案的核心在于解决AI模型服务中普遍存在的GPU资源浪费问题，尤其针对需求突发或难以预测的大型语言模型。

它突破了传统“一个模型绑定一个GPU”的低效模式，创新性地实现了Token级别的GPU虚拟化访问技术，这意味着单个GPU能够被多个不同模型共享服务，实现精细化的资源调度。

作为推理时间调度器，阿里云Aegaeon系统在每次生成下一个token后，动态决定是否进行模型切换，从而将微小的工作片段灵活调度至共享资源池中。

通过组件复用、显存精细管理和KV缓存同步优化等全栈技术，Aegaeon将模型切换开销降低了惊人的97%，确保了token级调度的实时性，能够支持亚秒级的模型切换响应。

在阿里云模型市场为期三个多月的Beta测试中，Aegaeon系统在服务数十个参数量高达720亿的大型模型时，所需的NVIDIA H20 GPU数量从1192个大幅减少至213个，削减比例高达82%。

GPU用量的大幅削减，对硬件采购成本高昂的大型模型服务商而言，意味着运营成本将显著降低。

目前，这项核心技术已成功应用于阿里云百炼平台。