阿里云Aegis调度213块GPU，升级1192块高效算力部署

阿里云与北京大学联合研发的GPU池化系统Aegaeon在全球计算机系统顶级会议SOSP上掀起行业热潮。该系统采用创新的资源调度架构，成功将英伟达GPU需求量降低82%，这一突破性技术彻底重构了云计算资源利用效率的底层逻辑。

研究团队在阿里云Model+Studio平台的运营数据中发现，17.7%的GPU资源被分配给了仅处理1.35%请求的冷门模型，而这类长尾模型在779个统计样本中占比高达94.1%，平均每秒请求量不足0.2次。传统的"一对一"GPU分配模式引发了两个极端现象：冷门模型的GPU长期闲置，而热门模型在突发流量时又因资源预留不足出现服务过载。

Aegaeon系统开创性地引入token级动态调度机制，在生成每个token时实时判断是否需要切换模型。这种"见缝插针"式的资源分配方案，使得单个GPU可同时服务7个不同模型。通过组件复用技术减少80%的初始化开销，显存管理消除碎片化问题，配合细粒度KV缓存同步机制，将模型切换时间从数十秒压缩至1秒以内。

在16块H800 GPU组成的测试集群中，系统成功支撑了从60亿到720亿参数规模的模型服务。与ServerlessLLM、MuxServe等现有系统相比，Aegaeon的请求到达率提升2-2.5倍，有效吞吐量实现1.5至9倍增长。更关键的是，这套系统已在阿里云百炼平台完成三个月生产环境验证。

实际部署数据显示，系统服务47个不同规模模型（含28个18亿-70亿参数小模型和19个320亿-720亿参数大模型）期间，GPU利用率从13.3%-33.9%提升至48.1%，且未出现任何服务等级目标违规或中断情况。这种资源利用效率的跃升，相当于在相同算力条件下可处理9倍于先前的业务量。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章