阿里云AI性能压测：英伟达GPU用量锐减82%，213卡实现1192卡效能

10月18日，《南华早报》今日（10月18日）发布报道，称在韩国首尔举办的第31届操作系统原理研讨会（SOSP）上，阿里云发布的“Aegaeon”计算池化解方案研究成果成功入选，这一方案能够解决当前AI模型服务中普遍存在的GPU资源浪费问题。

查阅公开资料可知，SOSP是计算机操作系统领域的顶尖会议，堪称该领域的“奥斯卡”，其论文录用率控制在极低水平，每年收录的论文数量仅数十篇。入选论文通常代表了操作系统与软件领域最具价值的研究成果。

研究指出，云服务商当前在提供AI模型服务时，普遍面临严重的资源利用效率问题。一个平台往往需要同时托管数千个AI模型以应对海量并发的API调用，但用户请求却高度集中在少数几个热门模型上，例如阿里巴巴推出的Qwen系列模型。

研究人员发现，这种“长尾效应”导致了严重的资源闲置：在阿里云模型市场中，居然有17.7%的GPU算力仅用于处理1.35%的用户请求，造成了巨大的成本浪费。

为应对这一痛点，Aegaeon系统应运而生。该系统通过创新的GPU资源池化技术，使单个GPU能够动态服务于多个不同的AI模型，打破了以往GPU需与特定模型绑定的低效模式。

在阿里云模型市场持续三个多月的Beta测试中，Aegaeon系统展现了卓越的效能。测试数据显示，在服务参数量高达720亿的大模型时，所需的英伟达H20 GPU数量从1192个成功减少至213个，削减幅度高达82%。

这项由北京大学与阿里云合作完成的研究，被认为是首个公开揭示并解决市场上并发大语言模型服务存在过高成本问题的重要工作，为行业提供了全新的优化思路。

值得一提的是，阿里云首席技术官周靖人也是该论文的作者之一。周靖人同时是国际电气与电子工程师协会会士（IEEE Fellow）、国际计算机协会会士（ACM Fellow），并担任阿里巴巴集团副总裁、阿里云智能CTO及达摩院副院长。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章