阿里云Aegaeon发布：GPU共享技术如何革新AI推理效率
在韩国首尔举办的SOSP 2025操作系统原理研讨会上，阿里云近日发布了名为"Aegaeon"的计算池化解决方案。这项创新技术致力于破解人工智能模型服务中由来已久的GPU资源利用率瓶颈，尤其适用于处理具有突发性或不可预测请求特性的大语言模型应用场景。
传统部署模式下普遍采用单一模型独占GPU资源的分配方式，造成大量算力闲置。Aegaeon通过在Token生成层级实现GPU访问的虚拟化，成功突破了这一局限。通过这种创新架构，单个GPU可并行服务于多个不同模型，从而实现更精细粒度的资源分配与调度。
作为推理阶段的智能调度系统，Aegaeon能够在每个token生成完成后，动态判断是否切换当前执行模型，并将极细粒度的任务片段灵活调度至共享资源池中。通过组件复用、显存的精细化管理以及对KV缓存同步机制的深度优化，系统将模型切换带来的性能开销降低了97%，既保障了token级调度的实时响应，又能支持在亚秒级时间内完成模型切换。
在阿里云模型平台开展的为期三个多月的Beta测试中，Aegaeon成功支撑了数十个参数量达720亿的大型模型稳定运行。实测数据显示，所需NVIDIA H20 GPU数量从原先的1192块锐减至213块，降幅高达82%。这种显著的资源压缩能力，对于面临高昂硬件投入的大型模型服务提供商而言，意味着运维成本的大幅降低。
目前，Aegaeon的核心技术已全面集成至阿里云百炼平台，为更高效的模型推理服务提供底层技术支撑。
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
同类文章
DeepSeek宣布永久降价 梁文锋大幅让利远超市场预期
DeepSeek宣布其Pro模型API优惠将转为永久降价，调用成本大幅降低至原价的四分之一。同时，公司正进行高达500亿元的首轮融资，创始人梁文锋个人计划出资200亿元以强化控制权。降价与巨额融资相结合，旨在降低行业门槛、构建生态，并支撑其长期开源与AGI战略，展现了公司的长期主义视野。
国产600公斤推力涡扇发动机首飞成功 中国心实现自研突破
5月23日，搭载国产F406涡扇发动机的气象无人机首飞成功。该发动机推力600公斤级，由我国自主研制，拥有完整知识产权，实现了中小推力高端涡扇发动机的自主可控。其具备高空高速稳定运行能力，填补了国内相关技术空白，将为无人机及低空经济发展提供可靠动力支撑。
小米米家空调巨省电Pro大1.5匹价格降至1868元
2026年3月6日，备受期待的小米米家巨省电 Pro 空调 2026 款正式上市销售。作为新品，其大1 5匹型号的官方首发定价为2499元，性价比优势显著。 恰逢京东618年中购物节，这款新上市的空调迎来了绝佳的入手时机。消费者通过叠加平台提供的促销优惠与政府发放的节能补贴，最终到手价格可以做到更具
国产600公斤推力涡扇发动机成功完成首次飞行
5月23日，我国自主研制的600公斤推力级F406涡扇发动机成功完成首次飞行试验。发动机驱动气象无人机平稳飞行并安全返航，各项参数稳定。此次试飞标志着我国在中小推力高端涡扇发动机领域实现了自主可控与国产化突破，该发动机将为低空经济和无人体系提供关键动力支撑。
国产600公斤推力涡扇发动机首飞成功核心技术自主研制
5月23日，我国自主研制的600公斤推力级F406涡扇发动机成功完成首次飞行试验。该发动机以双发配置驱动一架先进气象无人机，全程工作平稳，安全返航。此次试飞标志着我国在中小推力高端涡扇发动机领域实现自主可控与国产化，将为低空经济与无人体系发展提供可靠动力。
- 日榜
- 周榜
- 月榜
1
2
3
4
5
6
7
8
9
10
相关攻略
2015-03-10 11:25
2015-03-10 11:05
2021-08-04 13:30
2015-03-10 11:22
2015-03-10 12:39
2022-05-16 18:57
2025-05-23 13:43
2025-05-23 14:01
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
热门话题
