亚马逊云科技深度融合高性能计算、AI与云计算

希腊神话里有个标志性的意象：海神波塞冬手持三叉戟，既能护航航船，又能为农人引来清泉。此后，“三叉戟”就成了三种力量紧密融合、形成合力的代名词。足球世界里有经典的锋线三叉戟，而在企业上云与产业智能化的浪潮里，也出现了一个前沿技术趋势上的三叉戟组合——业务与组织上云、算力成为战略性资源、AI改变生产方式。三者正以惊人的速度交织在一起。 但一提到高性能计算、AI和云服务，很多人还是习惯把它们看作各自独立、并行发展的赛道。尤其觉得在云端搞高性能计算，似乎还有些前卫。可如果我们顺着产业效率的逻辑往下想，就会发现：在云端实现高质量、高效率的AI训练与部署，恰恰是产业集约化与社会低成本创新的必然方向。只有把这三项技术真正融合，才能铸成智能时代所需的数字化三叉戟。 那么，这把时代三叉戟怎么熔炼？亚马逊云科技已经给出了一些答案。 ---

走向云端：高性能计算的产业趋势与挑战

云计算与高性能计算之间，真的只能格格不入吗？其实不然。 Hyperion Research的市场调研数据给出了一个很直观的趋势：到2022年底，预计有18.8%的HPC任务会在云端运行，而2021年这个数字是12.3%。尽管目前大多数HPC任务还依赖超算中心和本地硬件，但在云端获取高性能计算，已经成为产业发展的明确趋势。不过，客户心里也有一些顾虑： - **管理挑战**：大规模计算集群创建和管理难度大，有没有更快捷的部署方式和高效的管理手段？ - **能效挑战**：或者说是性价比问题——在云端如何发挥HPC的最大能效？ - **安全挑战**：HPC处理的任务和数据密不可分，云端的数据安全究竟能不能让人放心？ 但从行业发展大方向来看，这些问题在实践中都能逐步解决。从基础计算逻辑上说，云端获取高性能计算更经济实惠，用户可以弹性获取异构计算资源，真正实现计算与任务的精准适配。从单节点性能上看，云端的计算资源性能更好；在集群场景下，用户还能获得线性增长的计算性能，避免算力浪费。 所以，在云端实现高性能计算并非不可能。相反，云端海量扩展的算力、不断增强的单节点性能、方便高效的算力管理手段，再加上云原生的数据安全保障，让众多行业的高性能计算能够跑在云端。在这方面，亚马逊云科技已经走出了行业领军级的探索步伐。

技术融合与产业平衡：亚马逊云科技的高性能计算探索

目前，亚马逊云科技已经能够提供高度可定制的HPC计算平台，支持多样化的异构计算资源以及定制化计算实例。特别值得一提的是，亚马逊云科技在HPC领域同样延续了其软件生态丰富的传统，提供了大量可用、低成本的软件，帮助用户解决管理与调度等问题。 总体来看，亚马逊云科技的HPC探索呈现出两大核心差异：一是芯片、云、存储、软件、AI等领域的技术经验高度融合；二是面向行业需求与用户痛点，进行了大量高度产业化的软硬件生态建设。 在客户最关心的计算、网络、存储以及应用软件生态适配这四个维度上，亚马逊云科技都提供了成熟的HPC相关服务： **算力层**：提供包括CPU、GPU、ARM在内的多样化异构计算支持，以及定制化的弹性计算实例，充分满足AI等高频HPC任务中的计算资源需求。 **存储层**：集群化算力需求往往会引发存储的海量高并发访问，存储性能因此至关重要。亚马逊云科技专门面向高性能计算场景提供了存储支撑，并支持在云端实现多级文件存储策略，让用户根据计算需求弹性规划存储，从而降低云端HPC的存储成本，同时提升数据调用与管理效率。 **网络层**：云端的网络环境中，亚马逊云科技可以为客户提供超级计算应用程序所需的持续低延迟、高带宽环境。用户可以使用高达100Gbps带宽吞吐、支持MPI的EFA（Elastic Fabric Adapter）网卡，以及低延迟、降低网络抖动的SRD（Scalable Reliable Datagram）协议，加速节点间通信。 **软件层**：面向迁移、调度、可视化等HPC场景需求，亚马逊云科技提供了丰富且低成本的软件工具。例如，使用Amazon ParallelCluster可以快速构建HPC计算环境，简化集群部署和管理；Amazon Step Functions则是一项低代码、可视化的工作流服务，帮助开发人员构建分布式应用程序、自动化IT和业务流程，并构建数据和机器学习管道。这对于AI等领域的高性能计算任务意义重大——丰富、专业且低门槛的软件生态，能帮助用户省下巨大的软件定制开发成本。 基于这些多样化的探索，在云端获取集群化的澎湃算力已经成为现实。而这种可能性，直接为大规模的AI应用潮铺平了道路。

智能晨曦：AI大航海带来的计算浪潮

随着预训练大模型与AI科学计算成为行业主流，AI训练与部署所需的算力开始激增，AI任务对高性能计算的依赖度被迅速放大。可以说，产业智能化的晨曦要想真正绽放，必须建立在HPC的坚实算力基座上。 新药研发、科研研究、地质勘探等结构复杂、数据量庞大的AI任务日益增多，对HPC提出了一系列全新要求：计算集群化要求提升、异构计算能力需求更严苛、数据吞吐量和效率要求更强。在这样一个“AI大航海”时代，如果企业和科研机构仍然采用搭建硬件计算池的方式来实现HPC，产业效率会很低，综合成本浪费巨大——从硬件采购到安装部署，时间成本太高，根本无法满足时效性极高的高性能计算任务需求。 面对机器学习、深度学习以及其他AI任务带来的算力需求，亚马逊云科技在云端不仅提供了搭载企业级GPU的计算资源，还针对机器学习和深度学习的工作特点，自主研发了相应芯片，并通过云服务交付给客户使用。目前，亚马逊云科技可以为客户的机器学习与深度学习任务提供搭载4000张NVIDIA A100 GPU的超大规模计算集群，配备400 Gbps非阻塞联网基础设施，以及通过FSx for Lustre实现的高吞吐、低延迟存储。这样的计算集群规模，在物理超算中心几乎无法实现。在AI大航海时代，从云端获取针对机器学习、深度学习的高性能算力，显然是最合理的方案。 面向智能时代必然高速涌起的HPC需求，亚马逊云科技通过产业知识与服务经验的积累，最终将AI、HPC、云计算这三项明星技术融合成了一把三叉戟。这把三叉戟还在持续进化，帮助用户在智能化浪潮中间出海远航，在数字化田野中收获价值。 在今年6月初的全球ISC 2022大会上，亚马逊云科技推出了一系列针对高性能计算的云服务。例如专门面向HPC工作负载的计算实例HPC6a，经过优化后可高效运行计算流体动力学、油藏建模、天气模拟、有限元分析等计算密集型任务。相比与之相当的基于x86的计算优化型实例，Hpc6a实例的性价比最高能高出65%——用户可以用它大幅降低HPC工作负载的成本，同时享受AWS的弹性与可扩展性。在GPU实例方面，新型实例Amazon EC2 P4de也推出了预览版，为机器学习训练和高性能计算应用程序提供极佳性能，适用于对象检测、语义分割、自然语言处理、地震分析、计算流体动力学等场景。此外，亚马逊云科技一直致力于发展的基于ARM的芯片Gra viton系列，今年发布了第三代Gra viton3处理器——与Gra viton2相比，计算性能提升了25%，浮点性能提升了2倍，加密工作负载性能也提升了2倍。