AI/ML网络技术盘点：以太网与非以太网对比

2023年7月，Linux基金会与其联合开发基金会牵头成立的超以太网联盟（Ultra Ethernet Consortium，UEC），像一颗深水冲击波投入了本就暗流涌动的AI网络互联生态圈。紧接着在8月的IEEE Hot Interconnects（HOTI）论坛上，英特尔、英伟达、AMD等巨头代表围坐一桌，就“EtherNET还是EtherNOT”这个经典命题展开了一场火药味十足的唇枪舌剑。

说到底，新兴的AI/ML工作负载正在把高性能网络互联的需求推向一个前所未有的高度。大约十年前，基于融合以太网的RDMA（RoCE）算是把低延迟数据传输带进了以太网的“家门”，但放眼整个技术演进曲线，以太网在与其他网络技术的赛跑中，多少显得有些步履蹒跚。眼下，这场“EtherNET还是EtherNOT”的老牌对决再次登场，对于云厂商、设备商等各方玩家来说，这又是一个决定“吃肉还是喝汤”的关键岔路口。

01 EtherNET 还是 EtherNOT？

说起来，“EtherNET 还是 EtherNOT”这个话题在2005年的HOTI会议上就已经被摆上过桌面。当时的讨论得出了下面这张颇有“预言”色彩的结论图——如今回头再看，时间果然是最好的裁判。

在2023年的HOTI圆桌讨论中，几方代表的立场分化得很明显。英特尔高级研究员Brad Burres和AMD数据中心GPU架构师Frank Helms都旗帜鲜明地站在EtherNET这边。Burres的观点很直接：不管底层技术怎么变，一个开放的生态系统才是降低行业整体成本、实现所需软件基础设施的基石。他还指出，在现有协议逐渐走向成熟的前提下，除非另一个开放标准结构（比如CXL？）能立马杀出来，否则以太网大概率是最后的赢家。

Frank Helms则搬出了全球超算TOP500的“铁证”——排名第一的Frontier、第二的Aurora和第五的LUMI，清一色用的都是基于以太网的HPE Cray Slingshot-11互联架构。在他看来，以太网已经站在了互联技术的前沿。而UEC的横空出世，恰好印证了一个事实：对于大型AI训练集群的互联来说，以太网领域积压了太多未被满足的需求。

当然，不是所有人都这么乐观。英伟达网络研究总监Larry Dennison就直言，以太网距离满足AI工作负载的需求还有不小的差距。他抛出了两个很尖锐的问题：如果以太网真的满足了这些需求，那它还是“以太网”吗？这个过程又要花多长时间才能实现？以太网的市场盘子确实很大，它短期内不会消失，但未来几年的发展速度，还真不一定能跟上市场这头“饿狼”的胃口。苏黎世联邦理工学院的Torsten Hoefler教授则给出了一个折中的判断：以太网既是数据中心也是超算的现在和未来，但这里说的“以太网”，绝不是我们现在认知里的那个以太网——它必须进化。

02 开放生态 vs 供应商锁定？

回看历史，InfiniBand与以太网在AI/HPC市场的争夺战由来已久，两者本质上都是开放标准。但一个关键的分水岭在于：目前InfiniBand的供应商只有英伟达一家在单打独斗，而以太网背后站着一个多供应商支撑的、活力充沛的竞争生态。

不过，事情并没有那么简单。即便在AI/HPC网络解决方案领域选择了以太网，你拿到的也很可能是一套“部分定制”的方案，潜藏着供应商锁定的风险。举个例子：博通的Jericho3以太网交换机，在其高性能“fully scheduled fabric”模式下运行时，要求整个网络fabric使用同型号的交换机芯片。无独有偶，思科的Silicon One交换机和英伟达的Spectrum-X交换机也出现了类似的情况——高性能的实现，往往伴随着对特定供应商的依赖。

更值得玩味的是，一些超大规模企业甚至开始设计“定制”的NIC（网络接口卡），这直接导致定制化网络的出现。所以你看，就算选了以太网这条“开放”的路，也未必能完全绕开自定义实现和供应商锁定这些现实问题。

在这样的背景下，AI/HPC网络很可能会过渡到一个全新、开放且功能更强大的传输标准上去，部分甚至完全取代现有的ROCEv2 RDMA协议——而这，恰恰是超以太网联盟正在追求的愿景。

03 各家AI/ML 网络技术盘点

那么问题来了：这些超大规模厂商具体是怎么选型的？是直奔EtherNET，还是坚持EtherNOT？下面这份盘点或许能帮你摸清门道。实际上，很多大厂的选择并不是非黑即白的二元对立，平衡各方利益才是最终诉求。在这个节骨眼上，不急着选边站，或许才是最好的策略。

亚马逊AWS

亚马逊的做法很有代表性。他们从InfiniBand的RD协议中汲取灵感，推出了专为HPC网络打造的可扩展可靠数据报（SRD）传输协议。AWS“独家”采用基于其自研Nitro芯片构建的增强型网络适配器（ENA）。SRD底层基于UDP，支持跨多条链路的packet spraying（数据包喷洒），并通过取消“按顺序交付”的要求来降低fabric拥塞和尾部延迟。至于数据包的重新排序，则交由SRD的上层协议来处理。总体来看，亚马逊坚持走本土化的AI/HPC网络战略，也很可能是与英伟达合作最少的一家。

谷歌

谷歌这边则是双线作战——自家的TPU和英伟达的GPU混着用，具体根据工作负载的适应性来部署。有趣的是，谷歌大概率没有在自己的网络中使用InfiniBand产品。他们的AI/ML网络相当定制化，很多年前就开始部署类似NVLink的“coherent”架构了。谷歌在网络堆栈上没少下功夫，在常规数据中心和AI数据中心部署了“本土”的光交换系统（OCS）——一种基于MEMS微镜技术的电路交换机。这种光交换机的优势很明显：通常能省掉一层物理交换机，支持更高基数的配置，同时降低功耗和延迟。它通过“反射”光来工作，跟网络协议和交换机的升级换代完全解耦。不过短板也很明显——镜像重新配置的时间较长，通常在几十毫秒的量级，所以OCS只能作为固定容量的“circuit”线路来用。对于流量模式相对可预测的AI训练网络来说，这倒不是个大问题。

微软

如果说各大超大规模厂商里谁最“务实”，微软绝对排得上号。他们很早就拥抱了InfiniBand，为合作伙伴OpenAI搭建了专用的AI网络。尽管微软为Azure云开发了定制化的网络适配器和专有的RDMA协议，但他们对InfiniBand抱持的开放态度、对英伟达全栈AI/ML解决方案的全面接纳，再加上与OpenAI的深度绑定——这一切都让它成了英伟达客户名单上的“VIP”。还有一点值得关注：微软收购了Fungible这家公司，后者发明了True Fabric——一个基于UDP的可靠数据报协议，专门负责流量、拥塞和错误控制，同时优化尾部延迟。不难想象，未来微软的产品和开源贡献里，很可能会融入一部分Fungible的技术创新。

Meta

Meta是AI赛道上的一匹黑马。它的AI布局有几个非常鲜明的标签：在基础模型上走开源路线（Llama系列）；通过PyTorch框架及生态让AI变得对开发者友好、更易用；在硬件侧，则依托开放计算项目（OCP）社区成为开源硬件创新的重要支柱。

Meta部署了大规模的GPU集群，凭借推荐系统（DLRM模型）一直站在AI创新的前沿。它的AI基础模型和PyTorch生态催生了一个庞大的开源AI创新库。在网络选型上，Meta既布了基于以太网的集群，也建了基于InfiniBand的集群，同时还为DLRM模型和视频转码自研了ASIC芯片。说白了，Meta正在做的是推动AI的“民主化”——尽管目前收获的掌声还不够响亮，但风向很快就会变了。

Oracle

Oracle的态度很干脆：坚定站以太网，不用InfiniBand。在Oracle云基础设施（OCI）上，他们利用英伟达GPU和ConnectX NIC，组建了基于ROCEv2 RDMA的超级集群。他们在OCI内部搭建了一个独立的RDMA网络，采用基于DC-QCN的自定义拥塞通知协议，最小限度地使用PFC，并针对AI和HPC工作负载做了深度调优。

英伟达

说到英伟达，它凭借GPU和全栈AI/ML解决方案，已经成为这个市场里无可争议的“顶流”。英伟达DGX Cloud方案集成了Quantum-2（25.6Tbs）InfiniBand交换机以及ConnectX和Bluefield网络适配器——这些适配器同时支持以太网和InfiniBand。基于DGX Cloud的全栈InfiniBand方案，还会通过英伟达和OEM厂商覆盖电信和企业市场。

但有意思的是，英伟达另一端也在重仓以太网——通过Spectrum-X交换机。几年前，InfiniBand还是AI训练的默认架构，也是英伟达集成DGX云方案的首选。但随着Spectrum-X以太网交换机（51.2Tbs容量，是InfiniBand交换机容量的两倍）的推出，英伟达开始将目光转向以太网来支撑大规模GPU部署，显然是看中了以太网更高的端口速度、成本效益和扩展性。Spectrum-X支持高级ROCEv2扩展——包括RoCE自适应路由、拥塞控制、遥测支持，以及名为collective的网内计算（借助英伟达SHARP产品实现）。

博通

博通这边则提供了一套完整的AI/HPC网络解决方案，覆盖交换机芯片和网络适配器。他们对“Correct Networks”的战略收购，引入了基于EQDS UDP的传输协议——这个协议把所有排队活动从核心网络转移到了发送端主机或leaf交换机上。这种设计让Jericho3/Ramon3芯片组合中的交换机得到了充分优化，是一种“fully scheduled fabric”，配备了packet spraying、leaf交换机内的重新排序缓冲区、路径再平衡、丢弃拥塞通知以及硬件驱动的带内故障恢复机制。

而Tomahawk系列（52Tbs）则专注于优化单芯片容量，并不属于fully scheduled fabric。不过Tomahawk交换机也支持边缘队列，并且对硬件中那些对延迟敏感的功能做了支持，比如全局fabric级负载均衡和路径再平衡。区别在于，Tomahawk不支持leaf交换机内的数据包排序，所以需要在网络适配器（端点）侧实现数据包重新排序缓冲区。

思科

思科最近推出了Silicon One 52Tb/s交换机，展现了其网络方案的多面性。这款交换机是P4可编程的，可以灵活地为各种网络用例进行定制编程。基于Silicon One的交换机支持fully scheduled fabrics、负载均衡、硬件故障隔离和遥测。思科选择与多家NIC供应商合作，共同提供完整的AI/ML网络解决方案。

04 总 结

面向AI/HPC网络的以太网标准化之旅，其实才刚刚起步。接下来需要通过规模化部署、开放创新以及多供应商的良性竞争，进一步降低成本和功耗。超以太网联盟集结了主要的网络利益相关方，目标是打造一个专门为AI/HPC工作负载量身定制的、开放、“全栈”的以太网解决方案。

从上文梳理的情况来看，大多数“必需的”AI/HPC网络技术，其实已经由各家以太网供应商和超大规模提供商以这样或那样的形式，在实际环境中大规模部署过了。所以，标准化真正的挑战，并不在于技术本身能否实现，而是如何构建共识。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：AI/ML网络技术盘点：以太网与非以太网对比要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题