InfiniBand技术详解：为何备受追捧

搞数通的朋友，对InfiniBand这个词肯定不陌生。进入21世纪以来，随着云计算、大数据的普及，数据中心发展飞快，而InfiniBand就是其中的关键角色，地位相当重要。

尤其今年以来，以ChatGPT为代表的AI大模型火得一塌糊涂，更是把InfiniBand推向了风口浪尖。因为，GPT们背后的网络，正是英伟达基于InfiniBand搭建的。

那么，InfiniBand到底是什么技术？为什么它能这么受追捧？大家常说的“InfiniBand与以太网之争”，到底是怎么回事？

今天这篇文章，就来逐一解答这些问题。

InfiniBand的发展历程

InfiniBand（简称IB），是一种能力很强的通信技术协议。它的英文直译过来，就是“无限带宽”。

要讲InfiniBand的故事，得从计算机的架构说起。

现代意义上的数字计算机，从诞生之日起，一直遵循着冯·诺依曼架构。这个架构里，有CPU、存储器（内存、硬盘）、还有I/O设备。到了上世纪90年代早期，为了支持越来越多的外部设备，英特尔公司率先在标准PC架构中引入了PCI总线设计。

PCI总线，就是一条连接通道。

不久，互联网进入高速发展阶段。线上业务和用户规模不断增长，给IT系统的承载能力带来了巨大挑战。当时，CPU、内存、硬盘在摩尔定律加持下快速升级，可PCI总线升级缓慢，成了整个系统的瓶颈。

为了解决这个问题，英特尔、微软、SUN公司主导开发了“Next Generation I/O（NGIO）”技术标准。而IBM、康柏以及惠普公司，则主导开发了“Future I/O（FIO）”。IBM这三家公司还合力搞出了PCI-X标准。

1999年，两大阵营正式合并，成立了InfiniBand贸易协会（IBTA）。很快，2000年，InfiniBand架构规范的1.0版本就发布了。

简单来说，InfiniBand的诞生目的，就是为了取代PCI总线。它引入了RDMA协议，具有更低的延迟、更大的带宽、更高的可靠性，能实现更强的I/O性能。

说到InfiniBand，有一家公司不得不提，那就是大名鼎鼎的Mellanox。

1999年5月，几名从英特尔和伽利略技术公司离职的员工，在以色列创立了一家芯片公司，取名Mellanox。成立后，Mellanox就加入了NGIO。后来NGIO和FIO合并，Mellanox便加入了InfiniBand阵营。2001年，他们推出了首款InfiniBand产品。

2002年，InfiniBand阵营突遭巨变。这一年，英特尔公司“临阵脱逃”，转向开发PCI Express（PCIe，2004年推出）。另一家巨头微软也退出了开发。

尽管SUN和日立等公司仍在坚持，但InfiniBand的前景已经蒙上阴影。

2003年开始，InfiniBand转向了一个新领域——计算机集群互联。这一年，美国弗吉尼亚理工学院创建了一个基于InfiniBand技术的集群，在当时的TOP500测试中排名第三。

2004年，另一个重要的非盈利组织——OFA（Open Fabrics Alliance，开放Fabrics联盟）诞生。OFA与IBTA配合，IBTA负责开发维护协议标准，OFA负责开发维护上层应用API。

2005年，InfiniBand又找到了新场景——存储设备的连接。老一辈网工一定记得，当年InfiniBand和FC是非常时髦的SAN技术。

再后来，InfiniBand技术逐渐深入人心，用户越来越多，市占率不断提升。到2009年，TOP500榜单中已有181个采用了InfiniBand技术（千兆以太网仍占主流，259个）。

在InfiniBand崛起的过程中，Mellanox不断壮大，成为市场领导者。2010年，Mellanox和Voltaire公司合并，主要供应商只剩Mellanox和QLogic。不久后的2012年，英特尔收购了QLogic的InfiniBand技术，重返赛道。

2012年之后，随着高性能计算（HPC）需求持续增长，InfiniBand高歌猛进，市场份额不断提升。2015年，InfiniBand在TOP500中的占比首次超过50%，达到51.4%（257套）。这标志着InfiniBand首次实现对以太网的逆袭，成为超级计算机最首选的内部连接技术。

2013年，Mellanox先后收购了硅光子技术公司Kotura和并行光互连芯片厂商IPtronics，完善了产业布局。2015年，Mellanox在全球InfiniBand市场上的占有率达到80%。业务范围也从芯片延伸到了网卡、交换机/网关、远程通信系统和线缆及模块全领域。

面对InfiniBand的赶超，以太网也没有坐以待毙。2010年4月，IBTA发布了RoCE，将InfiniBand中的RDMA技术“移植”到了以太网。2014年，又提出了更成熟的RoCE v2。有了RoCE v2，以太网大幅缩小了与InfiniBand间的技术差距，结合成本和兼容性优势，开始反杀回来。

从2007年到2021年的TOP500技术占比中，可以看出端倪：

2015年开始，25G及更高速率的以太网迅速崛起，一度压制了InfiniBand。

2019年，英伟达公司豪掷69亿美元，击败对手英特尔和微软，成功收购了Mellanox。对于收购原因，黄仁勋是这么解释的：“这是两家全球领先高性能计算公司的结合，我们专注于加速计算，而Mellanox专注于互联和存储。”现在看来，这个决策非常有远见。

正如大家所见，AIGC大模型崛起，全社会对高性能计算和智能计算的需求井喷。想要支撑庞大的算力需求，必须依赖高性能计算集群，而InfiniBand正是最佳选择。将自家GPU算力与Mellanox网络优势结合，等于打造了一个强大的“算力引擎”，让英伟达在算力基础设施上占据了领先优势。

如今，高性能网络的竞争，就是InfiniBand和高速以太网的缠斗。双方势均力敌。不差钱的厂商，更多会选择InfiniBand；追求性价比的，则更倾向高速以太网。剩下的BlueGene、Cray、OmniPath等，基本属于第二阵营了。

InfiniBand的技术原理

了解完发展历程，接下来我们看看它的工作原理，为什么它比传统以太网更强，低时延和高性能到底如何实现。

起家本领——RDMA

前文提到，InfiniBand最突出的优势，就是率先引入RDMA协议。在传统TCP/IP中，来自网卡的数据先拷贝到核心内存，再拷贝到应用存储空间，或反过来。这种I/O方式增加了数据流路径长度，加重了CPU负担，也增加了传输延迟。

RDMA相当于“消灭中间商”的技术。它的内核旁路机制，允许应用与网卡直接读写数据，将服务器内传输延迟降到接近1us。内存零拷贝机制，让接收端直接从发送端内存读取数据，绕开核心内存参与，极大减少CPU负担，提升效率。可以说，InfiniBand能迅速崛起，RDMA功不可没。

InfiniBand的网络架构

InfiniBand网络拓扑结构示意如下：

InfiniBand是一种基于通道的结构，组成单元分四类：HCA（主机通道适配器）、TCA（目标通道适配器）、InfiniBand link（连接通道）、InfiniBand交换机和路由器。所有传输均以通道适配器开始或结束，以确保安全和QoS。

使用InfiniBand的系统可由多个子网组成，每个子网最大6万多个节点。子网内部用交换机进行二层处理，子网之间用路由器或网桥连接。

二层处理很简单：每个子网设一个子网管理器，生成16位的LID。交换机根据LID转发数据包。除管理数据包外，交换机不消耗或生成数据包。简单的处理和自有的Cut-Through技术，将转发时延降至100ns以下，远快于传统以太网交换机。数据以最大4KB的数据包形式串行传输。

InfiniBand的协议栈

InfiniBand协议采用分层结构，各层相互独立，下层为上层提供服务：

物理层定义如何将比特信号组成符号、帧、数据符号及填充。链路层定义数据包格式及流控、路由、编码等协议。网络层通过添加40字节的GRH进行路由选择，转发时只做可变CRC校验，保证端到端数据传输完整性。

传输层将数据包传送到指定队列偶（QP）中，并指示QP如何处理。InfiniBand拥有自己定义的1-4层格式，是一个完整网络协议，端到端流量控制可实现无损网络。

说到QP，它是RDMA通信的基本单元。QP是一对队列：SQ和RQ。用户调用API时，将数据放入QP，然后以轮询方式一条条处理。

InfiniBand的链路速率

InfiniBand链路可用铜缆或光缆，需用专用线缆。物理层定义了多种链路速度，如1X、4X、12X。每个链路是四线串行差分连接。以早期SDR为例，1X链路的原始信号带宽为2.5Gbps，4X是10Gbps，12X是30Gbps。1X链路实际数据带宽2.0Gbps。链路是双向的，总带宽对应加倍。

随着时间推移，InfiniBand带宽不断升级，从SDR、DDR、QDR、FDR、EDR、HDR，一路到NDR、XDR、GDR：

英伟达最新的Quantum-2平台采用NDR 400G：

InfiniBand的商用产品

最后，我们看看市面上的商用产品。英伟达收购Mellanox后，于2021年推出了第七代InfiniBand架构——NVIDIA Quantum-2。平台包括Quantum-2系列交换机、ConnectX-7 InfiniBand适配器、BlueField-3 InfiniBand DPU及相应软件。

Quantum-2交换机采用紧凑型1U设计，有风冷和液冷版本。芯片制程7nm，单个芯片拥有570亿个晶体管。支持64个400Gbps端口或128个200Gbps端口灵活搭配，提供总计51.2Tbps双向吞吐量。ConnectX-7适配器支持PCIe Gen4和Gen5，可提供400Gbps的单或双网络端口。

结语

行业预测显示，到2029年，InfiniBand市场规模将达到983.7亿美元，相比2021年的66.6亿美元，增长14.7倍，复合年增长率约40%。在高性能计算和人工智能计算的强力推动下，InfiniBand的发展前景令人期待。究竟它和以太网谁能笑到最后，就让时间来告诉我们答案吧！

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：InfiniBand技术详解：为何备受追捧要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题