四台Mac Studio组AI集群：1.5TB内存，硬件成本近30万

12月25日消息，知名工程师Jeff Geerling近日完成了一项技术挑战，他借助macOS 26.2系统的最新特性，成功将四台搭载M3 Ultra芯片的Mac Studio整合为一体，打造出一个拥有1.5TB统一内存的AI计算集群。

此次集群成功的关键，在于macOS 26.2引入的一项核心功能——基于雷雳5接口的RDMA（远程直接内存访问）。通过雷雳5连接，一台Mac可以直接读取另一台设备的内存，无需CPU介入处理。

在Geekbench 6的多核性能测试中，该集群轻松超越了Dell Pro Max with GB10和Framework Desktop等对手。其双精度浮点运算性能更是突破了1 TFLOPS，而在闲置状态下的功耗则低于10瓦。

在AI推理方面，单机运行Llama 3.2 3B模型时，每秒可处理154.6个token；而在运行大型的Llama 3.1 70B模型时，每秒仍能维持14.1个token的处理速度。这两项测试的性能表现均远超其他竞品平台。

此外，在尝试运行DeepSeek R1 671B超大型模型时，其他系统均无法正常工作，而Mac Studio集群则凭借1.5TB的统一内存，成功完成了这一挑战。

RDMA over Thunderbolt 5在这个AI集群中发挥了关键作用。启用RDMA后，内存访问延迟从TCP协议的300微秒大幅降低至50微秒以下。

在使用exo系统测试Qwen3 235B模型时，四台设备每秒可处理31.9个token，比基于TCP的llama.cpp快了一倍以上；运行DeepSeek V3.1时，速度更是达到了每秒32.5个token。

尽管RDMA表现优异，但在高负载时偶尔会出现系统崩溃的情况。

另外值得注意的是，由Mac Studio组成的AI集群总硬件成本约为4万美元（约合人民币28万元）。相比其他两个对比平台，这一价格更为昂贵。