四台Mac Studio组AI集群：1.5TB内存，硬件成本近30万

12月25日消息，知名工程师Jeff Geerling近日完成了一项技术挑战，他借助macOS 26.2系统的最新特性，成功将四台搭载M3 Ultra芯片的Mac Studio整合为一体，打造出一个拥有1.5TB统一内存的AI计算集群。

此次集群成功的关键，在于macOS 26.2引入的一项核心功能——基于Thunderbolt 5的RDMA（远程直接内存访问）。通过Thunderbolt 5接口，一台Mac可以直接读取另一台设备的内存，整个过程无需CPU干预。

在Geekbench 6的多核性能测试中，该集群轻松超越了Dell Pro Max with GB10和Framework Desktop等对手。其双精度浮点运算性能更是突破了1 TFLOPS，而闲置功耗则低于10瓦。

在AI推理方面，单机运行Llama 3.2 3B模型时，每秒可处理154.6个token；而在运行大型的Llama 3.1 70B模型时，每秒仍能维持14.1个token的处理速度。这两项测试的性能表现均远超其他竞争对手。

此外，在尝试运行DeepSeek R1 671B超大型模型时，其他系统均无法正常工作。而Mac Studio集群凭借1.5TB的统一内存，成功完成了这一挑战。

RDMA over Thunderbolt 5在这个AI集群中发挥了关键作用。启用RDMA后，内存访问延迟从TCP协议的300微秒大幅降低至50微秒以下。

在使用exo系统测试Qwen3 235B模型时，四台设备每秒可处理31.9个token，比基于TCP的llama.cpp快了一倍以上；运行DeepSeek V3.1模型时，速度更是达到了每秒32.5个token。

尽管RDMA表现优异，但在高负载时偶尔会出现系统崩溃的情况。

另外值得注意的是，由Mac Studio组成的AI集群总硬件成本约为4万美元（约合人民币28万元）。相比其他两个平台，这一价格更为昂贵。