老旧iPhone iPad MacBook异构集群运行Llama 3

如果你手头恰好有闲置的 iPhone、iPad、MacBook 等硬件设备，不妨尝试这个全新的 AI 玩法。

没错，你手中的 iPhone、iPad、MacBook 等设备，如今也能在 AI 推理领域大展拳脚。通过将它们组合起来，即可搭建一套“异构集群推理方案”，流畅运行 Llama3 等大语言模型。

更令人兴奋的是，该异构集群不仅支持 Windows、Linux 和 iOS 系统，对 Android 设备的支持也已在开发中。

异构集群实际运行效果展示。

项目作者 @evilsocket 公开了他的实际配置清单：iPhone 15 Pro Max、iPad Pro、MacBook Pro (M1 Max)、NVIDIA GeForce 3080，以及两块 NVIDIA Titan X Pascal。相关代码已全部开源至 GitHub。

看到这里，不少网友称赞作者技术实力不俗。当然，也有人开始关注能耗问题——暂且不论推理速度，数据在设备间频繁搬运带来的损耗，电费开销恐怕不容小觑。

项目介绍

这一切的关键，是一个名为 Cake 的 Rust 框架。Cake 专为大模型的分布式推理而生，例如 Llama3。其目标清晰明确：将各种消费级硬件——无论是 iOS、Android、macOS、Linux 还是 Windows 设备——整合为异构集群，使 AI 推理更加平民化、触手可及。

GitHub 项目地址：https://github.com/evilsocket/cake

Cake 的核心策略是将 transformer 块分片至多个设备，从而让原本因单个设备 GPU 内存不足而无法运行的模型，也能够顺利执行。同一工作线程上的连续 transformer 块会分批进行推理，以最大限度地降低数据传输延迟。

目前 Cake 已支持以下系统与设备：

编译

安装 Rust 开发环境后，执行以下命令进行编译：

cargo build --release

如果你想在应用里生成 iOS 绑定，可以执行：

make ios

使用

启动 worker 节点：

cake-cli --model /path/to/Meta-Llama-3-8B  # 模型路径，关于如何优化模型大小往下看
--mode worker                               # 以 worker 模式运行
--name worker0                              # worker 在拓扑文件中的名称
--topology topology.yml                     # 拓扑文件
--address 0.0.0.0:10128                     # 绑定地址

启动 master 节点：

cake-cli --model /path/to/Meta-Llama-3-8B --topology topology.yml

拓扑文件 topology.yml 定义了各层由哪个 worker 负责，示例如下：

linux_server_1:
  host: 'linux_server.host:10128'
  description: 'NVIDIA Titan X Pascal (12GB)'
  layers:
    - 'model.layers.0-5'
linux_server_2:
  host: 'linux_server2.host:10128'
  description: 'NVIDIA GeForce 3080 (10GB)'
  layers:
    - 'model.layers.6-16'
iphone:
  host: 'iphone.host:10128'
  description: 'iPhone 15 Pro Max'
  layers:
    - 'model.layers.17'
ipad:
  host: 'ipad.host:10128'
  description: 'iPad'
  layers:
    - 'model.layers.18-19'
macbook:
  host: 'macbook.host:10128'
  description: 'M1 Max'
  layers:
    - 'model.layers.20-31'

关于内存和磁盘空间的优化，如果您只想为 worker 提供模型实际所需的数据，而非整个文件夹，可使用 cake-split-model 工具。例如，生成一个精简版 Llama3 safetensors 文件：

cake-split-model --model-path path/to/Meta-Llama-3-8B  # 待分割的源模型
--topology path/to/topology.yml                         # 拓扑文件
--output output-folder-name                            # 输出文件夹

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：老旧iPhone iPad MacBook异构集群运行Llama 3要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题