苹果端侧AI大模型落地之道解析

2024年6月，苹果在WWDC全球开发者大会上正式发布了Apple Intelligence。这一深度集成于iOS 18、iPadOS 18和macOS Sequoia中的个人智能系统，远不止面向开发者。它由多个针对用户日常任务精心调优的生成模型组成，能够根据当前行为实时响应——从文本创作、通知摘要到图像生成及跨应用交互，使用体验流畅自然。

近日，苹果发布了关于其大模型的技术报告，详细披露了大量技术细节。该报告不仅深入拆解了AFM-on-device（约30亿参数的语言模型）和AFM-server（更大容量的云端模型）的构建逻辑，还展示了它们如何在高效、准确且负责任的前提下完成专业任务。值得一提的是，这些基础模型只是苹果大模型家族的一部分，还包括辅助Xcode编程的代码模型以及帮助用户进行视觉创作的扩散模型。

                              图1. 苹果基础大模型训练流程图

接下来，我们将沿着模型架构、预训练、后训练、系统部署及评测这条主线，逐一拆解这份报告的精华内容。

01 模型架构

AFM基础模型采用了经典的自回归架构，在具体参数设置上，苹果团队做了几处精细化的选择：

• 共享输入/输出嵌入矩阵，减少参数内存占用
• 预归一化结合RMSNorm，提高训练稳定性
• 查询/键归一化，进一步稳定训练过程
• 分组查询注意力（GQA），配备8个键值头，降低键值缓存的内存消耗
• SwiGLU激活函数，提升计算效率
• RoPE位置嵌入，基础频率设置为500k，支持更长的上下文

下表是AFM-on-device模型的具体参数配置，一目了然。

      表1. AFM-on-device模型的参数设置

02 预训练

预训练阶段的策略与主流模型大体一致，核心可拆分为三个板块：数据、训练策略以及训练基础设施。

2.1 数据 (Data)

• 数据来源：预训练数据集由多种来源构成，包括来自出版商的授权数据、公开可用或开源数据集，以及通过苹果自有网络爬虫Applebot抓取的公共信息。
• 数据多样性：涵盖了网页、编程代码、数学问答等多种类型的数据。
• 数据质量：苹果强调质量而非数量。数据清洗非常严格，去除不安全内容、亵渎语言、个人信息，并对常见评估基准做了去重处理。
• 数据集细节：
  • 网页：Applebot爬取后，经过质量过滤和纯文本提取。
  • 授权数据集：从出版商处获得的高质量数据，用于预训练的持续和上下文延长阶段。
  • 代码数据：从GitHub开源仓库获取，覆盖多种编程语言。
  • 数学数据：整合了来自网络的高质量数学问答数据。
  • 公共数据集：选用了那些质量高且允许用于训练语言模型的公开资源。

2.2 训练策略 (Training Strategy)

• 预训练过程：划分为三个阶段——核心预训练、持续预训练和上下文延长预训练。
• 核心预训练：AFM-server从零开始训练，而AFM-on-device则通过从较大模型中进行知识蒸馏和结构修剪来初始化。
• 持续预训练：在更长的序列长度上进行，同时增加了数学和代码数据的权重。
• 上下文延长：继续在更长序列上预训练，并引入了合成的长上下文问答数据。
• 训练技术：
  • 采用知识蒸馏和结构修剪，提升模型性能和训练效率。
  • 分步训练，包含线性预热和余弦衰减学习率计划。
  • 利用简化版的μParam进行正则化。

2.3 训练基础设施 (Training Infrastructure)

• 硬件平台：AFM模型在v4和v5p Cloud TPU集群上完成预训练，使用的深度学习库是基于JAX的AXLearn。
• 并行策略：训练结合了张量并行、完全分片的数据并行和序列并行，能够高效应对大规模模型参数和长序列问题。
• 效率：AFM-server在8192个TPUv4芯片上训练，Model FLOPs utilization (MFU) 达到了约52%；AFM-on-device则用了2048个TPUv5p芯片。

03 后训练

后训练策略同样与主流模型保持一致，分为监督微调（SFT）和人类反馈强化学习（RLHF）两阶段。而苹果的亮点在RLHF阶段——他们推出了两个自研方案：一个是带教师委员会的拒绝采样微调算法（iTeC），另一个是基于镜像下降策略优化和留一法优势估计器（MDLOO）的RLHF算法。这两个算法才是模型对齐效果明显提升的关键所在。

3.1 SFT

监督微调阶段，苹果没有特别花哨的创新，但在数据上下了功夫：

• 数据方面，采用了人工标注和合成数据两种方式，除了通用对话数据，还包括数学、工具使用和代码等数据。数据质量高于数量，这一点被反复强调。
• 训练策略上，涉及数据选择、配比以及参数设置。AFM-server模型采用5e−6的常量学习率，AFM-on-device采用2e−5，Dropout设为0.1。

3.2 RLHF

RLHF阶段是通过人类偏好数据对模型进行优化，具体包含奖励模型（Reward Modeling）和强化学习（Reinforcement Learning）两步。

• 奖励模型
  训练数据包含两部分标签：一是针对同一问题的偏好回答及等级（分为“接受回答比拒绝回答显著更好”、“更好”、“好一点”、“可以忽略不计的好”四种）；二是每个回答的单边评价，包括指令跟随能力、真实性、无害性等。训练阶段有两个创新点：
  • 设计了一个软标签损失函数，考虑了人类偏好级别
  • 将单边评分作为正则化项纳入奖励建模
• 带教师委员会的拒绝采样微调算法——iTeC
  这是一个创新的迭代式RLHF框架，充分利用多轮RLHF来优化模型能力。核心思路包括：
  • 迭代式委员会：每批人类偏好数据收集时，使用一系列最新最优的模型（从SFT、RS、DPO/IPO、RL以及上一轮迭代的最佳模型中选出）组成“模型委员会”，从中采样响应并收集配对的人类偏好数据，更新奖励模型后，再用新模型进入下一轮迭代。
  • 委员会蒸馏：使用最新的奖励模型对委员会进行rejection sampling（蒸馏）。不同于全局级别的重排序，而是在提示级别针对每个提示从委员会中采样多个响应，再用奖励模型挑选最佳结果，结合了不同偏好优化算法的优势。
  • 扩大蒸馏规模：小模型在扩大蒸馏提示数量时获得巨大改进，最终AFM-On-Device模型在100多万条高质量响应上完成训练。
• 在线RLHF算法——MDLOO
  这是一种在线强化学习算法，在模型训练过程中解码回答，并利用强化学习最大化奖励。与PPO等常用方法类似，它也基于信任域的策略迭代，但做了两方面改进：
  • 使用留一法（Lea ve-One-Out, LOO）估计器来估计提示-响应对的优势
  • 使用Mirror Descent Policy Optimization (MDPO) 优化策略，而非常用的剪切式PPO

该算法被称为“带留一法估计的镜像下降”（MDLOO），实验证明它比PPO效率更高。

04 系统

讲到这里可以看到，苹果的整体训练流程与业界主流方案保持同步，真正有独创性的地方集中在RLHF阶段。那么，模型落地到设备端时，如何处理各种任务，以及云端模型又如何配合？下面我们来梳理一下。

从系统架构图来看，苹果的设计相当务实：

• 多任务适配：每个常用任务都通过LoRA训练了一个Adapter。这样一来，在基础模型不变的前提下，可以更灵活地适配具体任务，提升用户在不同场景下的体验。苹果也能根据用户反馈，轻量级地迭代各个Adapter。
• 端云结合与任务路由：图中展示了语义索引和意图工具箱两种路由方式。虽然没有详细展开，但可以推断出：语义索引是根据用户请求，通过端侧模型将请求路由到能够给出最优回答的模型上；而意图工具箱则针对意图明确的请求，比如在邮件里点击“文本总结”，直接调用对应的总结模型。

为了保证端侧模型的推理性能，苹果还做了低精度量化：

• 模型量化：使用4位量化技术显著降低模型大小和推理成本。
• 精度恢复适配器：通过LoRA适配器恢复量化模型的精度，使其接近未量化模型的表现。
• 混合精度量化：对模型的各层分别使用4位和2位精度，进一步降低内存占用，同时保持模型质量。
• 交互式模型分析：借助Talaria工具分析延迟和功耗，指导比特率选择，优化模型性能。

05 评测

Apple Intelligence对AFM的预训练模型和后训练模型（包括Instruction和Chat版本）进行了全面的评测——涵盖公开数据集、人类主观评价、指令遵循、工具使用、写作等方面。结果显示，无论是端侧的小模型还是云端的大模型，效果都非常接近同尺寸的SOTA模型。

• 预训练模型评测
• 后训练模型评测
  • 公开数据集
  • 人类主观
  • 指令遵循
  • 工具使用
  • 写作

06 Takeaways

从Apple Intelligence这篇技术报告中，可以提炼出几个端侧大模型落地的关键思路：

• 云+端结合（或者说高频+低频互补）：简单问题由端侧模型（高频任务）直接处理，复杂问题则交由云端（低频任务）处理。
• 小模型也能出彩：通过蒸馏训练，小模型在各类任务上依然可以保持优秀性能。
• 加速推理离不开低比特量化：这是端侧模型运行的刚性需求。
• Adapter策略是个务实选择：为了快速迭代能力、提升不同任务上的体验，为每个任务训练一个Adapter，远比短期内追求AGI来得实在。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：苹果端侧AI大模型落地之道解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题