Meta推出MobileMoE 让iPhone 16 Pro运行MoE提速3.8倍
```html 端侧MoE模型突破：Meta MobileMoE实现手机高效推理，性能超越苹果同类方案 近两年，混合专家模型（MoE）在云端大模型领域已屡见不鲜。然而，一个显著的现象是：移动端大语言模型几乎仍以稠密架构为主。究其原因，手机的算力、内存及功耗限制极大，子十亿参数范围内的端侧MoE过去一
端侧MoE模型突破：Meta MobileMoE实现手机高效推理，性能超越苹果同类方案
近两年，混合专家模型（MoE）在云端大模型领域已屡见不鲜。然而，一个显著的现象是：移动端大语言模型几乎仍以稠密架构为主。究其原因，手机的算力、内存及功耗限制极大，子十亿参数范围内的端侧MoE过去一直缺乏系统性研究。
不过，随着移动设备DRAM容量的持续提升，这一局面正在被打破。Meta团队提出的MobileMoE，堪称首次在商业智能手机上成功实现高效MoE推理的里程碑。实测结果令人瞩目：在14项基础测试中，MobileMoE-S/M在相近内存条件下，仅用稠密基线1/2到1/4的推理计算量，便达到了持平甚至更高的平均准确率。尤其在iPhone 16 Pro的GPU/MLX后端，MobileMoE-S的输入阶段最高提速达3.8倍，生成速度显著提升。
论文链接：https://arxiv.org/abs/2605.27358
更值得关注的是，研究团队总结出一套端侧MoE的缩放规律，用于指导更适配手机部署的模型结构。最终，MobileMoE为端侧大语言模型建立了全新的帕累托前沿——在精度与推理计算开销之间实现了更优的平衡，成为移动端AI部署的新标杆。
图｜MobileMoE 为端侧大语言模型建立了新的帕累托前沿。
MobileMoE架构设计详解：面向手机端的高效MoE语言模型
简单来说，MobileMoE是一类专门针对手机端部署优化的MoE语言模型。整体架构仍为decoder-only Transformer，但将原有的稠密前馈层替换为MoE层。其运行逻辑是：路由器为每个token选出得分最高的少数专家参与计算，同时一个共享专家始终参与。整个训练流程分为四步：预训练、中期训练、监督微调及量化感知训练。
预训练：研究团队在2048上下文长度下，使用约6T token的开放许可数据进行预训练。数据以Web内容为主，涵盖数学、代码、知识和科学等多领域。
中期训练：上下文长度扩展至8192，显著提升知识、代码、数学和科学等高质量数据占比，总规模约500B token。
监督微调（SFT）：基于超过8000万个样本的开放许可指令微调数据，对MobileMoE-Base进行微调。
量化感知训练：将线性层和embedding量化至INT4，激活动态量化至INT8，而router保留FP32精度。
图｜MobileMoE 的四阶段训练。
实验结果与性能分析
消融实验：专家数量、粒度与共享专家的影响
研究团队首先比较了三个架构变量：专家数量E、专家粒度g，以及是否加入共享专家。
图｜专家数量 E 的缩放。
在固定内存预算下，当内存高于约0.25GB时，MoE的损失开始低于对应的稠密模型。继续增加专家数量E，损失进一步下降，但当E达到8后边际收益明显减弱。对专家粒度g的实验表明，更细粒度的专家配置整体更优，其中g=8在效果与训练开销之间取得了最佳平衡；从8增至16时，损失改善不足0.01，但训练时长增加约50%。在相同计算预算下，加入共享专家后模型损失进一步降低。
基于消融实验结果，研究团队最终采用E=8、g=8、带共享专家的配置——即60个细粒度路由专家、Top-4路由策略和1个共享专家。该结构应用于MobileMoE-S/M/L三个版本。
图｜在计算最优条件下对 MoE 模型进行缩放。
图｜MoE 架构的训练效率。
14项基础评测：刷新端侧帕累托前沿
研究团队在常识推理、知识、科学、阅读和推理五大类共14项基础评测中，将MobileMoE与Gemma 3、SmolLM2、Qwen3.5、OLMo 2、OLMoE-1B-7B等模型放在统一设置下重新评测。
图｜MobileMoE 的预训练轨迹。
Base模型对比结果显示，MobileMoE-M平均分高于Qwen3.5 2B，MobileMoE-L平均分高于OLMoE-1B-7B，且所需模型规模更小。研究团队指出，MobileMoE-L的Base版本平均分已高于OLMoE-1B-7B的Instruct版本。在训练规模上，MobileMoE仅使用约6T预训练token，远少于Llama 3.2 1B的9T和SmolLM2 1.7B的11T。在指令微调模型整体比较中，MobileMoE-M的平均准确率已接近OLMoE-1B-7B，但活跃参数和总参数均减少约60%。
图｜MobileMoE-Base 模型对比。
高级评测：代码与数学任务性能突出
在指令微调后的高级评测中，MobileMoE在代码和数学任务上的表现更为亮眼。以MobileMoE-L为例，其在代码和数学两类评测中的平均分均高于Qwen3.5 2B和OLMoE-1B-7B。不过研究团队也坦诚指出，在指令跟随和知识推理能力上，Qwen3.5 2B仍然更胜一筹。
图｜高级基准测试上的 Instruct 模型对比。
量化与端侧部署：INT4仍具竞争力，手机端实测提速明显
量化后，MobileMoE-S/M/L的整体平均分相比各自BF16版本有所下降，降幅大约控制在2到3分之间。即便如此，MobileMoE-L的INT4版本表现仍高于OLMoE-1B-7B Instruct的BF16版本。
研究团队还将MobileMoE部署到Samsung Galaxy S25和iPhone 16 Pro上进行实测。结果显示，在可比INT4权重内存条件下，MobileMoE-S相比MobileLLM-Pro，输入阶段提速1.8-3.8倍，逐token生成阶段提速2.2-3.4倍。
内存占用方面，在Samsung Galaxy S25、8K上下文和真实prompt条件下，MobileMoE-S的峰值RSS为1.49GB，低于MobileLLM-Pro的1.91GB。
图｜端侧运行时延迟。
局限性及未来优化方向
客观而言，MobileMoE尚未达到完美。在更高阶的指令遵循以及知识推理能力上，指令微调后的MobileMoE仍落后于Qwen3.5 2B。研究团队认为，这一差距可能与更完善的后训练有关。未来若要缩小差距，训练侧需要加强蒸馏、面向推理的后训练，以及多模态扩展。
此外，研究团队指出，MoE在手机上的内存占用会随输入内容变化。与固定模板输入相比，真实输入通常导致更高内存占用。若仅基于模板化输入进行测试，可能低估实际部署场景中的内存压力。未来准确评估端侧MoE的真实内存表现，仍需要更多真实实测数据支撑。
与此同时，研究团队已在CPU和GPU后端完成系统性真机测试，但NPU路线仍有待探索。值得注意的是，MoE的运行时内存占用对输入内容比较敏感。未来，动态路由、专家剪枝、混合精度量化以及移动端NPU部署，都是提升端侧效率的关键方向。
更多技术细节，详见原论文。
```你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Meta推出MobileMoE 让iPhone 16 Pro运行MoE提速3.8倍要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点面壁智能聚焦端侧AI，不拼参数大小，而是通过知识密度提升与模型风洞技术，将大模型压缩至手机、汽车等设备。其MiniCPM以2B参数超越同期8B对手。CTO曾国洋22岁主导训练中国首个大语言模型CPM-1。端侧AI追求“默契系统”，在用户开口前预判需求，已在吉利、上汽大众等车型落地应用。
印度IT巨头HCLTech投资最高350亿卢比建设AI数据中心，容量可扩展至50MW，提供从设计到运营的端到端服务，旨在满足政府及企业日益增长的算力需求，抢占印度快速增长的数据中心市场，并推动AI基础设施布局。
小米具身机器人在汽车工厂自攻螺母上件工站实现双侧作业成功率98%，接近人工水平。同时在新工站分别达到90%成功率，从单一操作拓展至多工站协同，验证了具身智能在复杂工业环境的落地能力。
全球AI行业正迎来新的财富格局，DeepSeek创始人梁文锋凭借其公司的迅猛发展，个人财富急剧膨胀，一举超越多位硅谷知名人物，成为全球AI公司领域的新首富。以下将详细解析其身价飙升背后的关键因素及公司发展历程。 一、身价飙升至360亿美元，超越多位AI大佬 根据最新彭博亿万富豪指数，DeepSeek
- 日榜
- 周榜
- 月榜
热点快看