手机AI DeepSeek时刻：Bonsai 27B模型登场，iPhone 17 Pro可运行

2025年7月15日，@PrismML 正式发布了一则重磅消息：推出全新 Bonsai 27B 模型。该模型基于 Qwen 3.6 27B 进行微调，最大亮点在于——在保留 90% 智能水平的前提下，竟能在 12GB 内存的 iPhone 上原生运行。

先来了解 Qwen 3.6 27B 本身。该模型在本地 AI 能力上确实下了功夫，重点覆盖多步推理、结构化工具使用、长上下文工作流，以及连贯的智能体循环。但问题随之而来——它的体积有多大？在 16-bit 精度下，Qwen 3.6 27B 需要占用 54GB 空间；即便压缩到 4-bit 精度，也仍需 18GB。这样的内存占用，对于手机和大部分笔记本而言，基本就是“跑不动”的代名词。

关键转折在于 Bonsai 27B 的微调策略。它推出了两个版本：

Ternary（3-bit）Bonsai 27B：5.9GB，每权重有效位 1.71，针对笔记本级质量做了优化。
1-bit Bonsai 27B：3.9GB，每权重有效位 1.125，针对手机级占用空间做了优化。

从数据来看，这两个版本的内存占用分别降至 5.9GB 和 3.9GB，直接让 12GB 的 iPhone 具备了搭载运行的可能。这背后意味着什么？美国软件工程师、开源本地 AI 客户端 AnythingLLM 的创始人蒂莫西·卡兰巴特（Tim Carambat）给出了一个非常有趣的评价：“它的影响远比 Fable、Mythos 或 GPT 5.6 更重要。甚至可能比它们加起来还要重要。这才是 AI 真正的 DeepSeek 时刻。”

附上相关截图：