苹果AI压缩黑科技:27B大模型缩小14倍,速度提升8倍
苹果与AI初创公司PrismML合作,利用其原生1-bit模型压缩技术,将27B参数大模型体积缩至十四分之一,内存占用降低90%以上,推理速度提升8倍,能耗降低75%至80%,并在iPhone17Pro上成功运行,精度接近原版,有望大幅提升端侧AI能力。
先从一条令人关注的消息说起。科技媒体The Information爆料称,苹果正在与一家名为PrismML的AI初创公司展开洽谈,核心目标非常明确:在iPhone上直接运行更大规模的AI模型。如果这一合作最终落地,意味着端侧AI的能力或许将迎来一次质的飞跃——原本需要依赖云端算力才能支撑的大型语言模型,未来可能只需在你的口袋里就能轻松运转。
PrismML究竟是何方神圣?
这家公司诞生于加州理工学院,掌握着一项硬核技术:原生1-bit模型压缩。听起来可能有些抽象,但它的实际效果相当惊人——能将模型体积压缩至全精度版本的约十四分之一,内存占用直降90%以上。传统的量化方法,说白了就是把高精度数值降低精度,但权重仍需用多个比特来表示。而PrismML的做法更为激进:权重只使用负1和正1两个值,并配合分组缩放因子完成计算。这相当于从底层架构上重新设计了模型的存储与推理方式。

没有“高精度逃生通道”,精度却媲美原版
许多量化方案都会给自己留一条后路——在关键层保留高精度以弥补性能损失。而PrismML宣称,他们的技术完全没有这种“逃生通道”,全程采用1-bit权重,却能保持接近FP16模型的精度水平。更令人惊艳的是,推理速度最高可提升8倍,能耗降低75%到80%。这两组数字叠加在一起,意味着什么?意味着在不牺牲模型质量的前提下,手机端运行大型AI模型所需的算力与电量门槛,被大幅拉低。
27B参数的Qwen 3.6已在iPhone上成功运行
空谈技术当然不够,实战数据才是硬道理。PrismML将阿里巴巴开源的27B参数大模型Qwen 3.6进行了压缩,随后成功在iPhone 17 Pro上完整运行。27B参数规模的模型,按传统方案几乎不可能在手机端流畅运行,但经过他们的1-bit压缩后,不仅跑起来了,推理质量还接近原版。苹果看中的正是这一点——他们希望利用这套压缩技术,让本地AI模型的推理能力再上一个台阶。
对苹果而言,端侧AI能力直接决定了Apple Intelligence生态的竞争力。目前iPhone上的AI模型规模和功能,很大程度上受限于内存与功耗。如果PrismML的技术能够顺利落地,iPhone就能在不增加硬件成本的前提下,运行更大规模的模型,实现更复杂的多轮对话、图像理解,甚至智能体任务编排。当手机端也能跑起旗舰级大模型,端侧AI与云端AI之间的实力天平,恐怕就要重新校准了。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:苹果AI压缩黑科技:27B大模型缩小14倍,速度提升8倍要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点SIFT算法由DavidLowe提出,是一种基于尺度空间的局部特征描述算子,对图像缩放、旋转、光照变化具有不变性。实现步骤包括构建高斯差分尺度空间、检测极值点、精确定位并去除低对比度及边缘响应点、为关键点分配方向并生成128维描述子,最后通过欧式距离与最近邻比阈值进行特征点匹配。
说到大数据技术,很多人第一反应就是“高深”“代码”“算法”,但拆开来看,其实它更像一套系统化的“数据炼金术”——从采集、存储、清洗、分析到应用,每一个环节都有对应的技术栈。那么,一个合格的大数据工程师到底需要掌握哪些核心能力? 大数据技术主要学什么 数据库技术是基础中的基础。无论是传统的关系型数据库
Qwen3技术报告详解预训练与后训练四阶段、混合推理中思维与非思维数据融合及预算控制机制,强化学习采用三类奖励函数。arXiv论文翻译工具历经四次试错,基于LaTeX源码解析与后检查机制实现准确翻译与格式保留。
大模型指令调优领域,斯坦福的Alpaca项目贡献了一套单轮指令数据集,为后续研究打下了基础。但说到ChatGPT真正让人眼前一亮的能力,还得数它的多轮对话——用户可以追问、纠正、甚至引导模型修正自己的错误。那么,怎样让模型学会处理这种多轮交互?这就有了ChatAlpaca——一个面向大模型的多轮对话
- 日榜
- 周榜
- 月榜
热点快看
