谷歌开源平台Coral NPU：全天候运行大模型的穿戴设备方案

谷歌今天可谓是双喜临门。

一边是与耶鲁大学合作，基于Gemma研发的Cell2Sentence-Scale 27B（C2S-Scale）首次预测出全新的潜在癌症疗法，在科研界掀起热议；另一边则重磅升级了视频生成模型Veo 3.1，为用户带来电影级画面质感——具体可参阅报道《刚刚，谷歌Veo 3.1迎来重大更新，硬刚Sora 2》。

更值得关注的是，他们还同步推出了专为低功耗设备设计的Coral NPU，让AI能在智能手表等穿戴设备上持续运行。具体而言，这款处理器可在可穿戴设备上流畅运行小型Transformer模型和大语言模型，通过IREE和TFLM编译器完美支持TensorFlow、JAX及PyTorch三大主流框架。

与前两项成果一样，这款处理器的发布同样在开发者社区引发了热烈讨论。

Coral NPU：专为边缘设备打造的全栈开源AI平台

谷歌将Coral NPU定位为“一个全栈式开源平台，致力于解决性能、碎片化和隐私这三大核心挑战——正是这些因素制约了功能强大、始终在线的AI技术在低功耗边缘设备和可穿戴设备上的应用。”

这意味着，借助Coral NPU，未来我们有望打造出能在智能手表等设备上本地持续运行的高性能AI应用，让智能体验真正融入用户的日常生活场景。

然而要实现这一愿景并不容易。谷歌总结了三大技术瓶颈：

性能差距：复杂先进的机器学习模型需要更多计算资源，这远超市面上边缘设备有限的功率预算、散热能力和内存容量。

碎片化成本：为多样化的专属处理器编译和优化机器学习模型既复杂又昂贵，这阻碍了跨设备实现一致性能的愿景。

用户信任缺失：要想真正发挥作用，个人AI必须优先保障个人数据和情境隐私的安全性。

而今天发布的Coral NPU延续了其最初的Coral项目理念，“为硬件设计师和机器学习开发者提供了构建下一代私密、高效边缘AI设备所需的工具链。”

具体而言，Coral NPU是谷歌研究院与DeepMind联合设计的成果，是一个AI优先的硬件架构，专门用于支持下一代超低功耗、始终在线的边缘AI应用。

它提供统一的开发者体验，使部署环境感知等应用变得更为简便。该架构专为在可穿戴设备上实现全天候AI而设计，在最大限度减少电池消耗的同时，还能通过灵活配置适应更高性能的应用场景。

谷歌已发布完整的技术文档和工具包，方便开发者和设计人员立即着手原型开发。

项目主页：https://developers.google.com/coral

代码库：https://github.com/google-coral/coralnpu

架构设计解析

从命名便可知，Coral NPU采用神经处理单元架构，为构建下一代高能效、针对机器学习优化的片上系统提供了完整的模块化解决方案。

该架构基于符合RISC-V指令集标准的IP模块，专为最低功耗场景设计，使其成为环境感知应用的首选方案。

其基础设计能在仅消耗几毫瓦功率的情况下，提供512 GOPS级别的性能，从而为边缘设备、耳戴式设备、AR眼镜和智能手表带来强大的端侧AI能力。

Coral NPU生态系统全景图，展示了为SoC设计师和机器学习开发者提供的端到端技术栈。

这种基于RISC-V的开放且可扩展架构，为SoC设计师提供了充分的灵活性，使他们既能修改基础设计，也能将其作为预配置的NPU核心使用。

Coral NPU架构包含以下核心组件：

标量核心：一个轻量级、支持C语言编程的RISC-V前端，负责管理流向后端核心的数据流。它采用简单的“运行到完成”执行模型，在实现超低功耗的同时，兼容传统CPU功能。

向量执行单元：一个强大的单指令多数据协处理器，完全符合RISC-V向量指令集规范，能够对大型数据集进行同步操作。

矩阵执行单元：一个高效的量化外积乘积累加引擎，专为加速神经网络的基本运算而构建。请注意，该矩阵执行单元仍在开发中，将于今年晚些时候在GitHub上正式发布。

从传统设计到Coral NPU的架构演进示意图。

统一的开发者体验

Coral NPU架构是一个简洁的、支持C语言编程的目标平台，能够与现代编译器工具链无缝集成。这使得它能够轻松支持TensorFlow、JAX和PyTorch等主流机器学习框架。

Coral NPU包含完整的软件开发工具链，其中包括针对TensorFlow的TFLM编译器解决方案，以及通用的MLIR编译器、C语言编译器、自定义内核和模拟器。这为开发者提供了灵活的集成路径。

例如，来自JAX等框架的模型会首先通过StableHLO方言导入为MLIR格式。这个中间文件随后被送入IREE编译器，该编译器会加载识别Coral NPU架构的硬件专用插件。随后，编译器将执行渐进式降级——这是一个关键的编译步骤，在此过程中代码会通过一系列方言被系统地转译，逐步接近机器的本地语言。优化完成后，工具链会生成一个紧凑的最终二进制文件，以便在边缘设备上高效执行。

下表直观展示了Coral NPU的软件开发优势：

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章