边缘机器学习应用硬件选型的核心注意事项

随着边缘机器学习（ML）应用的快速发展，工程师需要全面了解边缘ML的相关知识，特别是在处理与处理硬件方面。本教程将系统性地介绍边缘ML的核心概念、处理单元类型、性能考量，并通过一个实际应用案例帮助您掌握如何为项目选择合适硬件。

1. 什么是边缘机器学习（ML）？

边缘节点不仅仅是一台依赖云服务的设备，它本身就能完成一部分计算。如果设备在本地使用ML算法进行数据处理，那么它就可以被归类为ML边缘设备。

• 简单处理：例如计算移动平均线或丢弃无效传感器读数。
• 复杂处理：在数据上传到云之前，执行关键词检测、语音转文字等ML任务。
• 混合模式：设备可在本地完成全部处理，也可采用“本地预处理+云端进一步分析”的混合方式。

图1. 边缘和边缘设备的概述。图片由恩智浦提供

2. 边缘ML的优势与挑战

优势

• 低延迟：实时推理无需等待云端响应。
• 高安全性：敏感数据不上传云端，降低泄露风险。

挑战

• 处理能力有限：边缘设备通常无法运行与云端同等规模的模型，需仔细选择算法。
• 存储空间紧张：边缘节点若需要本地存储数据，必须考虑外部存储的连接方式（如eMMC、SD卡等）。
• 安全需求：需具备硬件加密/解密支持，防止未经授权的访问和篡改。

3. 边缘ML的处理单元类型

现代微处理器（MPU）和微控制器（MCU）在性能、成本、功耗方面大幅提升，并集成了多个专用处理内核。常见的处理单元包括：

3.1 中央处理单元（CPU）与微控制器（MCU）

CPU和MCU通常包含多个处理内核，擅长快速执行复杂指令序列，但对于要求高的ML应用可能会吃力。

3.2 图形处理单元（GPU）

GPU擅长并行执行大量简单计算（如矩阵乘法）。但需要注意，GPU通常使用内置视频内存，而非系统主内存，访问速度更快但容量有限。

3.3 数字信号处理器（DSP）

DSP专门用于处理数字信号，适合音频、传感器数据的实时处理。

3.4 神经处理单元（NPU）

NPU有时也被称为NNP或TPU，是专为ML算法设计的电路，能够加速推理任务，实现通用CPU或GPU难以达到的用例。

小提示：工程师可以单独使用上述单元，但复杂的ML应用往往需要多个处理器协同工作（例如CPU负责逻辑控制，NPU负责推理计算）。

4. 处理能力与三种ML应用类型

从高级视角看，ML应用可分为三大类：视觉、音频和时间序列。不同应用对处理能力的要求差异巨大。

图3. 概述运行各种ML应用程序所需的处理能力。图片由恩智浦提供

• 简单任务（如静止图像识别、传感器异常检测）可以使用通用CPU或MCU。
• 复杂任务（如实时视频分析、多路音频处理）需要GPU或专用NPU。

边缘设备的物理尺寸小，限制了处理器内核数量和内存容量。工程师需要找到盈亏平衡点——超过此点后，增加边缘处理能力的成本将超过收益。此时应考虑利用云端高级数据分析能力来增强边缘。

5. 选择合适的边缘处理器：一个实际应用示例

假设我们要设计一个高速公路自动视觉道路通行费支付与交通违规检测系统。系统需要：

• 可靠检测每辆接近入口/出口坡道的车辆。
• 正确分类车辆类型（轿车、卡车、公交车、摩托车等）。
• 检测车牌号并与数据库比对，仅将违规记录上传云端（保护隐私）。
• 未来可扩展：检测交通拥堵并通过高架标志警告来车，或与联网汽车通信。

根据图3，每个这样的摄像头应用大约需要2 TOPS的处理能力。因此，所需硬件应具备：

• GPU或NPU翻跟斗，用于实时图像特征检测。
• 高效主核心运行应用程序逻辑。
• 与高分辨率摄像头通信的接口。
• 连接外部设备（如标志、警示灯）的连接选项。
• 以太网/无线功能建立云连接。
• 安全功能防止篡改，以及ECC等可靠性功能。

这些功能可以在恩智浦i.MX 8M Plus应用处理器中找到。

图4. 此框图总结了i.MX 8M Plus最重要的特性和功能块。图片由恩智浦提供

6. 详解i.MX 8M Plus如何实现该应用

假设车牌检测算法包含四个主要步骤：图像采集与预处理、车牌提取、分割和字符识别。

步骤一：图像采集与预处理

使用经济型高清摄像头，输出RGB拜耳图案。i.MX 8M Plus内置双摄像头ISP，支持简单CMOS传感器，并带有去扭曲引擎，可校正鱼眼/广角镜头带来的畸变。系统以30 FPS（而非ISP最高60 FPS）处理高清视频，以降低计算需求和吞吐量，提升效率。

步骤二：车牌提取

GPU将彩色图像转为灰度图，再生成二值化黑白图像，并通过创建较小副本和应用混合缺陷滤除（如污渍、螺丝）来进一步优化图像。

步骤三：分割与特征检测

主CPU（ARM Cortex-A53）执行定向梯度直方图（HOG）检测，确认图像中是否存在车牌。

步骤四：字符识别

一旦验证车牌存在，i.MX 8M Plus的2.3 TOPS NPU利用DNN执行字符识别，输出国家/地区、州和车牌号等信息。

数据存储与上传

系统将数据本地存储，仅在检测到违规时通过两个千兆以太网接口（其中一个支持TSN）加密上传到云端。增强的片上安全功能（安全启动、加密启动、硬件防火墙、运行时完整性检查器RTIC）确保用户信息机密性和完整性。DDR RAM接口的内联ECC确保高可靠性，支持系统级安全完整性等级（SIL）认证。

常见问题：

• 问： 为什么选择30 FPS而不是60 FPS？
  答： 30 FPS已经可以满足车辆检测的实时性要求，同时降低处理负载和功耗，延长设备寿命。若需要更高帧率，i.MX 8M Plus的ISP也支持60 FPS。
• 问： 摄像头必须支持RGB输出吗？
  答： 不一定。i.MX 8M Plus的ISP支持多种传感器格式，但RGB拜耳格式是最常见的低成本方案。使用其他格式可能需要额外预处理。
• 问： 硬件安全功能如何防止攻击？
  答： 安全启动确保只有经签名的固件可运行；加密启动保护代码和数据的机密性；RTIC持续监测运行时完整性，防止恶意篡改或回滚攻击。

7. 总结：ML边缘处理注意事项

理解基于ML的边缘应用需求是成功项目的基础。虽然边缘处理能力不断提升，但边缘计算并非要替代云，而是与云互补——减少延迟、提高安全性和可靠性。现代边缘处理器包含多种专用处理内核，单独使用时各有优劣，但协同工作才能发挥真正潜力。

除了处理能力，务必考虑部署环境：视觉类应用需要强大的GPU/NPU接口和摄像头连接，音频类应用则需要高质量ADC和DSP。评估处理设备的接口选项，必要时添加协处理器减轻主CPU负载。最后，别忘了安全永远是边缘ML不可或缺的一环。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：边缘机器学习应用硬件选型的核心注意事项要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题