AI正在革新企业边缘应用程序的管理方式

您可能已经注意到，如今几乎所有企业都在使用各类软件来处理发片、管理人力资源档案、规范产品规格。这些应用软件要么部署在集中式的数据中心或云端，要么运行在商店、工厂、甚至家用电器等边缘位置。

然而，企业软件的性质正经历根本性变革：开发者开始将人工智能（AI）嵌入应用程序中。根据Gartner的数据，到2027年，超过65%的边缘计算用例将包含深度学习这种形式的机器学习，而2021年这一比例还不到10%。采用AI的优势显而易见——您不再需要为每一种可能的输入都事先编写好输出。AI模型自身从训练数据中学习模式，然后将学到的模式应用于新的输入。

这样一来，管理基于AI的应用程序自然就和传统纯代码驱动的应用有所不同。尤其边缘计算场景下，计算资源和网络带宽本就紧张，设备又容易遭受物理接触，安全风险更高。因此，基于AI的应用迫切需要一套全新的工具和流程，以确保在边缘环境中安全地部署、管理和规模化扩展。

传统企业软件与边缘AI应用之间的差异

传统企业软件和边缘AI应用在设计和管理方式上存在四个根本不同点：

• 容器化
• 数据策略
• 更新
• 安全

容器化

先说容器化。过去，企业在全球数据中心部署传统应用时，虚拟化一直是主要的部署和管理工具。虚拟机监控器为运行其上的工作负载提供了结构、管理和安全性。虽然如今几乎每个数据中心仍在使用虚拟化，但我们已看到容器技术在AI应用中迅速普及，尤其在边缘领域。

云原生计算基金会最近的一份报告也印证了这一点：“从事边缘计算的开发人员对容器和Kubernetes的使用率最高。”具体数据是：76%的边缘AI应用使用容器，63%使用Kubernetes。

为什么这么多开发者在边缘场景中用容器处理AI工作负载？原因主要有以下几点：

• 性能：容器虚拟化的是宿主机操作系统的内核，而传统虚拟化则虚拟化物理硬件，每个实例都需安装完整的客户操作系统。因此容器能实现完全的裸机性能（而非接近裸机），这对许多边缘AI应用——特别是那些安全相关、响应时间需以亚毫秒计算的用例——至关重要。此外，容器可在同一系统上运行多个应用，实现整合，且不带来虚拟化的性能开销。
• 可扩展性：边缘AI的“数据中心”可能分布在成百上千个位置。基于云的管理平台让管理员能够集中管理这些跨区域环境，通过网络和智能软件进行扩展，而无需派人前往每个边缘站点。这种方法成本更低、效率更高，恢复能力也更强。
• 弹性：AI应用通常通过扩展来提供弹性。同一应用的多个克隆运行在负载均衡器后面，即使某个克隆出现故障，服务仍可继续。即便边缘环境只有一个节点，容器策略也能确保应用自动重启，将停机时间降至最低。
• 可移植性：应用一旦容器化，就可部署在任何基础设施上——裸机、虚拟机、各类公有云，皆可胜任。并且可根据需要随意放大缩小。有了容器，应用在边缘服务器上运行，与在云上同样轻松。

虚拟机和容器各有不同，但本质上它们都是在单个平台上部署多个独立服务的两种方法。许多供应商提供同时支持Red Hat OpenShift和VMware Tanzu两种环境的解决方案。目前边缘环境是虚拟化和容器化并存，但随着越来越多边缘AI工作负载投入生产，预计趋势将走向裸机加容器的组合。

数据策略

第二个区别在于数据在传统边缘应用和边缘AI应用生命周期中扮演的角色。传统边缘应用通常接收少量结构化数据流，例如交易记录、病历或指令。处理完毕后，再发回类似的结构化信息。数据使用后便失去价值。

AI应用则不同。其生命周期不仅包括推理（inference），还包含重新训练和持续更新。AI应用从传感器（通常是摄像头）获取数据，进行推理，然后一部分数据会在边缘位置被收集，发回集中数据中心或云，用于重新训练模型。

既然改进应用依赖数据，那么强大的数据策略便至关重要。从边缘向数据中心或云传输数据，成本受到数据大小、网络带宽以及应用更新频率的影响。目前常见的边缘AI数据策略主要有三种：

• 收集错误推论：至少应当收集所有错误的推论。当AI做出错误推断时，需识别、重新标记，然后用于再训练以提高模型精度。不过，如果仅用错误推断进行再训练，模型可能遭遇“模型漂移”现象。
• 收集所有数据：选择将所有数据发回中央仓库的组织，通常是带宽和延迟不成问题的情况。他们可能用这些数据来再训练模型、调整模型，或构建新模型，甚至做批处理以获取不同洞察。优点是能利用庞大的数据池，缺点则是成本极高，很多时候甚至不可行。
• 收集有趣的数据：这是数据收集的“最佳点”，平衡了有价值数据的需求与传输存储的成本。所谓“有趣的数据”，是指组织认为对当前或未来模型、数据分析项目有价值的任何数据。例如自动驾驶汽车，同一街道、相似天气下采集的大部分数据不会显著改变模型训练。但如果突然下雪，这些数据就值得发回中央仓库，因为它能改进极端天气下驾驶的模型。

更新

传统边缘软件的功能通过代码传递。开发者编写并编译指令序列，然后软件在边缘设备上执行。管理和编排平台需能更新软件，以修复缺陷、添加功能、修补漏洞。开发团队通常按月、季度或年发布新代码，但并非每个新版本都会立即推送到边缘系统。IT团队更倾向于积攒一批更新，然后一次性做较大升级。

边缘AI应用遵循不同的软件生命周期，其核心围绕AI模型的训练和再训练。每次模型更新都可能提高准确性、精度，或增加、调整功能。模型更新越频繁，它就越准确，给组织带来的额外价值就越大。举个例子，如果一个质检AI应用的准确率从75%提升到80%，意味着漏检缺陷减少，产品质量提升；同时误报减少，产品浪费也降低。

图1展示了一个典型边缘AI解决方案的生命周期。其中步骤5和6就是再训练流程，对更新模型至关重要。部署边缘AI解决方案的组织应保持频繁的模型更新。从一开始就通过容器等云原生部署实践构建再训练流程，并搭配坚实的数据策略，才能开发出可持续的边缘AI解决方案。

安全

对于很多IT团队而言，边缘计算代表着安全范式的巨大转变。在传统的“城堡加护城河”网络安全模型里，外部人员无法访问内部数据，而内部人员则可访问一切。边缘环境天生就不安全——因为几乎每个人都能物理接触到设备。AI应用加剧了这一问题，因为它们承载着极高价值的企业知识产权，这可以说是企业的生命线，代表了差异化竞争优势。

因此，提升边缘AI应用的安全性至关重要。具体来说，有四个方面需要特别关注：

• 人身安全：边缘设备位于物理数据中心之外，因此必须假设恶意攻击者可物理接触计算机。应对措施包括物理篡改检测、安全启动等额外检查。
• 数据隐私：边缘AI应用通常存储真实世界的数据，例如语音和图像，这些数据包含高度隐私信息。开发者有责任保护好这个“私人数据宝库”，以维护用户信任并遵守法规。
• 企业知识产权：推理引擎融合了对大量专有数据的学习和机器学习团队的专业知识。将这些推理机的控制权交给竞争对手，可能极大削弱公司的市场竞争力。
• 访问控制：由于边缘环境的分布式特性，几乎可以肯定有人需要远程访问这些设备。采用实时（JIT）访问策略，可确保人们仅在有限时间内获得完成特定任务所需的最低权限。

设计边缘AI环境

随着企业从传统企业应用转向边缘AI应用，继续沿用支持传统应用的那套基础设施显然行不通。要想成功部署边缘AI，更新组织的部署方法、数据策略、更新节奏和安全策略，都是必不可少的。

NVIDIA提供了一系列软件，帮助企业在任何地方开发、部署和管理AI应用。例如，NVIDIA Fleet Command是一个用于容器编排的托管平台，它能帮助组织在分布式位置管理和部署多个AI工作负载，优化边缘系统和AI应用的供应与部署。为了帮助企业快速起步，我们还推出了NVIDIA LaunchPad，这是一个免费程序，能够提供对必要硬件和软件堆栈的即时、短期访问，让用户体验端到端的解决方案工作流，例如构建和部署AI应用。

关于作者：Tiffany Yeung是NVIDIA边缘和企业计算解决方案的产品营销经理，专注于利用NVIDIA边缘解决方案推动医院、商店、仓库、工厂等场景的创新。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：AI正在革新企业边缘应用程序的管理方式要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题