面向ROS开发者的NVIDIA AI Perception实战教程全面解析与案例详解

所有移动的事物都将走向自主化，而自主化的核心离不开先进的实时感知能力。 NVIDIA 近日宣布了一项重大举措：向 ROS 开发者社区提供完整的感知技术栈。对于正在尝试将计算机视觉与 AI/ML 功能融入机器人应用的开发者而言，这无疑能够大幅缩短开发周期，同时充分释放硬件性能潜力。 **Open Robotics 将扩展 ROS 对 NVIDIA AI 的支持** Open Robotics 首席执行官 Brian Gerkey 表示：“随着越来越多的 ROS 开发者开始采用具备额外计算能力的硬件平台——这些平台专门用于减轻主 CPU 的负担——ROS 本身也在不断进化，以更高效地利用这些先进硬件资源。我们与 NVIDIA 这样的加速计算领域专家合作，结合他们在 AI 和机器人方面的深厚积累，这对整个 ROS 社区来说是一件大好事。” 具体而言，NVIDIA 与 Open Robotics 已达成合作：在 NVIDIA Jetson 边缘 AI 平台及基于 GPU 的系统中加速 ROS 2 性能，同时实现 Omniverse 上 Open Robotics 的 Ignition Gazebo 与 NVIDIA Isaac Sim 之间的无缝模拟互操作。 Jetson 平台在机器人领域已广为人知并被广泛采用。其设计初衷是为机器人提供高吞吐量、低延迟的处理能力，使机器人更敏捷、更安全、更易于协作。Open Robotics 将升级 ROS 2，使其能够高效管理 Jetson 上 GPU 与其他处理器之间的数据流和内存共享，从而显著提升负责实时处理摄像头、激光雷达等高带宽传感器数据的应用性能。 除了优化机器人在 Jetson 上的运行性能，双方还计划整合 Ignition Gazebo 与 NVIDIA Isaac Sim。Isaac Sim 已开箱支持 ROS 1 和 ROS 2，并通过连接 Blender、Unreal Engine 4 等流行工具，构建了至关重要的 3D 内容生态。 Ignition Gazebo 在机器人领域已有多年应用历史，甚至在 DARPA 地下挑战赛等顶级赛事中也有出色表现。 通过连接这两个模拟器，ROS 开发者能够轻松地在 Ignition Gazebo 与 Isaac Sim 之间迁移机器人和环境，运行大规模模拟，并充分利用两个模拟器的先进功能——如高保真动力学、精确传感器模型、逼真渲染——来生成用于训练和测试 AI 模型的合成数据。 这次合作的软件成果预计将于 2022 年春季发布。 **专为 ROS 发布的 Isaac GEM 性能显著提升** 用于 ROS 的 Isaac GEM 是一套硬件加速包，旨在帮助 ROS 开发者更轻松地在 Jetson 上构建高性能解决方案。这些 GEM 专注于提升图像处理和基于深度神经网络（DNN）的感知模型吞吐量——这两项能力对机器人专家而言日益重要。它们能够减轻主 CPU 的负载，同时显著提升整体性能。 **用于 ROS 的全新 Isaac GEM 包含：** - SGM Stereo Disparity 和 Point Cloud - Color Space Conversion 和 Lens Distortion Correction - AprilTags Detection 图1：ROS 对立体相机的支持，在 ROS 的 Rviz 工具中可显示左右相机视图。Rviz 能够展示 RGB 和深度图像。 **Isaac Sim 新增功能，为 ROS 开发者带来便利** 最新版 Isaac Sim 对 ROS 开发者社区提供了出色的支持，其中最引人注目的是 ROS2 导航栈和 MoveIt 运动规划框架。这些示例目前即可直接使用，详细说明可在 Isaac Sim 文档中找到。 **Isaac Sim 中的 ROS 示例列表** - ROS April Tag - ROS Stereo Camera - ROS Navigation - ROS TurtleBot3 Sample - ROS Manipulation 和 Camera Sample - ROS Services - MoveIt Motion Planning Framework - Native Python ROS Usage - ROS2 Navigation 图2：Isaac Sim on Omniverse 功能模块图，包含机器人模型、环境模型和 3D 资料输入。 **Isaac Sim 生成合成数据集，用于感知训练** Isaac Sim 不仅仅是一个机器人模拟器，它还具备强大的合成数据生成能力，可用于训练和测试感知模型。随着越来越多的机器人专家将感知功能集成到平台中，这些功能的重要性日益凸显。简而言之，机器人对环境感知越清晰，其自主性就越强，所需的人工干预就越少。 Isaac Sim 生成的合成数据集可以直接输入 NVIDIA TAO——一个 AI 模型自适应平台——从而根据机器人的具体工作环境调整感知模型。这意味着，在从目标环境采集任何真实数据之前，就能确保机器人的感知栈在特定工作环境中表现出色。 长期以来，机器人专家在连接和集成经典机器人任务（如导航）与 AI 感知栈方面一直面临挑战。Isaac Sim 通过同时扮演机器人模拟器和合成数据生成工具，并与 TAO 训练平台集成，一举解决了这一工作流难题。