NVIDIA扩展机器人微服务库加速人形机器人发展

北京时间今日凌晨，NVIDIA在SIGGRAPH 2024图形大会上发布了一项影响深远的战略举措。公司正式宣布，将面向全球机器人制造商、AI模型开发者及软件企业，全面开放其领先的服务、模型与计算平台资源。这一系列组合拳的核心目标，是显著加速下一代人形机器人的研发、训练与实体构建进程。

本次发布的关键突破，在于将强大的生成式AI能力深度融入OpenUSD（通用场景描述）语言框架。NVIDIA推出了一系列专为OpenUSD语言、几何体、物理学及材质设计的生成式AI模型与NIM微服务。这不仅仅是功能的简单叠加，它标志着基于OpenUSD的工作流，以及工业数字孪生和机器人技术的开发效率，将迎来革命性的飞跃。

NVIDIA创始人兼首席执行官黄仁勋在主题演讲中强调：“AI发展的下一波浪潮将是机器人技术，而人形机器人正是其中最激动人心的方向之一。”他进一步阐释了公司的开放战略：“我们正在全力推进整个NVIDIA机器人技术栈的进化，并向全球的人形机器人开发者和企业开放访问权限。这意味着他们可以根据自身项目的具体需求，灵活选用最合适的计算平台、加速库和AI模型。”

值得关注的是，黄仁勋还与Meta创始人兼CEO马克·扎克伯格进行了一场深度对话。两位科技领袖共同探讨了基础研究如何驱动AI实现根本性突破，以及生成式AI与开源技术将如何为全球开发者和内容创作者提供强大赋能。

生成式AI与OpenUSD的深度融合

此次大会可视为NVIDIA对OpenUSD这一通用3D数据交换标准的一次全面赋能升级。其战略意图明确：旨在拓展OpenUSD在机器人、工业设计与工程仿真等关键领域的应用生态，从而强化开发者为AI新时代构建高保真虚拟世界的能力。

具体而言，新推出的NVIDIA NIM™微服务扮演了核心引擎的角色。这些服务能够根据自然语言查询生成OpenUSD场景描述、自动编写OpenUSD Python代码、为3D模型智能匹配逼真材质，甚至理解复杂的3D空间与物理规则，从而极大缩短数字孪生应用的开发周期。

此外，NVIDIA还发布了用于机器人和工业仿真数据格式的全新USD连接器，以及一系列开发者工具。借助这些工具，用户可以将海量的NVIDIA RTX™全光线追踪数据集，高效流式传输至Apple Vision Pro等前沿空间计算设备中。

这里需要深入解读NIM。其全称为Nvidia Inference Microservice（英伟达推理微服务），是Nvidia AI Enterprise企业级AI平台的关键组成部分。它的核心价值在于，能够帮助企业客户快速部署达到生产级标准的AI大模型应用，极大降低了技术门槛。

更引人瞩目的是，全球首批专为OpenUSD开发定制的生成式AI模型，也将以NVIDIA NIM微服务的形式提供。这意味着开发者能够将智能AI助手和智能体无缝集成到USD工作流程中，不仅将极大拓展3D内容创作的想象力边界，还将强力推动USD标准在制造业、汽车工业和机器人等工业领域快速普及与落地。

目前已在预览版中提供的核心微服务包括：

USD Code NIM微服务：能够解答关于OpenUSD的各类技术问题，并依据文本提示自动生成可执行的OpenUSD-Python代码。生成的代码可直接导入OpenUSD查看器或基于NVIDIA Omniverse Kit的应用，实现3D数据的即时可视化呈现。

USD Search NIM微服务：允许开发者使用自然语言或上传图片作为搜索条件，在海量的OpenUSD资产库、3D模型和图像数据库中进行精准、高效的语义检索。

USD Validate NIM微服务：用于自动检测上传文件与目标OpenUSD发布版本的兼容性，并能生成由NVIDIA Omniverse Cloud API驱动的高质量RTX渲染路径追踪图像，用于效果验证。

而即将推出的新一代微服务阵容同样强大：

USD Layout NIM微服务：基于先进的空间智能，根据一系列文本描述自动构建出符合逻辑与物理规则的复杂OpenUSD场景。

USD SmartMaterial NIM微服务：能够智能预测并将高度逼真的物理材质自动应用于计算机辅助设计（CAD）对象。

fVDB Mesh Generation NIM微服务：根据输入的点云数据，自动生成基于OpenUSD格式的高质量网格模型，并通过Omniverse Cloud API进行云端渲染。

fVDB Physics Super-Res NIM微服务：对单帧或连续帧序列执行AI超分辨率处理，生成基于OpenUSD的高分辨率物理仿真效果，提升仿真精度。

fVDB NeRF-XL NIM微服务：利用Omniverse Cloud API的强大算力，在OpenUSD环境中生成大规模、高保真的神经辐射场（NeRF）场景。

全面赋能人形机器人开发进程

对于机器人开发者而言，全新的NVIDIA NIM微服务将直接集成到Isaac Lab和Isaac Sim的机器人仿真流程、OSMO机器人云计算编排服务以及远程操作数据捕获等核心工作流中。

NIM微服务提供了由NVIDIA高性能推理软件驱动的预构建容器，能够将原本需要耗费数周的复杂模型部署与优化时间，大幅缩短至几分钟之内。

机器人专家可以通过两项全新的AI微服务，在NVIDIA Isaac Sim™中显著增强其生成式物理AI仿真工作流的效率与多样性：

MimicGen NIM微服务能够根据从Apple Vision Pro等空间计算设备记录的真人远程操作数据，自动生成海量的合成运动训练数据。Robocasa NIM微服务则可以在OpenUSD框架内，自动生成多样化的机器人训练任务和仿真就绪的复杂环境。

同时，现已推出的NVIDIA OSMO是一项云原生托管服务。它允许用户跨本地数据中心或云端的大规模分布式计算资源，灵活协调和扩展复杂的机器人开发工作流。OSMO极大地简化了机器人训练和仿真流程的管理复杂度，将传统需要数月的部署和开发周期压缩至一周以内。用户可以通过统一的可视化界面，对合成数据生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂的软件在环测试等任务进行集中管理。

为了提供从训练到部署的端到端支持，NVIDIA准备了三个核心计算平台来简化人形机器人的全生命周期开发：用于大规模模型训练的NVIDIA AI超级计算机；基于Omniverse构建、让机器人在高保真虚拟世界中学习技能的NVIDIA Isaac Sim仿真平台；以及用于最终产品部署和运行模型的、专为人形机器人设计的NVIDIA Jetson™ Thor边缘计算机。开发者可以根据项目所处的不同研发阶段，灵活访问和使用全部或部分平台资源。

USD连接器推动行业数字化转型

NVIDIA此次发布的多款适用于机器人数据格式和Apple Vision Pro流式传输的全新USD连接器，旨在将OpenUSD强大的互操作性与高级创作能力赋能给千行百业。

为了深化OpenUSD在工业领域的应用，NVIDIA与西门子的战略合作正在持续扩大。西门子计划将其OpenUSD数据流水线与业界领先的Simcenter仿真技术组合深度集成，以支持基于数据的决策和跨部门协同。这一集成将实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够以前所未有的深度洞察产品在真实物理环境中的性能表现。作为合作基础，西门子还将把Omniverse平台纳入其Teamcenter产品生命周期管理软件组合中。

此外，NVIDIA发布了一个从统一机器人描述格式（URDF）到OpenUSD的标准连接器。这个连接器能让机器人专家将其机器人模型数据无缝导入到各种用于设计、仿真和强化学习的专业应用程序中，打破数据孤岛。

为了进一步繁荣OpenUSD开发者生态，NVIDIA还发布了OpenUSD Exchange软件开发套件（SDK），帮助开发者快速创建属于自己的、定制化的OpenUSD数据连接器。

新的开发者工具和API现已提供抢先体验版本。它们能够通过高性能的NVIDIA Graphics Delivery Network，将超大规模、复杂的OpenUSD场景从基于Omniverse平台构建的应用，流畅、低延迟地流式传输到Apple Vision Pro头显设备中。

目前，开发者可以通过NVIDIA API目录获取USD Search、USD Code和USD Validate这三项NIM微服务的预览版。同时，OpenUSD - URDF连接器也已随最新版本的NVIDIA Isaac Sim™仿真平台一同提供。