智元发布开源仿真平台Genie Sim 3.0，解锁机器人训练新场景

智元机器人正式发布了首款由大语言模型赋能的仿真平台——Genie Sim 3.0。这一平台基于 NVIDIA Isaac Sim 构建，深度融合了三维重建与视觉生成技术，能够打造出具有数字孪生精度的高保真仿真环境。平台还率先在行业内引入了大语言模型驱动的场景泛化能力，支持在数分钟内批量生成万级规模的仿真场景。

• 高精度重建：平台搭载 MetaCam 手持式3D激光扫描设备，融合高分辨率RGB图像、360° LiDAR点云数据及厘米级RTK定位信息，实现了对物理空间的毫米级还原。
• 视觉逼真增强：平台集成了先进的视觉生成模型，能够智能补全并合成多视角图像，显著提升了三维重建结果的纹理质量与视觉真实感。
• 快速资产创建：针对任意实物对象，仅需一段60秒的环绕拍摄视频，即可自动生成带有精确拓扑结构与几何细节的仿真网格模型，大幅缩短建模周期。

在 Genie Sim 3.0 中，开发者可通过自然语言指令，触发平台在分钟级别内完成海量训练与测试场景的自动化构建与泛化。

• 对话式建模：输入如“准备一顿富含蛋白质和维生素的晚餐”等语义指令，系统将自动解析意图并生成结构完整、要素齐全的仿真场景。
• 交互式编辑与扩展：生成的场景附带结构化语义标签与实时渲染预览，支持通过持续对话进行场景增广、元素增删、空间布局优化等操作，最终输出高度定制化的仿真环境。

此外，智元还将同步开源一个覆盖真实机器人作业场景的超大规模仿真数据集，总时长逾万小时，涵盖200余类典型任务：

• 多模态数据覆盖：数据集包含RGB-D图像、双目立体视觉流、全身关节位姿、力反馈等多源传感器信号，并在背景多样性、空间布局、光照条件、传感器噪声等多个维度实现系统性泛化。
• 智能采集系统：平台提供低延迟遥操作与全自动任务编排两种采集模式，配合端到端自动化标注流程，显著提升数据生产效率。
• 自适应容错机制：当任务执行失败时，系统可自主回溯至最近稳定检查点并继续采集，最大限度减少无效数据损耗。
• 无须真实样本的Sim2Real迁移：基于该仿真数据训练的模型，无需任何真实世界微调，即可直接部署至实体机器人，其任务成功率超越使用真实数据训练的基线模型。

源码地址：点击下载