ICML 2026 PhysForge框架让3D静态模型变为可交互对象

交互式虚拟世界与具身智能技术正快速演进，一个趋势已愈发清晰：高质量的3D资产生成，仅靠“看起来像”远远不够。一扇柜门，不仅要外观像柜门，还必须明确其旋转轴；一个按钮，除了形状正确，还需具备“按压/弹起”的状态；一个抽屉，几何完整只是基础，滑动方向、运动范围、材质与质量等物理属性才是真正可用的关键。

该研究成果已被ICML 2026正式接收。

然而，当前绝大多数3D生成方法仍停留在静态几何与纹理层面。它们能生成视觉上相当精致的模型，却往往缺乏支撑真实交互的功能逻辑与层级化物理结构。换言之，这些“静态外壳”很难直接用于机器人仿真环境或游戏引擎。

为解决这一难题，来自香港大学与腾讯混元等机构的研究者提出了名为 PhysForge 的框架。这是一个面向交互式虚拟世界的 physics-grounded 3D asset generation 框架，其核心能力明确：仅需一张输入图像，即可生成具备部件结构、物理属性、功能语义与精确运动学参数的3D资产。

• 论文题目：PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World

• 项目主页：https://hku-mmlab.github.io/PhysForge/

• 论文链接：https://arxiv.org/abs/2605.05163

一、效果展示

来看实际效果：PhysForge仅需单张输入图像，即可生成physics-grounded的3D资产。生成结果不仅包含高质量的几何与纹理，还拥有完整的部件结构，且每个部件均附带详细的物理属性标签。

对于可动部件，PhysForge还会预测关节轴、关节原点与运动范围等关键运动学参数，并给出可交互方式。这意味着，生成的水壶、柜门、按钮或台灯，不再只是“好看”的模型，而是可以被打开、按压、抓取，并能直接放入交互式虚拟世界中的实体资产。

二、为什么需要Physics-Grounded 3D Assets？

过去一段时间，3D生成模型在整体形状、纹理与视觉质量上进步显著。一个模型是否美观、几何是否完整、表面是否逼真，已成为常规评价标准。但在具身智能与交互式虚拟环境语境下，视觉逼真仅是一块敲门砖。

一个真正可交互的3D资产，还需回答一组更深层的问题：

• 这个物体由哪些功能部件组成？

• 每个部件具有什么语义、材质与质量？

• 哪些部件可以被推动、抓取、旋转或滑动？

• 部件之间存在怎样的层级关系与父子关系？

• 可动部件的关节类型、轴向、原点与运动范围分别是什么？

这些信息共同决定了该资产能否被仿真器、游戏引擎与具身智能系统真正使用。缺乏物理属性与运动学定义的模型，即便视觉再精致，也难以成为“可操作”的环境对象。

PhysForge的核心观点正是如此：交互式资产生成必须根植于功能逻辑与层级化物理结构。形状不应只是外观的结果，更应是功能、材料、约束与可操作性的共同体现。

三、方法介绍：两阶段“规划-生成”策略

PhysForge将复杂的physics-grounded 3D asset generation拆解为两个清晰阶段：先由VLM进行物理规划，再由diffusion模型完成几何、纹理与运动学参数的联合生成。

第一阶段：VLM-based Planning

研究者将VLM训练成一个“physical architect”。它接收单张图像（可选2D mask）以及由TRELLIS生成的3D voxel表示，然后自回归地生成Hierarchical Physical Blueprint（层级化物理蓝图）。

该物理蓝图定义了每个部件的3D边界框、父子层级关系、关节类型，以及材质、质量、部件功能、状态机与atomic affordance等信息。简单来说，模型会先在语义与物理层面做出判断：物体应如何拆解、如何使用、又如何运动。

第二阶段：Diffusion-based Generation

VLM擅长结构与语义规划，但关节轴方向、关节原点、运动范围等连续3D参数需要更精细的生成机制。因此，PhysForge将这些精确数值交由diffusion阶段来“锻造”。

为此，研究者提出了KineVoxel Injection（KVI）机制。KVI将每个可动部件的关节原点、关节轴与运动限制编码为kinematic voxel，然后将这些voxel与几何voxel一起送入统一的diffusion去噪过程。这样一来，模型就能在同一生成过程中，协同学习“部件长什么样”与“部件应该怎么动”这两个问题。

最终，PhysForge能够同时输出高质量几何、纹理、部件结构与精确运动学参数，使单图生成的3D资产具备直接进入交互环境的能力。

四、PhysDB：15万资产的物理标注基座

为支撑该任务，研究者还构建了名为PhysDB的大规模数据集。它包含15万个3D资产，来源于Obja verse，覆盖household、industrial、weapons、personal、vehicles、tech & electronics、cultural items七大类别。最重要的是，每个资产都配有细粒度、层级化的物理标注。

PhysDB的标注体系分为四层：

• Holistic properties：描述物体的整体尺度、类别与使用场景（如kitchen、bedroom）。

• Static properties：描述部件级别的语义、材质与质量（如metal、wood）。

• Functional properties：描述部件的内在功能与状态机（如“to contain”，或按钮的pressed/released状态）。

• Interactive properties：描述可交互属性与运动学定义，包括pushable、graspable、joint type、parent part、axis origin、axis direction与joint limits。

这套标注体系让模型学到的不仅是“部件在哪里”，更关键的是“部件是什么、能做什么、应如何被操作”。这为PhysForge从静态视觉生成走向physics-grounded 3D asset generation提供了关键数据基础。

五、丰富的下游应用

PhysForge生成的资产并非停留在展示层面的静态模型，而是可直接服务于多个下游场景。

第一，机器人仿真。对于机器人训练与评测，PhysForge生成的资产可作为可操作的环境对象，极大扩充仿真场景。它减少了手工建模、关节绑定与物理参数配置的成本，使机器人更容易在多样化物体上学习真实交互。

第二，虚拟世界与游戏引擎。在Unity、Unreal Engine等交互式环境中，PhysForge生成的资产已具备材质、质量、功能与关节信息。开发者可更直接地构建复杂交互逻辑，无需从零手工配置每个可动物体。

第三，具身智能agent与环境交互。由于第一阶段会生成文本化的physical blueprint，agent可通过自然语言查询资产的结构与功能信息，从而形成更明确的任务计划。例如，面对一个柜子，agent可知道柜门位置、把手所属部件、关节如何旋转，以及如何完成打开操作。

六、总结

PhysForge将3D生成的目标从“生成静态外观”推进到“生成可交互资产”。通过VLM-based Planning与Diffusion-based Generation的两阶段设计，它先规划层级化物理蓝图，再通过KineVoxel Injection生成高质量几何、纹理与精确运动学参数。

与此同时，PhysDB为该方向提供了大规模、细粒度、层级化的物理标注基础。面向交互式虚拟世界、机器人仿真与具身智能数据引擎，physics-grounded 3D asset generation正成为一项重要基础能力。而PhysForge则迈出了关键一步：让生成的3D资产不仅“看起来真实”，更能真正“被理解、被操作、被交互”。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：ICML 2026 PhysForge框架让3D静态模型变为可交互对象要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题