图宾根大学新突破 0.3秒从照片重建3D物体并分离材质光影

这项由德国图宾根大学与Stability AI联合开展的突破性研究，在2026年的国际学习表征会议（ICLR）上正式发布。其核心成果是一个名为ReLi3D的创新系统，它首次实现了仅凭几张照片，在端到端的流程中同步重建物体的三维几何结构、表面物理材质以及拍摄时的环境光照。完整研究论文可通过arXiv编号2603.19753查阅。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

想象一下：你手头只有某个物体从几个不同角度拍摄的少量照片，能否在极短时间内获得一个高精度的完整3D模型？这个模型不仅要求形状精确，还需精准还原物体表面的物理特性——例如金属的反光质感、木材的天然纹理，甚至完美复现拍摄时的光线氛围。传统技术路线通常需要将几何重建、材质反演和光照恢复拆解为多个独立步骤，每个环节都存在局限且计算成本高昂。而这项研究，相当于为计算机视觉系统赋予了“超级视觉”，使其能在不到一秒内，从稀疏的多视角图像中，一次性解析出物体的全部三维信息。

其背后的原理，可以类比为一位顶尖雕塑家仅凭几张二维照片，就能在脑中精准复原物体的三维形态、材质质感乃至当时的光影条件。研究团队的关键洞见在于：多视角带来的几何一致性约束，能极大改善材质与光照的分离效果，而这个难题对于单张图像的方法而言本质上是无解的。当多个视角观测到同一个表面点时，跨视角的一致性约束极大地压缩了可能的解空间，从而将一个单视角下的病态问题，转化为一个约束充分、可求解的多视角优化问题。

一、攻克材质与光照分离的根本性挑战

在计算机视觉与三维重建领域，从图像中恢复3D物体始终面临一个核心难题：如何将物体固有的材质属性，从外部光照的影响中有效剥离。举个直观的例子：你观察到一个红色的苹果，这种红色究竟是苹果皮本身的颜色，还是因为它处于红色灯光下？抑或是两者共同作用的结果？

对人类视觉系统而言，这种分离近乎本能，但对计算机算法却异常困难。相同的二维外观，可能对应着无数种表面反射率与光照环境的组合。以往的方法尝试通过引入正则化约束或学习先验知识来辅助求解，但歧义性依然存在，尤其是在未被观察到的区域，常常导致预测的材质不完整、法线不可靠，最终使得模型在新的光照下重新渲染时保真度有限。

研究团队认识到，多个视角下的几何一致性，为解决这一经典难题提供了关键约束。当多个视角在共同的光照条件下观察到同一表面点时，跨视角的一致性大大缩小了可行解的范围。基于这一核心思想，他们设计出了ReLi3D系统。该系统作为一个统一的前馈神经网络，能够将数量不定、且已标定相机位姿的图像，在不到一秒钟内，转换为带有空间变化物理材质（PBR）的纹理网格和连贯的高动态范围（HDR）环境光照。这种速度与质量的结合前所未有，它将过去分离的多个重建任务统一到单个前馈推理过程中，实现了近乎实时的完整、可重新打光的3D资产生成。

二、跨视角融合：赋予计算机“立体视觉”能力

ReLi3D的核心创新在于其跨视角特征融合机制，这相当于赋予了计算机类似人类双眼甚至多眼的立体视觉与空间理解能力。传统的单视角方法如同用单眼观察世界，虽能获取基本信息，却严重缺乏深度感知和完整的空间上下文。

系统接收的输入是一组带有前景分割掩码的图像及其对应的相机参数。研究团队首先使用DINOv2视觉基础模型为每个视角生成特征令牌，并进行相机参数调制。这个过程就像为每张图片附上了一个“视角身份证”，明确告知系统图像的拍摄角度和内外参信息。

在所有输入视角中，系统会随机指定一个作为“主导视角”，其令牌将与一组可学习的三平面令牌库连接，共同驱动变换器中的查询流。这个主导视角类似于乐队中的指挥，负责协调整个信息处理流程。为了确保系统的鲁棒性与视角无关性，主导视角在训练和评估阶段都是随机选择的，这保证了无论从哪个角度出发，系统性能都能保持稳定一致。

为了使跨视角上下文信息既紧凑又富有表现力，团队采用了潜在混合技术。一组可学习的潜在令牌与经过投影的跨视角令牌混合，形成一个高效的“记忆库”，供查询流进行注意力交互。这种设计构建了一个“视觉信息融合中心”，能够智能整合来自不同角度的数据，形成对物体的全方位、一致的理解。

主干变换器采用双流交错结构，交替执行两种操作：一是通过交叉注意力更新查询流，二是通过自注意力和交叉注意力来优化记忆库。这种交替设计确保了不同视角的信息能够充分交融与对齐，最终产生在任意数量输入视角间保持一致的三平面条件特征。

三、双路径预测：几何、材质与光照的协同解析

ReLi3D采用了一种创新的双路径预测策略，如同两个专业团队并行协作：一个专注于物体本身的几何与材质，另一个则专注于分析周围的环境光照。这种分工协作机制确保了系统能同步且高精度地预测物体的几何外观与光照条件。

几何外观路径在统一的三平面表示上运行，用于预测空间变化的材质属性和网格结构。变换器输出的令牌被直接解释为三平面像素，形成统一的3D特征表示。对于空间中的任意3D点，系统通过三平面投影提取其特征，随后使用特定任务的多层感知机（MLP）头部来预测所有材质与几何属性。这种方法统一了表示，无需单独的材质令牌，从而能够支持复杂的多材质物体。具体而言，系统可预测密度、反照率（基础色）、粗糙度、金属度和法线扰动等关键PBR参数。几何体则采用先进的Flexicubes技术提取，以获得高质量的网格，并通过快速的UV展开将空间变化的PBR参数烘焙为纹理贴图。

环境光照路径则采用了一种全新的多视角光照推理方法，这也是首个利用自适应背景掩蔽进行鲁棒环境光照估计的多视角系统。与现有方法通常使用简单MLP从三平面特征或单视角观察预测环境图不同，团队设计了一个双模式系统，既能从直接可见的背景中读取光照信息，也能从跨多个视角的物体表面反射、阴影等间接线索中推断光照。

系统使用一个可训练的DINOv2-small编码器处理带掩码的图像对，并通过两个额外的输入通道来获得掩码感知令牌。这些令牌与物体变换器的输出连接，形成环境上下文。一个专用的1D变换器通过交叉注意力，将学习到的环境令牌映射到RENI++模型的潜在编码和全局旋转参数上，最终按照既定公式解码出完整的HDR环境光照图。

训练过程中采用了随机背景掩蔽策略，即在训练时随机遮挡一部分视角中的背景像素。这迫使网络学习解决两个互补的任务：当背景像素可见时，直接读取环境光照；当背景被遮挡时，则必须从物体表面的反射和阴影等间接线索中推断光照。这种双模式训练使得系统在现实复杂场景中具备强大的光照推理能力，即使背景经常被部分裁剪、过曝或被噪声污染。

四、基于物理的蒙特卡洛渲染训练

ReLi3D的成功，很大程度上得益于其创新的、基于物理的渲染训练策略。研究采用了可微分的蒙特卡洛渲染器，并结合了多重要性采样技术。这好比为AI模型配备了一位“物理学导师”，确保其学到的不仅是图像表象，更是底层的光线传输物理原理。

研究团队发现，利用可见法线分布函数（VNDF）采样，并结合球面帽和对偶采样技术，能够显著稳定训练过程。这种蒙特卡洛多重要性采样方法实现了几个关键能力：首先是物理可解释的分离，渲染器强制要求预测的材质和光照必须能通过基于物理的光传输理论，共同解释所有观察到的图像；其次是混合监督，当存在PBR材质真值时，系统会使用直接的材质监督，否则渲染器仅通过图像重建损失来确保材质和光照预测的一致性；最后是跨域桥接，这允许在合成PBR数据、仅RGB的合成渲染数据以及最重要的真实世界捕获数据之间进行无缝联合训练，极大地提高了模型的泛化能力和在实际应用中的鲁棒性。

这种训练方法的革命性在于，它首次实现了能够从混合域数据中学习空间变化材质重建，而不会出现监督崩塌或域间冲突的系统。传统方法在面对不同类型训练数据时容易性能退化，但ReLi3D通过严格的物理约束，确保了在真实世界输入上的鲁棒性能，同时保持了从合成数据监督中学到的物理合理性。

损失函数的设计体现了团队对物理准确性与视觉质量的极致追求。图像重建损失结合了均方误差（MSE）和感知损失（LPIPS），以确保像素级准确性和高级视觉感知质量。在体积训练阶段，几何和掩码监督采用了掩码二元交叉熵损失进行前景分割，几何损失则遵循Flexicubes的实现和加权方案，以实现鲁棒的网格提取。材质属性监督根据训练数据的混合性质自适应调整：当基色、粗糙度和金属度的真值可用时，使用MSE损失；表面法线采用余弦相似度损失；凸起图则被正则化以趋向平坦。环境监督在RENI++真值可用时提供直接的潜在编码监督，当不可用时，则通过去调制正则化将环境光照偏向于中性白光，避免极端光照预测。

五、混合域训练：从合成数据到真实世界的无缝过渡

ReLi3D的另一项重要创新是其精心设计的混合域训练协议。这种方法如同让AI模型同时在“虚拟实验室”和“真实世界”中学习，确保其既能掌握理论物理规律，又能应对实际拍摄中的各种挑战。团队巧妙地将大规模合成PBR数据集与真实世界RGB捕获数据相结合，从而在几何精度、材质还原和光照质量方面都获得了卓越且可推广的结果。

训练数据的构成经过了精心设计。总计使用了174,000个物体的数据，其中包括42,000个带有完整材质监督的合成PBR物体、70,000个仅RGB的合成物体，以及62,000个来自UCO3D数据集的真实世界捕获物体。尽管总数据量比其他大规模方法少了10到50倍，但关键洞察在于：多视角约束本身提供了比海量单视角数据更强的监督信号，从而实现了对材质-光照分离这一核心问题的高效学习。

合成数据的制作遵循了严谨的协议并扩展了覆盖范围。团队结合了Amazon Berkeley Objects和ARIA等多个高质量合成数据集以最大化物体和材质的多样性。每个物体在三种不同的光照环境下渲染，并绕垂直轴随机旋转以防止光照偏差。相机焦距从一个缩放正态分布中采样，范围在22度到37度之间，以匹配真实世界的拍摄条件。

对于具有PBR真值的物体，系统渲染了更多视角（100张图像），而对于仅RGB的物体则渲染较少视角（30张图像）。这种非对称采样策略在能获得材质信息的地方最大化学习效率，同时适应不同的监督水平。光照环境采用了来自iHDRI和Polyhaven数据集的1000个HDRI环境图，这些图经过预处理提取出RENI++潜在代码，以便在训练期间实现直接的光照监督。

真实世界数据的处理更为复杂。UCO3D数据集提供了宝贵的真实世界训练样本，但需要大量预处理才能与合成数据流水线兼容。该数据集包含许多具有挑战性的样本，如运动模糊、不准确的分割掩码和较差的相机位姿估计。团队应用了基于高斯溅射分层优化提供的重建和相机估计分数的严格质量过滤，只保留高质量（分数大于等于1.0）的物体。

预处理流水线应用了几个关键变换：方形裁剪和居中确保物体被一致地裁剪为正方形并位于画面中央；内参校准过程仔细调整相机内参以考虑裁剪变换；由于进行了方形裁剪，系统会维护有效视图区域和前景物体的掩码；单目法线估计提供了额外的几何监督；尺度归一化将场景边界框重新缩放，以与合成示例的尺度对齐。这套全面的预处理流程确保了与合成训练数据的无缝集成，同时保留了驱动领域泛化的、具有挑战性的真实世界特征。

六、实验验证：全面超越现有方法

研究团队通过广泛的定量与定性实验，从三个核心维度验证了ReLi3D的优越性：多视角约束确实能实现更优的材质与光照分离，从而快速创建可用于生产的3D资产。实验设计旨在验证核心论点，即在交互速度下实现有竞争力的几何重建的同时，其主要贡献在于光照分离，能够提供空间变化的PBR材质和连贯的HDR环境，以实现高保真的重新打光。

材质与光照分离实验展现了令人印象深刻的结果。在空间变化材质预测方面，ReLi3D在所有材质指标上均排名第一：反照率重建达到25.00 dB PSNR（对比SF3D的18.42 dB），粗糙度达到22.69 dB PSNR，金属度预测达到32.73 dB。多视角输入进一步提升了这些结果，证明了跨视角约束成功解决了材质-光照歧义性问题。

重光照性能测试是材质-光照分离效果的终极考验。在定量重光照评估中，团队在新的、分布外的HDR环境下渲染每个重建结果。值得注意的是，即使竞争对手的方法接收了真实环境图作为输入，ReLi3D在所有重光照指标上仍然排名第一。视觉上，其重光照重建结果非常接近真实值，确认了材质分解能够很好地泛化到新的、未见过的光照条件。

环境光照估计实验显示，即使单个视角也足以恢复正确的天空颜色和太阳方向。研究展示了背景信息如何帮助恢复正确光源，以及利用多个视角如何帮助恢复正确的光线方向，即使在黑暗环境中也是如此。相比之下，SPAR3D等方法经常预测出过度平滑、低对比度的环境图，缺乏清晰的光源。

在整体重建质量方面，虽然几何重建并非主要焦点，但ReLi3D在前所未有的速度下实现了有竞争力的结果。模型在分布外的合成数据和真实世界数据上都实现了定量和定性的最先进单视角重建结果。在多视角设置中，ReLi3D在几何和所有图像指标上表现良好，同时平均运行时间仅为0.31秒。仅提供四个视角就将倒角距离（CD）误差改善了27%，将F-score@0.5推至0.993，展现了多视角交叉条件带来的显著效益，而计算成本几乎不变。

一个值得注意的现象是性能饱和。超过4-8个视角后，性能提升趋于平缓。这源于覆盖饱和：一旦物体表面被充分覆盖，额外的随机视角通常提供的是冗余信息而非新的约束，导致边际收益递减。端到端的比较显示，竞争技术经常失败或输出平面状的伪影，而ReLi3D的多视角融合能够重建完整资产（包括隐藏的背面），并具有更接近真实的光照和阴影。对于真实世界捕获，ReLi3D保持了鲁棒性，其性能随多视角输入增加而改善，而其他方法则没有明显改善。

团队也诚实地指出，专门的高分辨率扩散方法可能通过更长的优化时间实现更优的几何细节。然而，他们的核心贡献在于材质感知重建的“速度-质量”权衡：在不到一秒的时间内提供完整、可重光照的资产，同时运行速度比Hunyuan3D等生成方法快100倍。

七、技术细节与核心创新

ReLi3D的技术实现体现了团队对工程细节的精益求精。系统采用512x512的输入分辨率，每个训练迭代随机采样1到4个条件视角。整个流水线进行端到端训练，学习率为5e-5。批量大小根据计算需求自适应调整：体积渲染阶段为64，球面高斯阶段为192，蒙特卡洛积分阶段为32。

多阶段渲染流水线的设计展现了渐进式训练的智慧。团队执行了三个不同的训练阶段：首先，使用NeRFAcc进行隐式场的体积渲染，以学习初始形状；接着，使用球面高斯近似进行网格渲染，并逐步增加图像分辨率（128→256→512），以实现高效的光照近似；最后，采用VNDF采样、球面帽和对偶采样的完整蒙特卡洛积分，以实现物理准确的着色。每个阶段跨越60,000个训练步骤，这种渐进方法确保了稳定的收敛，同时逐步提升了渲染保真度。

主导视角选择的设计体现了系统的鲁棒性考虑。主导视角作为交叉条件变换器的查询流，为几何和外观对齐提供了稳定的参考点。在报告的指标中，主导视角是均匀随机选择的，确保了结果反映了独立于视点选择的鲁棒性能，而不像那些依赖规范正面视角的方法。敏感性测试比较了随机选择与固定正面视角选择，结果显示仅有边际差异，随机视角带来的轻微感知收益可能源于侧视角提供的视差信息。

光照先验和替代表示的选择经过了深思熟虑。该框架兼容替代的光照表示。团队在中间训练阶段使用了球面高斯近似，然后切换到使用RENI++环境图的蒙特卡洛渲染。在那些使用球面高斯的阶段，他们观察到其无法捕捉尖锐的高光和定向太阳光，导致重光照指标变差。RENI++提供了紧凑且高频的表示，对于逼真的重光照和准确的材质-光照分离至关重要。虽然架构本身并不排斥使用球面谐波或高斯表示，但团队发现RENI++在表达能力和效率之间取得了最佳平衡。

总而言之，ReLi3D代表了3D重建与数字资产创建领域的一次重大飞跃。这项研究首次实现了从稀疏图像输入到完整、可重光照3D资产的端到端快速重建，将传统上需要分别处理的几何重建、材质估算和光照恢复统一到一个高效的流水线中。通过巧妙利用多视角约束，研究团队成功解决了单视角方法中材质与光照分离这一根本性难题。

更重要的是，这项工作为未来的研究和应用开辟了激动人心的道路。快速生成物理精确3D资产的能力，可能会彻底改变影视、游戏、电商、AR/VR等内容创作的工作流程，实现实时的资产数字化。从更广阔的视角看，这种分离框架可能扩展到重建任务之外，实现“野外”的材质理解——想象一下，利用在不同真实世界光照下捕获的物体进行训练，从而学习能够跨光照条件泛化的通用材质先验。研究团队承诺将发布所有代码、预训练权重和数据集生成脚本，这将加速业界的采用，并为下一代3D感知视觉系统奠定坚实的基础。

Q&A

Q1：ReLi3D相比传统3D重建方法有什么核心优势？

A：ReLi3D是首个能够从几张照片中，在端到端流程中同时重建3D几何、物理材质和光照环境的统一系统，其速度极快（约0.3秒完成）。传统方法通常需要将这三个任务分开处理，流程复杂且耗时。最关键的是，它能准确分离物体自身的材质属性和环境光照，生成的3D模型可以在不同的光照条件下进行高质量的重新渲染，这是以往方法难以实现的，对于数字内容创作和虚拟现实应用至关重要。

Q2：为什么多视角输入比单视角重建效果更好？

A：单视角重建就像用一只眼睛看世界，存在严重的歧义性：相同的表面外观可能对应无数种材质和光照的组合，计算机无法做出唯一准确的判断。而多视角则像人类双眼立体视觉，当从多个角度观察同一表面时，这种跨视角的几何一致性约束极大地缩小了可能的解空间，使得精确的材质与光照分离成为可能，从而得到更真实、物理准确的重建结果。

Q3：ReLi3D的双路径架构是如何协同工作的？

A：系统采用两个并行工作的专业“模块”或路径：几何外观路径专门负责预测物体的三维形状和材质属性（如反照率、金属度、粗糙度等）；环境光照路径则专门分析图像背景或物体表面的反射、阴影来推测拍摄时的全局光照环境。两个路径并非独立，而是通过一个基于物理的可微分渲染器紧密协同工作，确保最终预测的材质和光照能共同、准确地解释所有输入图像，从而在整体上保持一致且符合物理规律。