RGB-D三维重建与传统SFM及SLAM算法区别

近年来，AR（增强现实）、VR（虚拟现实）、虚拟试衣、自动驾驶等热门领域之所以备受关注，背后都离不开一项核心技术——三维重建。从初次接触三维重建技术起，我就被基于RGB-D相机的三维重建方法深深吸引。一直有股冲动想把它系统性地记录下来，相信很多同行也感同身受——想法悬在心头，不吐不快。在亲身实践并积累了一定经验之后，终于可以了却这个心愿。因此，先撰写一篇总体概览作为备忘，也为各位同仁提供一份按图索骥的参考指南。（温馨提示：本文配有多张有趣的GIF动图，加载速度可能稍慢，请耐心等待。）

读到这里，不少朋友可能就要问了：

0 “基于RGB-D相机的三维重建”与传统SFM、SLAM算法有何区别？

核心差异主要体现在以下两个方面。

第一，输入数据流存在显著差异。在基于RGB-D相机的三维重建中，输入同时包含深度信息和彩色信息，其中深度信息占据绝对主导地位。而在传统SLAM和SFM算法中，输入主要依赖彩色信息，仅有少数研究会结合深度信息进行辅助。

第二，侧重点截然不同。在SLAM框架中，定位是核心目标。为确保定位的实时响应，稠密地图的构建因规模庞大、计算量过高而通常无法实时完成。若采用稀疏地图，虽然可以实现实时建图，但难以满足实际应用的需求。另一条路径则以建图为主体，定位次之，致力于构建稠密、精准的高质量地图。这种高质量地图反过来可以为SLAM算法提供定位支持——这正是“基于RGB-D相机的三维重建”所要解决的核心问题。

“基于RGB-D相机的三维重建”“基于深度相机的三维重建”与“基于fusion系列方法的三维重建”，本质上指向同一技术领域。由于该领域大多数代表性工作的标题中都含有“fusion”，业内习惯将其统称为“基于fusion系列方法”。本文也沿用这一称谓。

fusion系列的三维重建方法大致可分为两类：一类面向静态场景重建，以KinectFusion为代表；另一类面向动态场景重建，以DynamicFusion为代表。无论静态还是动态，这类方法最显著的共同特征是采用TSDF模型（截断符号距离函数模型）。当然，也有少数工作采用面元（Surfel）表示方法。面元简单来说，是由空间点坐标、法向量、颜色、权重、半径、时间戳等属性构成的集合。值得一提的是，动态场景的三维重建难度远高于静态场景。但如果拓扑结构保持不变（例如驱动一个现成的三维网格模板模型），难度则会显著降低。

为了更深入地理解fusion系列方法，我们先来探讨一下TSDF究竟是什么。

TSDF全称为Truncated Signed Distance Function，中文译为“截断符号距离函数”。通常我们会先选定待建模的三维空间，例如2m×2m×2m的立方体。然后将该空间像切豆腐一样划分为大量小立方块，分辨率一般为256×256×256或128×128×128。每一个小立方块被称为一个“体素”（Voxel）。

每个体素中存储的是什么信息呢？实际上就是该小块到最近物体表面的距离。如果小块位于物体表面前方，存储的是正值；若位于物体表面后方，则存储负值。考虑到物体表面本身具有一定厚度，我们将过大和过小的值分别统一设置为1或-1，从而得到截断后的距离——即真正的TSDF。根据定义，TSDF值为0的位置即为重建表面所在。换言之，TSDF数值由负数过渡到正数的区域就是表面位置。下图中的人脸，正是出现在TSDF值改变符号的位置。

接下来介绍Surfel，如下图所示。

Surfel表示方法最早于2000年提出，主要用于模型渲染。每个Surfel可理解为一个微小面片，包含以下核心要素：

• 空间点坐标：定义面片在三维空间中的位置
• 空间法向量：描述面片的朝向
• 颜色信息
• 权重：根据当前点到相机的距离初始化，距离越远权重越小
• 半径：由当前表面到相机光心的距离决定，距离越大半径越大
• 时间戳信息

接下来，我们将分别介绍各类代表性工作的技术思路。

1 静态场景三维重建

1.1 KinectFusion

KinectFusion是Richard A. Newcombe提出的经典之作，堪称该领域的开山鼻祖。该系统仅需一个可移动的低成本深度相机，即可重建任意且较为复杂的室内场景。其核心思想是：将Kinect传感器采集的深度数据流，实时融合到当前场景对应的全局隐式表面模型（TSDF模型）中，然后通过由粗到精的迭代最近点（ICP）算法，跟踪当前深度帧与全局隐式表面模型之间的相对关系，从而估算传感器的位姿变化。

当然，该系统也存在明显局限：仅能重建小于7立方米的体空间。原因主要有两点：第一，采用稠密的体积表示方式导致内存消耗巨大；第二，在重建较大场景时，持续累积的误差会引发“飘移”现象。这两个因素直接限制了其在大型建筑场景中的应用。

1.2 Kintinuous

如前所述，KinectFusion采用固定体积的网格（如256×256×256）来表示重建场景，导致只能重建固定尺寸的场景。此外，当重建体积增大或网格分辨率提高时，显存消耗极为惊人。更关键的是，KinectFusion缺乏回环检测与回环优化机制，相机一旦移动较大距离，累积误差几乎无法避免。

Kintinuous算法则相对完善许多。它整合了回环检测与回环优化功能，并在实时三维刚体重建中引入deformation graph进行非刚体变换，根据回环优化的结果更新点坐标，使回环区域两次重建能够实现对齐。该算法更适合大场景三维重建应用。

演示效果：

1.3 ElasticFusion

该算法的作者与Kintinuous相同，但ElasticFusion采用面元（Surfel）表示方法，适用于小场景重建。其核心贡献有两个：一是将多个“model-to-model”局部闭环与较大规模的全局闭环相结合，确保重建地图分布尽可能一致，同时保证重建结果的全局一致性；二是能够高效探测离散的多点光源环境，在此条件下获得理想的重建效果。

当然，挑战依然存在：如何解决整个房间之外的地图可扩展性问题，以及如何在随时间变化的过程中保证重建地图的全局一致性与稳定性。

演示效果：

1.4 ElasticReconstruction

该工作提出了一种从RGB-D视频重建室内场景的方法。核心思路是将场景片段的几何配准与全局优化相结合。具体实现方式为：将输入的视频流分割成若干帧为一组的场景片段，然后以片段为单位进行深度信息融合。这样做的好处在于能够有效去除深度图噪声，从而获取更准确的表面法向信息与重建结果。

演示效果：

1.5 InfiniTAM

InfiniTAM是一个开源、跨平台、实时的大范围深度信息融合与跟踪技术框架。它包含多个版本，均具有重要的借鉴价值。关键优势在于：InfiniTAM能够比KinectFusion重建更大范围的3D环境，因为它采用哈希表来存储隐式的体积表示，从而大幅节省内存消耗。

演示效果：

1.6 BundleFusion

迄今为止，Bundlefusion是静态场景重建领域效果最为出色的方案之一。它提出了一种并行化的优化框架，充分利用基于稀疏特征以及稠密几何和光度匹配提取的对应关系，实时估计BA优化后的姿态，并具备从追踪失败中恢复（即重定位）的鲁棒追踪能力。

演示效果：

2 动态场景三维重建

2.1 DynamicFusion

DynamicFusion荣获2015年CVPR Best Paper Award，作者Newcombe与KinectFusion为同一人。该方法不依赖任何模板先验信息，堪称实时动态重建的开山之作。该系统在重建场景几何的同时，也在估计稠密体积表示的6D形变域。与KinectFusion类似，随着深度数据的不断采集，它能够逐渐生成去噪、保留细节且较为完整的重建结果。

但其短板同样突出：由于未使用任何先验信息，对帧间较大运动以及遮挡区域的运动不够鲁棒；此外，它能够较好地处理封闭拓扑的表面重建，但无法应对拓扑发生变化的情况（例如嘴巴从闭合到张开的场景）；同时，追踪的累积误差也会导致回环闭合失败。

2.2 volumeDeform

volumeDeform与DynamicFusion类似，均无需预先定义模板，同样采用体积表示来参数化重建模型的几何与运动。区别在于，其运动追踪基于全局稀疏彩色特征（如SIFT算子）与稠密深度图的结合，这增强了特征匹配点寻找的准确性，从而显著减小了累积误差和漂移现象。

不足之处在于：尽管全局SIFT特征匹配提高了鲁棒性并减小了对齐误差，但漂移现象仍未完全消除；另外，正则项的设置使得极度弯曲物体的重建结果在运动上显得平滑，失去了原有的弯曲程度。

2.3 BodyFusion

从BodyFusion开始，动态重建变得更有意思。它引入人体骨架作为先验信息，实现了鲁棒的人体动态重建。人体骨架的引入减少了重建表面图节点非刚性形变参数化的歧义性，在一定程度上缩小了解空间。

劣势在于：所使用的人体骨骼包含的关节点过于稀疏，且运动过快时深度图会出现运动模糊，从而限制了重建方法的适用性。

2.4 DoubleFusion

DoubleFusion的表现非常惊艳。它将数字驱动的模板（SMPL模型）与实时重建的稠密几何、非刚性运动以及内层人体形状充分结合。其关键贡献之一是提出了双层表面表示——里层是参数化的内层人体表面（inner body，即SMPL模型的shape），外层是通过深度融合得到的表面（outer surface）。另一个关键贡献是基于双层表面表示的联合运动追踪，使系统在快速运动时仍具备鲁棒性。

不足之处在于：用户穿着较为宽松时，估计的人体会偏胖；此外，无法处理外层表面分离的情况，也无法处理人与物体交互的场景。

2.5 UnstructuredFusion

通常多相机系统需要特殊设计的相机和预先精细的标定操作，但UnstructuredFusion可以使用未经预先标定和同步的三个深度相机，以互补且灵活的方式覆盖整个人体，实现实时、高质量、完整的动态人体重建。

不足也很明显：输入深度图分辨率有限，因此无法重建非常细小的部分（如人脸）；也无法处理网格拓扑分离的情况；同样无法处理人与物体的交互。

演示效果：

2.6 RobustFusion

RobustFusion顾名思义——它利用多种数据驱动的视觉线索来提升动态重建算法的鲁棒性，包括Occupancy Network、Pose&Shape Network和Semantic Network。这些数据驱动的线索避免了预先扫描模板，具备重新初始化的能力，使系统能够处理极具挑战性的运动和几何重建。

劣势在于：无法实时运行；不能处理重建网格拓扑分离的情况（例如脱掉衣服）；无法实现人与物体的交互；如果某些极端运动姿态在训练网络时未曾出现，这些数据驱动的线索就无法提供有效的先验信息。

2.7 KillingFusion

KillingFusion基于Killing Vector Fields提出，是一种实时三维重建方法，同样不需要任何预先扫描的模板或形状先验。它无需显式地进行对应匹配点的搜索，给定感兴趣区域的一对SDF，即可估计出一个稠密形变域来对齐它们。具体做法是定义一个与SDF分辨率相同的位移向量域，通过迭代优化求解。

不足之处恰恰源于这个优点：不显式寻找对应点，在某些需要显式对应点的操作上就无法进行，例如纹理映射就需要显式对应点。

2.8 SurfelWarp

SurfelWarp是三维动态重建方案中为数不多的基于面元的算法。它输入深度图序列，对非刚性场景进行实时重建，无需任何模板或先验信息。与现有方法相比，它不用维持体积数据结构（如TSDF），而是采用面元表示，这极大增强了拓扑发生变化时的追踪能力，从而获得一致的重建结果。

不足之处在于：模型重初始化可以大幅提高鲁棒性，但清除错误的面元会破坏模型的完整性。

演示效果：

2.9 Fusion4D

Fusion4D的重建效果非常惊艳。它基于多视角方案，未使用任何先验信息，理论上可以重建任何场景或物体。如视频所示，除了人体动态重建，甚至连狗都能重建。其重要贡献之一是引入key volume，因此对较大的帧间运动以及网格拓扑发生改变时都具有很强的鲁棒性；同时引入体素碰撞检测，能够获得正确的TSDF模型。

不足之处在于：当RGB-D输入流帧率过低或者帧间运动过大时，帧间对应匹配点的估计会不准确，导致非刚性对齐过程无法收敛。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：RGB-D三维重建与传统SFM及SLAM算法区别要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题