辐射场Plenoxels感知数据集全解析指南

隐式3D表示技术，尤其是神经辐射场（NeRF）的快速演进，使得高精度可微分三维重建变得切实可行——生成的图像不仅具备逼真的视觉效果，还能以紧凑的数据格式承载大量高分辨率图像信息，并支持新颖视角合成。然而，传统NeRF存在若干关键瓶颈：训练耗时、推理缓慢、场景依赖性强、特征表达不统一，这些问题严重制约了其在感知任务中的规模化部署。 近期，来自PosTech、Nvidia与加州理工学院的研究团队，选择了NeRF的一个变体——Plenoxels（全光体素，原始论文：“Plenoxels: Radiance fields without neural networks”，arXiv:2021），并以此为基础首次构建了一个面向感知任务的大规模隐式表示数据集，命名为**PeRFception**。该数据集涵盖以目标为中心和以场景为中心两类扫描数据，支持分类与分割任务。 值得关注的是，Plenoxels摒弃了传统MLP网络结构，改为采用稀疏三维网格结合球谐函数，完全去除神经组件，优化速度相比NeRF提升了两个数量级，而视觉质量毫不逊色。每个体素中存储密度与球谐系数，渲染时通过三线性插值采样，随后执行可微分体渲染流程，最终以MSE损失和TV正则化来优化系数。这种显式架构在速度、可解释性和特征一致性方面均展现出显著优势。 PeRFception数据集正是将Plenoxels这种表示法大规模落地的成果：将视觉特征（球谐系数）与几何特征（密度、稀疏体素网格）打包为统一格式，直接输入2D分类、3D分类及3D分割模型。下图清晰展示了数据生成与应用的整体流程。

---

与基于MLP的NeRF不同，Plenoxels对每个非空体素中的球谐系数进行独立优化，其体渲染模型与NeRF保持一致。对于包含背景的场景，该方案还采用了lumisphere背景表示方法。 表1对比了PeRFception与现有开源数据集的关键指标，凸显了其在存储效率与统一性方面的突出优势。 表2进一步展示了将Plenoxels分别应用于CO3D和ScanNet后生成的两个新子集。 **PeRFception-CO3D生成细节**：采用Plenoxels官方实现，对默认配置进行了适度调整——背景亮度层分辨率从1024降至512，背景层数量由64缩减至16；为获得更清晰的表面，lambda稀疏度设为10⁻¹⁰（比默认值大10倍）。体素网格从128³初始化，训练25600次迭代后上采样至256³，再继续训练51200次。最后将训练参数量化为无符号8比特（密度值除外），以最小化存储空间。每个场景中会先过滤模糊图像，并均匀抽取10%作为测试集用于渲染质量评估。 **PeRFception-ScanNet生成细节**：ScanNet的大量帧存在运动模糊，可能影响几何重建。实践中，训练前生成射线批处理并加载至CPU内存，以高效利用内存带宽。每个场景最多均匀采样1500帧，少于1500帧的场景则滤除拉普拉斯低方差的模糊图像。ScanNet为室内由内向外拍摄，图像重叠较少，易产生漂浮物。为解决此问题，利用ScanNet提供的反投影深度图初始化体素网格（而非从密集网格开始），再结合连通域分析（CCA）剔除离群点。这一策略显著提升了重建稳定性，且避免了过度生成漂浮物。最终PeRFception-ScanNet仅占用35GB磁盘空间，而原始ScanNet视频流约966GB——压缩率高达96.4%，极大提升了数据的可访问性。 表3展示了生成数据集的渲染质量。

---

实验结果部分展示了分类与分割的量化对比，以及不同输入模态下的表现。