清华大学、商汤科技构建用于6DoF VR体验的密集空间定向光场数据集Den-SOFT

小编广东客 | 分类：论文 | 2024年8月20日

加入映维网会员

清华大学和商汤科技

（映维网Nweon 2024年08月20日）为了帮助AR/VR的发展，清华大学和商汤科技构建了一个用于六自由度沉浸式体验的密集空间定向光场数据集Den-SOFT。

随着深度神经网络的广泛应用和虚拟现实技术的飞速发展，现实世界的数字化重建受到了前所未有的关注。以NeRF为代表的隐式神经辐射场渲染方法将这一领域的研究推向了高潮。然而，尽管3D重建在理论方面取得了进步，但由于算法的高度复杂性和高质量数据集的稀缺，所述领域依然面临着重大挑战。

在与VR技术密切相关的大空间光场重建领域尤其如此，迫切需要覆盖足够大范围的场景，具有足够质量和丰富程度的数据集以支持真正沉浸式六自由度VR体验的算法研究和测试。

近年来，尽管业界在构建高质量的3D场景数据集方面投入了大量的精力，但VR设备性能的显著提高暴露了现有数据集在多个方面的不足。相关限制在一定程度上影响了数据集满足日益增长的VR体验需求的能力。

具体而言：现有数据集无法满足大规模静态场景的高精度、高保真重建需求。大多数公开数据集的分辨率在2K以下，捕获密度低，不利于高精度场景细节重建。另外，大多数数据集本质上是以对象为中心，对背景细节的覆盖非常小。

另外，现有数据集不支持在VR中实现六自由度沉浸式体验。以Immersive Light Fields和Zip-NeRF为代表的作品，要么是定点捕获，要么受到捕获路径的限制，导致重建后的VR可探索空间范围非常有限（1立方米）。

为了解决所述问题，清华大学和商汤科技的研究人员提出了一个数据集Den-SOFT。

他们搭建了定制化的移动多摄像头大空间密集光场采集系统，为各种场景提供一系列高质量、足够密集的光场图像。团队的目标是为流行的3D场景重建算法的发展做出贡献，如IBRnet, NeRF和3D高斯分裂。更重要的是，收集到的数据集比现有数据集密集得多，可以激发面向空间的光场重建。这不同于以对象为中心的3D重建，可用于沉浸式VR/AR体验。

研究人员总共使用了40台GoPro 10相机，拍摄了5k分辨率的图像。每个场景拍摄的照片数量不少于1000张，平均密度为134.68。同样值得注意的是，系统能够有效地捕捉大型户外场景。

为了解决目前缺乏大空间和密集光场数据集的问题，团队努力在数据捕获过程中包含3D重建领域研究人员感兴趣的天空、反射、光线和阴影等元素。最后，他们在三种流行的算法上验证了所提供数据集的有效性，并将重建的3DGS结果集成到Unity引擎中，展示了利用数据集增强虚拟现实真实感和创建可行交互空间的潜力。

据介绍，Den-SOFT的主要特点包括：

高分辨率：每个视点的分辨率高达5K。
高密度捕获：使用单位球体内的视点数量作为密度度量，Den-SOFT数据集捕获体积内的平均密度达到134，这大大超过了现有的数据集。
广泛覆盖室内和室外场景：特别是对于室外场景，数据集展示了丰富的前景和背景细节。

他们同时评估了数据集的有效性，并研究了当前流行算法在数据集上的性能。主要研究成果如下：

针对现有三维场景重建数据集存在的问题，设计了一种由46台高分辨率同步摄像头组成的移动捕获系统，系统安装在遥控车上，能够在短时间内高效、密集地捕获大型静态场景，并在较长时间内捕获动态大场景。
提出了一个新的数据集，其具有高分辨率，极高的捕获密度，涵盖了广泛的室内和室外场景，特别是丰富的室外场景，支持实现六自由度VR体验。
利用数据集对现有的三种光场重建方法进行了测试，并对其优缺点进行了初步分析，以期进一步推动这些算法的改进和发展。通过使用Unity作为连接头显的桥梁，团队完成了从数据捕获到场景应用的整个过程，展示了数据集在实际VR应用中的潜力。最高捕获密度也阐明了其在促进或评估其他3D场景重建算法研究方面的潜在作用。