Den-SOFT

Den-SOFT数据集由清华大学创建，专注于提供高分辨率和高密度的空间导向光场数据，以支持6自由度沉浸式体验。该数据集通过自设计的‘复眼’多摄像头设备捕获，特别关注大规模户外环境，数据集中的图像和视频来自多个场景。数据集不仅支持实时6自由度沉浸式体验，还通过与VR引擎的集成，验证了其在增强虚拟现实真实性和创建交互空间方面的潜力。此外，Den-SOFT数据集的高密度特性也为空间导向光场重建提供了新的研究方向，与以物体为中心的3D重建有所不同，适用于虚拟现实和增强现实应用。The Den-SOFT dataset, developed by Tsinghua University, focuses on providing high-resolution and high-density spatial-oriented light field data to support 6-degree-of-freedom (6DoF) immersive experiences. Captured via a self-designed "compound eye" multi-camera setup, the dataset places special emphasis on large-scale outdoor environments, with its images and videos sourced from multiple scenarios. Not only does the dataset support real-time 6DoF immersive experiences, but it also validates its potential in enhancing the realism of virtual reality and creating interactive spaces through integration with VR engines. Furthermore, the high-density nature of the Den-SOFT dataset provides a novel research direction for spatial-oriented light field reconstruction, which differs from object-centric 3D reconstruction and is applicable to virtual reality (VR) and augmented reality (AR) applications.

搜集汇总

数据集介绍

构建方式

在三维重建领域，高密度光场数据对于实现六自由度沉浸式体验至关重要。Den-SOFT数据集的构建采用了一套自研的移动多相机采集系统，该系统由40至46台GoPro 10相机组成，均匀分布在直径9200毫米的透明丙烯酸穹顶上，形成类似复眼的结构。通过遥控车搭载该系统，在室内外大尺度场景中沿预设路径以每30厘米间隔进行同步拍摄，确保每个场景捕获不少于1000张5K分辨率图像。数据采集过程中特别注重捕捉光影变化、反射等复杂视觉元素，并利用专业摄影测量软件Agisoft Metashape进行相机内外参校准，以提供高精度的几何与光度信息。

特点

Den-SOFT数据集的核心特点在于其卓越的空间覆盖密度与视觉保真度。该数据集以单位球体内平均134.68的视角密度显著超越现有公开数据集，实现了对大规模静态场景的高密度采样。其图像分辨率统一为5K，涵盖九类室内外场景，包括丰富的户外环境与细节背景，有效支持空间导向的光场重建研究。与对象中心化的传统数据集不同，Den-SOFT强调场景的整体性与探索性，通过高分辨率与高密度采集，为神经辐射场、3D高斯溅射等前沿算法提供了兼具挑战性与实用性的基准数据。

使用方法

该数据集适用于多种光场重建范式的评估与应用。研究者可基于其提供的多视角图像序列、相机位姿及点云数据，训练或测试图像基渲染、神经辐射场重建及显式辐射场表示等算法。数据集已集成至Unity引擎，支持将3D高斯溅射等重建结果转化为可交互的虚拟现实场景，实现六自由度沉浸式体验。在使用过程中，建议根据具体任务调整数据子集，例如通过控制输入图像数量以探索最优采集密度，或利用其高密度特性研究动态场景重建与语义理解等延伸课题。

背景与挑战

背景概述

随着深度神经网络在虚拟现实（VR）技术中的广泛应用，真实世界的数字化重建受到前所未有的关注。清华大学的研究团队于2024年提出了Den-SOFT数据集，旨在解决大规模场景光场重建中高质量数据稀缺的问题。该数据集采用自研的“复眼”多相机系统，以高达5K的分辨率和每单位球体平均134.68的视角密度，捕捉了涵盖室内外的大规模静态场景。Den-SOFT的核心研究问题聚焦于支持六自由度（6DoF）沉浸式VR体验的空间导向光场重建，其高密度与高分辨率特性为神经辐射场（NeRF）、3D高斯泼溅（3DGS）等先进算法提供了关键基准，推动了沉浸式虚拟环境构建领域的发展。

当前挑战

Den-SOFT数据集致力于解决大规模场景光场重建的挑战，其核心在于克服现有数据在视角密度与场景覆盖范围上的局限，以实现自由探索的6DoF VR体验。具体挑战包括：在领域问题层面，需应对高精度、高保真的大规模静态场景重建需求，现有数据集往往分辨率不足、密度较低，且多集中于物体中心而忽略背景细节，难以支撑沉浸式体验；在构建过程中，团队面临高效捕获系统的设计难题，如协调40余台相机同步拍摄、处理户外环境光照变化与反射干扰，以及后续海量数据的校准、白平衡调整与点云生成等复杂流程，确保数据质量与算法兼容性成为关键。

常用场景

经典使用场景

在虚拟现实与三维重建领域，Den-SOFT数据集以其高分辨率与高密度采样的特性，为大规模静态场景的光场重建提供了经典基准。该数据集通过自研的“复眼”多相机阵列系统，捕获了涵盖室内外环境的密集多视角图像，尤其专注于无边界户外场景的细节呈现。其每场景超过千张5K分辨率图像的采集规模，使得研究者能够基于如IBRNet、NeRF及3D高斯泼溅等先进算法，进行高质量的新视角合成与场景几何重构，为六自由度沉浸式VR体验的实现奠定了数据基础。

解决学术问题

Den-SOFT数据集有效应对了当前三维重建研究中大规模场景数据稀缺的学术挑战。传统数据集往往受限于低分辨率、低采样密度或场景覆盖范围狭窄，难以支撑高保真度、大空间尺度的光场重建需求。该数据集通过提供单位球体内平均134.68个视角的高密度采样，解决了现有方法在远距离背景细节、光影变化及高反射表面重建中的精度不足问题，推动了面向空间的光场重建范式发展，为神经辐射场等算法的优化与评估提供了可靠基准。

衍生相关工作

基于Den-SOFT数据集的高质量特性，已衍生出多项针对光场重建算法比较与优化的经典研究工作。研究者在IBRNet、Instant-NGP和3D高斯泼溅等三类代表性范式上进行了系统评估，揭示了不同方法在大规模场景重建中的优势与局限。此外，该数据集还启发了对最佳采集密度的探索，为动态场景重建、语义分割及实时流式光场传输等新兴方向提供了数据基础，推动了三维视觉领域的算法创新与应用拓展。