GauU-Scene V2

GauU-Scene V2是由香港中文大学（深圳）创建的大型多模态场景重建基准数据集，覆盖面积超过6.5平方公里，包含全面的RGB数据和LiDAR地面实况。该数据集通过高精度LiDAR和无人机搭载的高分辨率相机收集，旨在解决大规模户外场景的3D重建问题。数据集的创建过程中，提出了一种LiDAR和图像对齐方法，以解决无人机数据集中的坐标系统差异问题。GauU-Scene V2的应用领域包括城市规划、虚拟现实和增强现实，通过评估不同视角下的图像质量，揭示了当前基于图像的度量标准在几何重建中的局限性。GauU-Scene V2 is a large-scale multimodal scene reconstruction benchmark dataset developed by The Chinese University of Hong Kong, Shenzhen. It covers an area of over 6.5 square kilometers and contains comprehensive RGB data and LiDAR ground truth. Collected via high-precision LiDAR and high-resolution cameras mounted on unmanned aerial vehicles (UAVs), this dataset is designed to address 3D reconstruction challenges in large-scale outdoor scenes. During the dataset's development, a novel LiDAR-image alignment method was proposed to resolve coordinate system discrepancies inherent in UAV-based datasets. Application scenarios of GauU-Scene V2 include urban planning, virtual reality (VR) and augmented reality (AR). By evaluating image quality across different viewpoints, this benchmark reveals the limitations of current image-based metrics in geometric reconstruction tasks.

搜集汇总

数据集介绍

构建方式

GauU-Scene V2 数据集采用 DJI Matrice 300 无人机搭载 Zenmuse L1 LiDAR 设备进行数据采集。数据集包含 6 个真实场景，包括校园、现代建筑、村庄、住宅、俄罗斯建筑和学院，覆盖面积超过 6.5 平方公里。数据集采用 COLMAP 格式存储相机位置和图像，并包含 LiDAR 点云数据，点云数据以 WGS 84/UTM 50N 坐标系存储。为了解决 LiDAR 点云和图像数据坐标系不一致的问题，数据集提出了一种基于统计尺度匹配的 LiDAR 和图像对齐方法。

特点

GauU-Scene V2 数据集具有以下特点：1) 规模大，覆盖面积超过 6.5 平方公里，包含数千张图像和数亿个点云数据点；2) 多模态，包含 RGB 图像和 LiDAR 点云数据，可以用于 3D 场景重建和几何重建任务；3) 高精度，LiDAR 数据精度高，可用于 3D 场景重建和几何重建任务的评估；4) 高质量，数据采集过程中采用了双回波技术去除运动物体，并控制飞行高度和光照条件，保证了数据质量。

使用方法

GauU-Scene V2 数据集可用于 3D 场景重建和几何重建任务的评估。用户可以使用数据集中的图像和点云数据作为训练数据和测试数据，评估 3D 场景重建和几何重建方法的性能。数据集还提供了详细的预处理方法和坐标系对齐方法，方便用户使用。

背景与挑战

背景概述

GauU-Scene V2 数据集是由香港中文大学深圳校区的研究团队于 2024 年创建的，旨在评估基于图像的指标在三维场景重建中的可靠性。该数据集涵盖了超过 6.5 平方公里的区域，并包含了丰富的 RGB 数据集和激光雷达地面真实数据。GauU-Scene V2 数据集是首个提出无人机激光雷达和图像对齐方法的数据集，这为构建多模态数据集和进行几何对齐测量提供了关键支持。该数据集的创建对于评估几何重建任务具有重要意义，并对相关领域产生了深远的影响。

当前挑战

GauU-Scene V2 数据集的研究背景主要集中在城市规模的场景重建方面。现有的城市规模数据集存在一些局限性，例如缺乏点云或网格数据的精确地面真实数据，或者侧重于场景理解而非重建。为了克服这些挑战，GauU-Scene V2 数据集采用了 DJI Matrice 300 无人机和 Zenmuse L1 激光雷达来捕获高精度的 3D RGB 点云数据。此外，该数据集还面临着无人机数据集特有的挑战，即点云和图像数据集之间坐标系统的差异。为了解决这个问题，研究团队提出了一种简单而有效的方法来对齐 SfM 相机位置和激光雷达数据点。此外，GauU-Scene V2 数据集还面临着图像和激光雷达数据集之间的对齐问题，这限制了点云或图像数据的使用。为了解决这个问题，研究团队提出了一种简单而有效的方法来对齐 SfM 相机位置和激光雷达数据点。

常用场景

经典使用场景

GauU-Scene V2数据集是一个多模态的大规模场景重建基准，它利用了新开发的3D表示方法：高斯散点图和神经辐射场 (NeRF)。该数据集涵盖了超过6.5平方公里的区域，并具有完整的RGB数据集，以及激光雷达地面真实数据。此外，我们是第一个为基于无人机的数据集提出激光雷达和图像对齐方法的研究团队。我们的评估包括在各种新颖的观点下进行的详细分析，使用基于图像的指标，如SSIM、LPIPS和PSNR，对NeRF和高斯散点图进行评估。这项分析揭示了在应用几何指标，如Chamfer距离时，结果的矛盾性。在我们多模态数据集上的实验结果表明，当前基于图像的指标不可靠，并揭示了当前高斯散点图方法在几何重建方面的重大缺陷，进一步说明了我们的数据集在评估几何重建任务中的必要性。

解决学术问题

GauU-Scene V2数据集解决了当前基于图像的指标无法充分测量3D模型底层几何的问题。通过使用高精度激光雷达和相机捕获的多模态信息，该数据集提供了可靠的3D点云作为地面真实数据，可以用于测量3D几何对齐的质量。此外，该数据集还解决了现有城市规模数据集缺乏准确地面真实数据的问题，并提供了超过6.5平方公里的大规模数据集，为城市规模室外场景重建提供了支持。

衍生相关工作

GauU-Scene V2数据集的发布促进了3D重建和大规模环境地图领域的相关工作。例如，该数据集可以用于评估和比较不同的3D重建方法，例如SuGaR、Vanilla Gaussian Splatting、InstantNGP和NeRFacto。此外，该数据集还可以用于开发新的3D重建算法，以解决当前高斯散点图方法在底层几何对齐方面的缺陷。