Kubric_vlbm

该数据集包含从Kubric合成场景生成并转换为Flock4D格式的3D点跟踪序列。每个序列包括RGB图像、深度图、2D/3D轨迹、相机参数和场景元数据。数据集共有5,869个序列，分辨率为512×512像素，每个序列包含32,768个点和120帧。数据格式包括JPEG格式的RGB图像、NPZ格式的深度图以及包含2D/3D轨迹、可见性标志和相机内外参的NumPy压缩文件。数据集还提供了场景元数据的JSON文件。

This dataset contains 3D point tracking sequences generated from Kubric synthetic scenes and converted to the Flock4D format. Each sequence includes RGB images, depth maps, 2D/3D trajectories, camera parameters, and scene metadata. The dataset consists of 5,869 sequences with a resolution of 512×512 pixels, and each sequence contains 32,768 points and 120 frames. The data formats include RGB images in JPEG format, depth maps in NPZ format, and NumPy compressed files that contain 2D/3D trajectories, visibility flags, and intrinsic and extrinsic camera parameters. The dataset also provides JSON files for scene metadata.

原始信息汇总

Kubric CoTracker3 数据集概述

数据集基本信息

• 数据集名称：Kubric CoTracker3 Dataset
• 许可协议：Apache-2.0
• 数据来源：由Kubric合成场景生成，并使用CoTracker3处理
• 数据格式：Flock4D兼容格式
• 序列总数：5,869个序列
• 总大小：约313 GB（未压缩）

数据内容与结构

序列内容

每个序列包含以下内容：

• RGB图像：JPEG格式，分辨率为512×512像素
• 深度图：NPZ格式，分辨率为512×512像素，深度值源自Kubric的度量深度输出（单位为米）
• 2D/3D轨迹：包含点的2D像素坐标和3D相机空间坐标
• 相机参数：包含相机内参矩阵和外参矩阵（世界到相机的变换矩阵）
• 场景元数据：包含传感器参数等场景信息

目录结构

每个序列目录结构如下：

{sequence_id}/ ├── rgbs/ # RGB图像文件夹 ├── depths/ # 深度图文件夹 ├── annotations.npz # 标注数据文件 └── scene_info.json # 场景信息文件

技术规格

图像与标注

• 图像分辨率：512 × 512像素
• 每序列帧数：120帧
• 每序列点数：32,768个点
• 数据类型：
  • 图像：JPEG（RGB）和PNG（深度，uint16）
  • 标注：float16（用于高效存储）

标注文件详情

annotations.npz文件包含以下数组：

• trajs_2d (T, N, 2)：所有帧中每个点的2D像素坐标
• trajs_3d (T, N, 3)：相机坐标系中的3D坐标
• visibilities (T, N)：可见性标志（1.0为可见，0.0为不可见）
• intrinsics (T, 3, 3)：相机内参矩阵（每帧一个）
• extrinsics (T, 4, 4)：相机外参矩阵（世界到相机的变换矩阵）

坐标系说明

• 2D轨迹：图像像素坐标系（x, y）
• 3D轨迹：相机坐标系（x, y, z）
• 外参矩阵：世界到相机的变换矩阵（4×4）

使用说明

数据加载

可通过Python加载序列数据，包括RGB图像、深度图、标注数据和场景信息。

坐标转换

提供了将3D点从相机坐标系转换到世界坐标系的示例代码。

引用要求

使用本数据集时，请引用：

1. 原始的Kubric论文（https://github.com/google-research/kubric）
2. CoTracker3论文（https://github.com/facebookresearch/co-tracker）
3. Flock4D数据集（https://huggingface.co/datasets/ZhengGuangze/Flock4D）（如适用）

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，合成数据生成技术为三维点追踪研究提供了可控且丰富的数据源。Kubric_vlbm数据集依托Kubric合成场景生成框架，通过CoTracker3算法对场景中的点云进行密集追踪，构建了包含5,869个序列的大规模数据集。每个序列均包含120帧512×512像素的RGB图像与深度图，并采用Flock4D兼容格式进行组织，确保了数据结构的一致性与高效存储。

特点

该数据集以其高密度点云追踪与多模态标注为显著特点，每个序列涵盖32,768个点的二维与三维轨迹信息，并附带逐帧的相机内外参数及可见性标签。深度图来源于Kubric的度量深度输出，以米为单位提供精确的空间信息。数据以float16格式存储，在保证精度的同时有效控制了存储开销，整体规模约313GB，为三维视觉任务提供了兼具规模与细节的基准资源。

使用方法

使用该数据集时，可通过Python加载序列目录中的注释文件与图像数据。annotations.npz文件包含轨迹、可见性及相机参数等多维数组，用户可结合scene_info.json中的元数据，利用相机外参矩阵将三维点从相机坐标系转换至世界坐标系。该数据集适用于三维重建、运动分析、多视角几何等任务，为算法开发与评估提供了完整的合成数据流水线。

背景与挑战

背景概述

在计算机视觉领域，三维点云追踪与动态场景理解是推动机器人感知、增强现实等应用发展的核心问题。Kubric_vlbm数据集由谷歌研究院与Facebook研究院等机构的研究团队于近年联合构建，其核心研究目标在于通过合成数据生成技术，为密集点云在连续视频帧中的长程运动追踪提供大规模、高精度的基准数据。该数据集基于Kubric合成场景平台与CoTracker3追踪算法生成，包含了超过五千个序列，每个序列提供RGB图像、深度图、二维与三维轨迹以及完整的相机参数，为三维视觉任务提供了丰富的几何与运动信息，显著促进了动态场景分析与点云追踪算法的研究进展。

当前挑战

该数据集旨在解决密集点云在复杂动态场景下的长程、精准运动追踪问题，这一任务面临诸多挑战：真实世界中点云的遮挡、外观变化、运动模糊以及大规模点集的计算复杂度，均对算法的鲁棒性与效率提出了极高要求。在构建过程中，研究团队需克服合成数据与真实数据之间的域差异，确保生成的场景具有足够的物理真实性与多样性；同时，处理海量点云数据（每序列高达32,768个点）的存储、标注与一致性校验，也带来了巨大的工程挑战，需在数据精度与存储效率之间取得平衡。

常用场景

经典使用场景

在计算机视觉领域，三维点跟踪是理解动态场景运动模式的核心任务。Kubric_vlbm数据集通过合成场景生成大量高精度点轨迹，为点跟踪算法的训练与评估提供了标准化基准。该数据集包含RGB图像、深度图以及二维和三维轨迹标注，支持从像素到三维空间的完整运动分析，常用于训练和验证点跟踪模型，如CoTracker3等，以提升模型在复杂运动场景下的鲁棒性和准确性。

解决学术问题

该数据集有效解决了三维视觉中大规模点跟踪数据稀缺的学术难题。传统方法依赖真实世界标注，成本高昂且规模有限，而Kubric_vlbm通过合成技术生成5869个序列，每个序列包含32768个点的120帧轨迹，提供了丰富且可控的运动模式。这促进了点跟踪、运动估计和多视角几何等研究方向的发展，为算法提供了可重复的评估环境，加速了三维动态场景理解的理论突破。

衍生相关工作

基于Kubric_vlbm数据集，衍生了一系列经典研究工作，主要集中在点跟踪和运动分析领域。例如，CoTracker3模型利用该数据优化了长期点跟踪性能，而Flock4D格式的兼容性促进了多数据集联合训练框架的发展。这些工作不仅推动了点跟踪算法的进步，还扩展了合成数据在视觉任务中的应用范围，为后续研究如动态场景重建、时空一致性建模提供了重要的数据基础和实验范式。