C3VDv2 - 结肠镜3D视频数据集

C3VDv2是高清晰度结肠镜3D视频数据集的第二版，具有增强的现实性，旨在促进3D结肠重建算法的定量评估。数据集包括192个视频序列，由60个独特的、高保真度的硅胶结肠假体段成像捕获。为169个结肠镜视频提供了地面真实深度、表面法线、光流、遮挡、六自由度姿态、覆盖图和3D模型。数据集还包括由胃肠病学家获得的8个模拟筛查结肠镜视频，带有地面真实姿态。数据集还包括15个具有结肠变形的视频，用于定性评估。C3VDv2为3D重建算法模拟了多样性和挑战性的场景，包括粪便残渣、粘液池、血液、遮蔽结肠镜镜头的残渣、正面视图和快速摄像机运动。C3VDv2的增强现实性将允许更强大和更具代表性的3D重建算法的开发和评估。C3VDv2 is the second edition of the high-definition 3D video dataset for colonoscopy, featuring enhanced realism and designed to facilitate the quantitative evaluation of 3D colon reconstruction algorithms. The dataset contains 192 video sequences captured by imaging 60 unique, high-fidelity silicone colon phantom segments. Ground-truth depth maps, surface normals, optical flow fields, occlusion masks, 6-degree-of-freedom (6DoF) poses, coverage maps, and 3D models are provided for 169 of these colonoscopy videos. Additionally, the dataset includes 8 simulated screening colonoscopy videos obtained by gastroenterologists, paired with ground-truth poses, as well as 15 videos with colon deformations for qualitative evaluation. C3VDv2 simulates diverse and challenging scenarios for 3D reconstruction algorithms, including fecal residues, mucus pools, blood, residues obscuring the colonoscope lens, frontal views, and rapid camera movements. The enhanced realism of C3VDv2 will enable the development and evaluation of more robust and representative 3D colon reconstruction algorithms.

搜集汇总

数据集介绍

构建方式

C3VDv2数据集通过高保真硅胶结肠模型构建，采用临床高清结肠镜进行视频采集。数据采集过程中，结肠镜远端被固定于机器人臂末端，确保精确且可重复的相机轨迹。通过2D-3D配准技术，将采集的视频与结肠模型的3D表面进行对齐，生成像素级真实深度、表面法线、光流等数据。此外，数据集还模拟了粪便残渣、粘液池、血液等真实结肠镜检查中的干扰因素，以增强数据的临床相关性。

特点

C3VDv2数据集包含192个结肠镜视频序列，覆盖60个独特的结肠模型段。数据集提供了169个视频的真实深度、表面法线、光流、遮挡、六自由度姿态和3D模型。此外，数据集还包含15个结肠变形视频和8个模拟筛查结肠镜视频。C3VDv2通过引入粪便残渣、粘液池、血液等干扰因素，以及快速相机运动和镜头清洁等挑战性场景，显著提升了数据的多样性和现实性。

使用方法

C3VDv2数据集适用于训练和验证内窥镜3D重建算法，如SLAM、神经辐射场和3D高斯泼溅。数据集提供的像素级真实数据可用于深度估计算法和SLAM组件的验证。研究人员可以利用配对的无残渣和有残渣视频，量化干扰因素对算法性能的影响。此外，数据集中的挑战性场景和变形视频可用于定性评估和算法鲁棒性测试。数据集公开可用，包含所有3D模型、相机姿态轨迹和遮挡图，便于全面评估计算机视觉算法。

背景与挑战

背景概述

C3VDv2（结肠镜3D视频数据集第二版）由约翰霍普金斯大学生物医学工程系的研究团队于2025年推出，旨在解决计算机视觉技术在结肠镜检查中的关键瓶颈——缺乏高质量的3D训练数据。该数据集基于高保真硅胶结肠模型，通过临床级高清结肠镜采集192段视频序列，提供深度、表面法线、光流、遮挡等像素级真值数据，并创新性地引入粪便残渣、粘液池、血液等临床常见干扰因素。作为结直肠癌筛查领域的重要资源，C3VDv2通过模拟真实结肠镜场景，显著提升了3D重建算法在复杂环境下的评估可靠性，为SLAM、神经辐射场等技术的医学应用奠定了数据基础。

当前挑战

该数据集主要应对两大核心挑战：在领域问题层面，结肠表面纹理缺失、镜面反射、软组织蠕动变形等特性使得传统3D重建算法精度受限；在构建技术层面，需平衡真实性与真值准确性——既要保留临床结肠镜的光学特性（如鱼眼畸变、非全局光照），又要确保像素级注册的几何真值。研究团队通过多模态2D/3D配准技术和仿生材料创新，解决了合成数据与真实影像间的域差距问题，但变形结肠视频的真值生成仍存在方法学局限。

常用场景

经典使用场景

C3VDv2数据集作为结肠镜3D视频数据集的标杆，其经典使用场景主要集中在3D重建算法的训练与验证上。通过提供高保真度的硅胶结肠模型视频序列，该数据集能够模拟真实结肠镜检查中的多种复杂情况，如粪便残留、粘液池、血液等干扰因素，为算法开发提供了丰富的测试环境。特别是在同时定位与地图构建（SLAM）、神经辐射场（NeRFs）和3D高斯泼溅（3D Gaussian Splatting）等技术的开发中，C3VDv2的像素级深度、表面法线和光流数据成为了不可或缺的基准。

解决学术问题

C3VDv2数据集解决了结肠镜3D重建领域中的多个关键学术问题。首先，它填补了现有数据集中缺乏真实结肠镜光学特性和复杂场景模拟的空白，为算法提供了更接近临床环境的测试条件。其次，通过提供精确的像素级地面真实数据，该数据集使得深度估计算法和相机位姿估计方法的定量评估成为可能。此外，数据集中的结肠变形视频和模拟筛查视频为研究软组织的动态变化和临床操作轨迹提供了宝贵资源，推动了相关算法在鲁棒性和适应性方面的进步。

衍生相关工作

C3VDv2数据集已经催生了多项重要的衍生研究工作。在SLAM算法方面，研究者利用该数据集开发了能够处理结肠镜视频中快速运动和纹理缺失场景的新型定位方法。在深度估计领域，基于C3VDv2的对抗生成网络显著提高了在存在干扰物情况下的预测准确性。数据集还被用于开发增强现实培训系统，帮助医生更好地理解结肠解剖结构。此外，一些研究团队利用该数据集中的配对清洁/污染视频，开发了能够自动识别和分类结肠镜伪影的深度学习模型，为质量控制提供了新工具。