Comprehensive Robotic Cholecystectomy Dataset (CRCD)

Comprehensive Robotic Cholecystectomy Dataset (CRCD)是由伊利诺伊大学芝加哥分校的研究团队创建，专注于机器人辅助的胆囊切除手术数据集。该数据集不仅包含完整的运动学数据，还记录了手术过程中的所有脚踏输入和时间戳记录的内窥镜运动。数据集由七名外科医生贡献，为手术机器人研究引入了新的维度，支持开发自动化控制台功能的高级模型。CRCD旨在解决现有数据集记录不完整和运动学数据不精确的问题，通过引入预测离合器使用和相机激活的模型，展示了数据集在推进手术机器人自动化方面的潜力。此外，数据集的应用领域包括手术过程中的组织识别和跟踪，为实时组织识别的训练模型提供了丰富的动态变化数据。Comprehensive Robotic Cholecystectomy Dataset (CRCD) was developed by a research team at the University of Illinois Chicago, with a core focus on robot-assisted cholecystectomy. This dataset encompasses complete kinematic data, as well as all footpedal inputs during surgery and endoscopic motion logged with timestamps. Contributed by seven surgeons, CRCD introduces novel dimensions for surgical robotics research and enables the development of advanced models for automated console functions. Targeted at resolving the issues of incomplete data recording and imprecise kinematic data in existing datasets, CRCD showcases its potential in advancing surgical robotic automation by proposing models that predict clutch usage and camera activation. Furthermore, the dataset supports applications including intraoperative tissue recognition and tracking, providing abundant dynamic data for training real-time tissue recognition models.

搜集汇总

数据集介绍

构建方式

在微创手术机器人研究领域，数据集的构建需精准捕捉手术过程的多元信息。Comprehensive Robotic Cholecystectomy Dataset (CRCD) 的构建基于达芬奇研究套件（dVRK），在离体猪肝上模拟胆囊切除术。数据集整合了立体内窥镜视频、全臂运动学数据及踏板信号，通过高帧率（60 fps）录制1280×720像素视频，并利用光学字符识别时间戳实现多模态同步。运动学数据通过ArUco标记进行定制校准，确保器械尖端与内窥镜间的空间关系精确到厘米级；踏板信号则通过Arduino接口采集，涵盖离合器、摄像头及单极电刀功能，经插值处理与视频和运动学数据对齐。七位经验丰富的外科医生各执行三次任务，总计21次记录，为数据多样性提供了保障。

特点

该数据集在手术机器人领域展现出独特的多模态集成优势。其核心特点在于同步收录了立体内窥镜视频、高精度运动学信息及完整的踏板输入信号，突破了现有数据集仅侧重单一模态的局限。视频数据具备立体校准参数，支持三维点云重建；运动学数据通过定制标定框架，实现了患者侧机械臂与内窥镜尖端间的精确位姿映射，误差控制在平移±5厘米、定向5~10度以内。踏板信号首次系统收录了摄像头、离合器及单极电刀的实际操作状态，为自动化控制研究提供了关键交互维度。数据源自真实手术环境下的离体组织操作，涵盖组织形态与颜色的动态变化，增强了模型训练的泛化能力。

使用方法

该数据集适用于推动手术机器人自动化与智能分析的前沿研究。使用者可通过GitHub公开仓库获取数据，利用内嵌时间戳实现视频、运动学与踏板信号的三维对齐。在应用层面，数据集支持构建预测模型，例如基于滑动窗口的运动学特征提取，训练随机森林或轻量梯度提升机等分类器，以预测离合器或摄像头踏板的激活时机。同时，视频数据可借助Track-Anything等工具进行半自动标注，生成大规模组织分割数据集，用于训练如Detectron2的实例分割模型，提升机器人对肝脏与胆囊的实时识别能力。研究还可探索运动学数据与视频的融合，优化器械三维定位或手术阶段识别，为自动化控制系统的开发提供实证基础。

背景与挑战

背景概述

随着机器学习在微创手术领域的应用潜力日益凸显，构建能够支持数据驱动工具开发的综合性数据集成为研究热点。在此背景下，伊利诺伊大学芝加哥分校等机构的研究团队于2024年推出了综合性机器人胆囊切除术数据集。该数据集创新性地整合了达芬奇研究套件在离体猪肝脏手术过程中采集的完整运动学数据、踏板信号与时间戳同步的内窥镜视频，由七位外科医生共同贡献。其核心研究问题在于解决现有手术数据集中运动学记录不完整、信号缺失的局限，为手术机器人自动化控制模型的开发提供多模态数据基础，从而推动手术辅助系统向智能化、协同化方向演进。

当前挑战

在手术机器人领域，实现精准的器械定位与组织识别依赖于多源数据的融合分析，而现有数据集往往缺乏同步的踏板信号与高精度运动学信息，限制了自动化功能模型的训练。CRCD数据集构建过程中面临多重挑战：其一，数据同步需克服异构传感器频率差异，通过时间戳对齐与插值算法实现视频、运动学及踏板信号的一致性整合；其二，运动学标定受限于达芬奇系统固有误差，需借助ArUco标记物进行自定义校准以提升三维位姿估计精度；其三，踏板信号采集涉及硬件接口改造，需设计外部电路连接电外科发生器，确保信号捕获的完整性与可靠性。这些技术障碍的克服为多模态手术数据集的建立提供了重要范式。

常用场景

经典使用场景

在微创手术机器人研究领域，数据集常被用于开发数据驱动的自动化工具。Comprehensive Robotic Cholecystectomy Dataset (CRCD) 的经典使用场景集中于机器人胆囊切除术的模拟与分析，通过整合内窥镜视频、完整运动学数据及踏板信号，为研究者提供了多模态的手术过程记录。该数据集支持对手术器械轨迹、组织动态变化及外科医生操作意图的深入解析，成为训练预测模型和分割算法的关键资源，尤其在自动化控制台功能如离合器与摄像头激活预测方面展现出独特价值。

衍生相关工作

围绕 CRCD 数据集，已衍生出多项经典研究工作。例如，研究者利用其多模态特征开发了基于随机森林、轻量梯度提升机等算法的踏板激活预测模型，显著提升了手术次级任务的自动化水平。同时，结合 Track Anything 等先进标注工具生成的大规模组织分割数据集，推动了 Detectron2 等分割模型在真实手术场景中的性能优化。这些工作不仅验证了数据集在行为预测与视觉感知方面的实用性，也为后续手术阶段识别、器械轨迹分析及人机协作界面的设计提供了重要的方法论参考。

数据集最近研究

最新研究方向

在微创手术机器人领域，数据驱动的智能化工具开发正成为前沿热点。Comprehensive Robotic Cholecystectomy Dataset (CRCD) 通过整合全运动学数据、踏板信号与时间戳内窥镜视频，为手术自动化研究提供了多维信息基础。该数据集推动了预测模型的发展，如基于运动学特征预测离合器与摄像头踏板使用，以减轻外科医生的认知负荷；同时，其动态组织变化记录提升了分割模型在真实胆囊切除术中的组织识别能力，为机器人实时组织跟踪与自动化操作奠定了数据基石。

相关研究论文

• Comprehensive Robotic Cholecystectomy Dataset (CRCD): Integrating Kinematics, Pedal Signals, and Endoscopic Videos

  伊利诺伊大学芝加哥分校 · 2024年