BIDCD - Bosch Industrial Depth Completion Dataset

BIDCD数据集是由博世人工智能中心和以色列理工学院合作创建的，专注于工业金属对象的RGBD数据集。该数据集通过安装在机器人操纵器上的深度相机收集，旨在促进特定领域深度完成模型的训练，应用于物流和制造任务。数据集包含约33,000张RGBD图像，覆盖了多种工业对象，如螺丝、圆柱体和散热器。创建过程中，使用了多视角融合技术来生成精确的深度图。该数据集的应用领域包括机器人操纵和自动化制造，旨在解决工业环境中深度感知和3D信息提取的问题。The BIDCD dataset is an RGBD dataset focused on industrial metal objects, jointly created by Bosch Center for Artificial Intelligence and Technion – Israel Institute of Technology. This dataset was collected using a depth camera mounted on a robotic manipulator, and aims to facilitate the training of domain-specific depth completion models for logistics and manufacturing tasks. The dataset contains approximately 33,000 RGBD images, covering a variety of industrial objects such as screws, cylinders, and radiators. During its development, multi-view fusion technology was employed to generate accurate depth maps. The application scenarios of this dataset include robotic manipulation and automated manufacturing, and it is designed to address the challenges of depth perception and 3D information extraction in industrial environments.

搜集汇总

数据集介绍

构建方式

在工业机器人视觉感知领域，BIDCD数据集的构建采用了系统化的多视角采集策略。通过搭载于Franka-Emika Panda机械臂末端的两个Intel RealSense D415深度相机，对随机布置的工业金属物体场景进行数据采集。每个场景包含最多10个物体，从约60个随机视点获取RGBD图像，总计超过33,000帧。为生成高精度地面真值，研究团队开发了定制化处理流程：首先对原始深度图进行工作区边界投影、形态学操作和离群值过滤，得到清洁深度图；随后通过多视角配准与TSDF融合构建三维网格模型；最后将网格反向投影至各相机视角，并采用双边滤波进行孔洞填充，形成最终的密集深度真值。整个流程经过严格的人工检查与参数优化，确保数据质量满足工业级精度要求。

特点

该数据集的核心特征在于其专注于高反射性工业金属物体的深度感知挑战。与常规室内场景数据集不同，BIDCD的原始深度图中平均包含8.5%的缺失区域，这些孔洞主要源于金属表面的镜面反射和遮挡效应，真实模拟了工业环境中深度相机的典型缺陷。数据集提供了多层次数据表示：包括原始RGB图像、带噪声的原始深度、经过预处理的清洁深度以及通过多视角融合生成的密集地面真值深度。此外，数据集还附带相机内参、视点变换矩阵和三维网格模型，支持从二维到三维的多模态研究。其独特的合成-真实域适应标注，为跨域迁移学习提供了基准。

使用方法

该数据集主要应用于深度补全模型的训练与评估。研究者可将RGB图像和稀疏深度图作为输入，训练端到端的深度补全网络（如论文采用的NLSPN模型），以预测密集深度图。数据集按场景组织，支持划分训练集、验证集和测试集进行模型开发。同时，数据集支持合成到真实域的适应研究：通过将合成工业数据集的RGBD图像与BIDCD的真实深度图配对，可训练生成对抗网络学习深度相机的噪声特性，生成更具真实感的合成数据。对于三维视觉任务，提供的相机位姿和网格模型可用于点云配准、三维重建等算法验证。使用时应遵循数据划分规范，并注意地面真值中无效区域的掩码处理。

背景与挑战

背景概述

随着工业4.0革命的推进，机器人操作在物流与制造任务中扮演着关键角色，其感知能力依赖于三维信息的精准获取。深度相机作为室内场景三维重建的主流工具，在工业环境中常因金属物体的高反射特性而产生深度数据缺失与失真。为此，以色列理工学院与博世人工智能中心的研究团队于2021年联合发布了BIDCD数据集，旨在为工业领域的深度补全任务提供专用训练资源。该数据集通过机械臂搭载的深度相机采集了超过300个工业金属物体场景，涵盖约3.3万帧RGBD图像，并利用多视角融合技术生成高精度地面真值，为物流分拣、装配等任务中的三维感知模型奠定了数据基础。

当前挑战

BIDCD数据集致力于解决工业场景中深度补全的核心挑战，即修复因金属表面反射、遮挡及传感器局限所导致的深度图大面积空洞与噪声。这一领域问题要求模型在复杂光学干扰下，依据RGB线索实现深度值的精确插值与外推。在数据集构建过程中，研究团队面临多重困难：首先，多视角融合生成地面真值时，需克服反射造成的配准失败与局部重建误差；其次，原始深度图中平均8.5%的空洞区域与边缘伪影需通过定制化滤波流程进行清洗，同时平衡信息保留与噪声抑制；此外，为支持合成到真实数据的域适应研究，还需设计辅助损失函数以缓解生成对抗网络中物体形状消失的几何失真问题。

常用场景

经典使用场景

在工业机器人视觉感知领域，BIDCD数据集为深度补全任务提供了关键支持。该数据集通过搭载于机械臂末端的深度相机采集金属工业物体的RGBD图像，其原始深度图中因反射和遮挡产生的空洞区域平均占比达8.5%，精准模拟了真实工业场景中深度传感器的典型缺陷。研究者可利用该数据集训练端到端的深度补全模型，例如基于非局部空间传播网络的架构，以生成稠密且准确的深度图，为后续的抓取规划与位姿估计提供可靠的三维几何信息。

实际应用

该数据集的实际应用聚焦于工业自动化与物流任务，例如箱内拣选与精密装配。通过训练基于BIDCD的深度补全模型，机器人系统能够在充满金属零件的非结构化工作环境中，实时恢复物体表面的完整三维几何，进而提升抓取检测与运动规划的准确性。此外，数据集支持的合成到真实域适应技术，可增强利用廉价合成数据训练的模型在真实场景中的泛化能力，降低工业视觉系统部署中对大规模真实标注数据的依赖。

衍生相关工作

基于BIDCD数据集，研究者已开展多项经典衍生工作。例如，采用NLSPN等先进深度补全架构在该数据集上建立性能基准，推动了针对工业反射场景的算法优化。同时，数据集被用于训练生成对抗网络，实现合成工业数据到真实深度相机风格的域适应，并引入了辅助形状保留损失以解决生成过程中物体几何失真问题。这些工作不仅拓展了深度补全在工业领域的应用边界，也为多模态感知与跨域学习提供了新的方法论参考。