SprayD

SprayD是由弗莱堡大学团队开发的专注于非朗伯体物体深度补全的基准数据集，包含398帧多传感器同步采集的RGB-D数据。该数据集通过工业级哑光喷雾技术和三摄像头（Intel RealSense D415、ZED2、Azure Kinect DK）融合方案，首次实现了场景级稠密真实深度标注，覆盖非朗伯体物体及周边环境。数据采集采用机器人臂控制标准化轨迹，结合后期多视角深度融合与人工校验，最终获得97.8%稠密度的精准标注。该数据集旨在解决透明/反光物体深度感知难题，为机器人抓取、导航等任务提供可靠的几何基准。SprayD is a benchmark dataset developed by the team at the University of Freiburg, focusing on depth completion for non-Lambertian objects. It contains 398 frames of multi-sensor synchronously acquired RGB-D data. This dataset adopts industrial-grade matte spray technology and a fusion scheme with three cameras (Intel RealSense D415, ZED2, Azure Kinect DK), and for the first time achieves scene-level dense real-world depth annotations covering non-Lambertian objects and their surrounding environments. Data collection was conducted using a robotic arm to control standardized trajectories, combined with post-processing multi-view depth fusion and manual verification, ultimately producing accurate annotations with a density of 97.8%. This dataset aims to solve the depth perception challenges of transparent or reflective objects, providing reliable geometric benchmarks for tasks such as robotic grasping and navigation.

搜集汇总

数据集介绍

构建方式

SprayD数据集通过一种创新的数据采集流程构建，旨在为包含非朗伯体与透明物体的场景提供密集的真实深度标注。核心方法是在场景中所有非朗伯体表面喷涂工业级哑光扩散喷雾，使得常规深度传感器能够获取准确的深度观测。随后，通过多相机融合与后处理技术，将来自Intel RealSense D415、Stereolabs ZED2和Microsoft Azure Kinect DK三种不同传感模态的深度图对齐并融合，生成覆盖全场景的密集深度真值。数据采集借助机器人臂实现相同轨迹的两次拍摄：一次采集原始数据，一次获取喷雾后的对齐数据，从而避免了传统方法依赖CAD模型或数字孪生的局限性。

特点

SprayD数据集的核心特点在于其提供了全场景密集深度真值，这与现有数据集中仅标注目标物体区域的模式形成鲜明对比。该数据集定义了基于物理最近表面的工作空间深度，解决了透明物体遮盖区域深度标注的歧义性问题。此外，数据集融合了三种不同深度传感技术（红外立体、RGB立体和红外飞行时间），覆盖了多样化的误差模式与视场角。最终生成的深度图密度达到97.8%，远高于ClearPose等数据集的19.4%，且无需任何数字或物理孪生支持，为机器人操控与导航任务提供了更全面的几何先验。

使用方法

SprayD数据集适用于评估和训练非朗伯体场景下的深度补全方法。使用时，用户可加载同步的RGB图像与三种传感器的原始深度图，配合提供的物体掩码与全场景真值进行模型评估。数据集支持在物体区域、背景区域及全图像三个层面分别计算MAE、RMSE和REL等指标。同时，其可与AnchorD等无训练优化框架配合使用，通过因子图优化实现单目深度先验与原始传感器深度的局部仿射对齐，从而在透明与镜面区域恢复精确的度量深度。数据集的扩展性使其同样适用于大尺度物体（如玻璃门窗）的场景研究。

背景与挑战

背景概述

在机器人自主操作与导航领域，获取密集且精确的度量深度信息是核心需求，然而透明、镜面及其他非朗伯表面常导致传统深度传感器产生无效或严重失真的测量结果。为应对这一挑战，来自弗莱堡大学的Simon Dorer、Martin Büchner、Nick Heppert与Abhinav Valada于2026年共同创建了SprayD数据集。该数据集的核心贡献在于提供了一种全新的真实世界基准，通过工业级漫射喷雾与多相机融合技术，首次实现了场景范围内稠密的真实深度真值采集，突破了以往数据集仅能提供物体区域CAD标注的局限。SprayD的发布填补了非朗伯表面深度补全领域缺乏全场景度量真值评估的空白，为机器人感知与操作研究提供了强有力的标准化评测平台。

当前挑战

SprayD数据集所应对的核心挑战在于：其一，非朗伯表面引发的领域问题，即现有深度传感器在透明与镜面物体上会产生折射、反射及多径效应，导致深度数据稀疏或严重错误，而单目深度估计模型虽能提供结构先验却缺乏度量尺度，亟需一种无需重训练即可融合两者的零样本深度补全框架。其二，数据构建过程中面临的重重困难，包括如何获取真实场景中非朗伯物体覆盖下的准确深度真值，以及如何保证帧与帧之间、多传感器之间的精确对齐。研究者通过施加工业级漫射喷雾改变表面光学特性，并采用机器人臂重复预设轨迹的巧妙设计，配合三模态相机融合与后处理流程，最终实现了高达97.8%的密度真值覆盖率，显著优于此前最优数据集的19.4%。

常用场景

经典使用场景

SprayD数据集的核心应用场景在于非朗伯体与透明物体的深度补全任务。在机器人抓取、操作与导航等感知密集型任务中，透明、镜面及一般非朗伯表面往往导致商用深度传感器产生稀疏或严重退化的测量值。SprayD通过引入工业级哑光喷雾与多相机融合技术，首次提供了覆盖整个场景的密集真实深度真值，使得在真实世界中系统性地评估和训练深度补全方法成为可能，尤其适用于那些传感器数据不可靠但RGB图像仍保留丰富纹理线索的复杂场景。

实际应用

在实际应用中，SprayD所支持和催生的深度补全技术可直接部署于工业与服务机器人系统。通过融合单目深度先验与稀疏传感器测量，机器人能够在包含玻璃杯、塑料瓶、镜面等常见非朗伯物体的环境中获得准确且稠密的度量深度图，从而显著提升抓取姿态估计的鲁棒性、避障路径规划的可靠性以及精细操作策略的执行精度。此外，该数据集的采集流程便于扩展到大型透明物体如窗户和玻璃桌面，为智能制造、仓储物流和家庭服务等场景提供可迁移的感知基础。

衍生相关工作

SprayD数据集为深度估计算法的验证与演进提供了坚实平台，衍生了一系列代表性工作。其提出的零样本因子图优化框架AnchorD，通过局部仿射对齐将单目深度先验锚定到度量空间，无需重新训练即可跨传感器与场景泛化，成为非朗伯物体深度补全中的标杆方法。该工作启发了后续研究将因子图优化与更先进的单目深度模型如DepthAnything系列相结合，并推动了场景级度量深度对齐策略从全局缩放向自适应局部配准的转变。此外，SprayD的数据收集与真值生成流程，即喷雾融合策略，为构建真实世界密集深度基准树立了新范式，激励了更多针对复杂材质物体场景的高质量数据集构建工作。