3DRef

3DRef数据集由上海科技大学自动化与机器人中心创建，包含超过51,800个样本，涵盖多返回激光雷达、RGB图像及2D/3D语义标签，适用于室内环境中的反射检测。数据集通过纹理3D网格实现自动点云标注，精确标注不同反射表面类型。该数据集推动了反射检测技术的发展，特别是在机器人和自主系统中的3D映射和感知领域，解决了玻璃和镜子等反射表面带来的挑战。The 3DRef dataset was developed by the Center for Automation and Robotics at ShanghaiTech University. It comprises over 51,800 samples, covering multi-return LiDAR data, RGB images, and 2D/3D semantic labels, and is designed for reflection detection tasks in indoor environments. The dataset enables automatic point cloud annotation via textured 3D meshes, facilitating precise labeling of various reflective surface types. This dataset has advanced the development of reflection detection technologies, particularly in the fields of 3D mapping and perception for robotics and autonomous systems, addressing the challenges posed by reflective surfaces such as glass and mirrors.

搜集汇总

数据集介绍

构建方式

在机器人感知领域，反射表面检测长期面临数据匮乏的挑战。3DRef数据集通过集成多传感器平台构建，该平台搭载了Ouster OS0-128、Livox Avia和Hesai Pandar QT64三款激光雷达以及Insta360全景相机。数据采集采用手持方式在多样化的室内环境中进行，涵盖走廊、办公室等包含大量玻璃、镜面及其他反光物体的场景。通过高精度同步协议与在线标定算法，实现了多模态数据的时空对齐。标注工作基于激光扫描生成的纹理化三维网格展开，研究人员在网格纹理上手动标注了玻璃、镜面及其他反光物体类别，随后通过光线投射技术将网格标签自动映射到数万个对齐的激光雷达点云与RGB图像上，形成了精确的全局真值。

使用方法

该数据集为反射检测算法的开发与评估提供了标准化基准。研究者可直接使用其提供的SemanticKitti格式点云数据及分割好的RGB图像与掩码进行模型训练与测试。数据集已对点云和图像数据进行了训练集与测试集的划分，并附带了处理脚本与在数据集上预训练的模型权重，便于开展开箱即用的性能评估。对于激光雷达方法，可探索利用点云几何特征及多回波通道信息进行反射点识别与分类；对于视觉方法，则可基于RGB图像训练或微调现有的玻璃与镜面检测网络。数据集的全局对齐特性也支持进行多模态融合方法的研究，例如结合激光雷达的几何鲁棒性与相机的丰富纹理信息。通过该基准测试，能够系统比较不同传感器与算法在复杂反射环境下的性能表现。

背景与挑战

背景概述

反射表面在机器人及自主系统的三维建图与感知中构成持续挑战，而现有反射数据集多局限于稀疏的二维数据。2024年，上海科技大学自动化与机器人中心的赵西廷与Sören Schwertfeger在国际三维视觉会议上提出了首个大规模三维反射检测数据集3DRef。该数据集包含超过五万个对齐样本，涵盖多回波激光雷达、RGB图像及二维与三维语义标签，覆盖多样室内环境中的各类反射表面。通过纹理三维网格真值实现自动点云标注，为玻璃、镜子及其他反射物体提供精确注释。3DRef的推出填补了三维反射检测领域的数据空白，为多模态感知研究提供了全面测试平台，显著推动了反射检测技术的进步。

当前挑战

反射检测的核心挑战在于准确识别与处理三维空间中的镜面及透明表面，这些表面常导致激光雷达产生虚影点或缺失数据，进而引发建图与导航故障。现有方法多依赖二维图像或单一模态，难以应对复杂三维环境中的多路径反射与材料多样性。在数据集构建过程中，面临多传感器同步校准、大规模三维标注生成以及反射类型多样性覆盖等难题。例如，不同激光雷达的回波特性差异显著，需通过精密的时间同步与在线标定技术实现数据对齐；同时，手动标注反射表面耗时且易错，需借助网格真值与射线投射实现自动化标注，确保标签的精确性与一致性。

常用场景

经典使用场景

在机器人感知与三维视觉领域，反射表面如玻璃和镜面常导致传感器数据出现幻影点或空洞，严重影响建图与导航的可靠性。3DRef数据集通过提供大规模、多模态的室内环境数据，成为评估反射检测算法的经典测试平台。其典型应用场景包括利用多回波激光雷达点云与RGB图像，训练和验证深度学习模型以识别玻璃、镜面及其他反光物体，从而提升移动机器人在办公走廊、会议室等复杂室内场景中的环境理解能力。

解决学术问题

该数据集有效解决了反射检测研究中长期存在的若干关键问题。传统方法多局限于二维图像或稀疏点云，缺乏精确的三维标注与多传感器对齐数据。3DRef通过提供超过五万个对齐的激光雷达点云、RGB图像及语义标签样本，并借助纹理三维网格实现自动点云标注，为学术界提供了首个大规模三维反射检测基准。这不仅推动了多回波激光雷达数据分析方法的发展，还弥合了二维视觉与三维几何感知之间的鸿沟，显著提升了反射表面检测的精度与鲁棒性。

实际应用

在实际部署中，3DRef数据集直接服务于各类自主系统的环境感知模块。例如，室内服务机器人可利用该数据集训练的模型，准确识别玻璃门、镜面墙及反光显示屏，避免因幻影障碍物导致的路径规划失败。仓储物流机器人则能借助反射检测能力，在充满玻璃隔断或金属货架的环境中实现精准定位与导航。此外，该数据集还可用于增强自动驾驶车辆在城区玻璃幕墙环境下的感知安全性，推动反射处理技术在工业检测、智能家居等领域的落地应用。

数据集最近研究

最新研究方向

在机器人感知与三维视觉领域，反射表面的检测一直是实现可靠环境理解的关键挑战。3DRef数据集作为首个大规模多模态三维反射检测基准，其前沿研究聚焦于利用多回波激光雷达与RGB数据的融合，以提升对玻璃、镜子等反射材质的识别精度。当前热点探索方向包括：基于多回波点云的模式分析，通过激光束的入射角与回波序列解析反射与透射现象；结合深度学习网络，如Cylinder3D与SATNet，在跨模态数据上进行端到端的反射表面分割；以及通过领域自适应训练，缩小现有模型与真实复杂反射场景之间的性能差距。该数据集的推出，不仅推动了室内自主机器人导航与建图技术的进步，也为透明及高反射材质的三维语义理解奠定了实证基础，具有显著的学术与工程应用价值。

相关研究论文

• 3DRef: 3D Dataset and Benchmark for Reflection Detection in RGB and Lidar Data

  上海科技大学自动化与机器人中心 · 2024年