Multi-modal Perception Dataset of In-water Objects for Autonomous Surface Vehicles

本数据集名为‘Multi-modal Perception Dataset of In-water Objects for Autonomous Surface Vehicles’，由达特茅斯学院计算机科学系创建，专注于海洋环境中水下障碍物的多模态感知数据，旨在提升自主水面船只（ASVs）的态势感知能力。数据集包含10,906帧同步的LiDAR点云和RGB图像，涵盖多种环境条件下的不同水下物体。创建过程中，使用了自主水面船只和人工驾驶船只，在不同地点进行数据收集。该数据集适用于海洋自主导航中的物体检测和分类研究，有助于推动海洋自主技术的发展。This dataset, named "Multi-modal Perception Dataset of In-water Objects for Autonomous Surface Vehicles", was developed by the Department of Computer Science at Dartmouth College. It focuses on multi-modal perception data of underwater obstacles in marine environments, aiming to enhance the situational awareness capabilities of Autonomous Surface Vehicles (ASVs). The dataset contains 10,906 frames of synchronized LiDAR point clouds and RGB images, covering various underwater objects across diverse environmental conditions. During its development, data was collected at multiple locations using both autonomous surface vehicles and manually piloted vessels. This dataset is applicable to research on object detection and classification in marine autonomous navigation, and helps advance the development of marine autonomous technologies.

搜集汇总

数据集介绍

构建方式

在海洋机器人学领域，多模态感知数据的稀缺长期制约着自主水面载具（ASV）的感知能力发展。为填补这一空白，该数据集通过搭载定制化传感器平台的ASV及人工驾驶船只，于2021至2024年间在美国、巴巴多斯和韩国的不同水域（海水与淡水）系统采集数据。采集过程覆盖昼夜交替、黎明黄昏等多种光照条件，以及正面相遇、交叉航行等多种遭遇场景。传感器配置包含64线激光雷达与全高清RGB相机，通过机器人操作系统（ROS）实现时间同步记录，并利用开源工具与人工审核相结合的方式，对激光雷达点云与图像中的船舶、浮标及其他水上障碍物三类目标进行精细标注，最终形成包含10,906帧同步数据的高质量多模态数据集。

特点

该数据集作为首个面向水上障碍物感知的公开多模态数据集，其核心特征体现在多维度的复杂性与代表性。数据采集跨越广阔地理范围与多样水文环境，囊括了不同尺寸、类型的动态与静态水上目标，并在多种光照与气象条件下获取，确保了场景的丰富性与真实性。数据集创新性地引入了一系列针对海洋领域定制的量化评估指标，如图像熵、鸟瞰图熵（BEVE）与距离变异性熵（DVE），从亮度、目标密度、遮挡比例、空间分布等多个维度系统刻画数据集的难度与复杂性。这些特征不仅为算法训练提供了充分的多样性，也为客观评估感知模型在真实海洋环境中的鲁棒性奠定了坚实基础。

使用方法

该数据集旨在为自主水面载具的感知算法研发与性能评估提供标准化的基准平台。研究者可利用其提供的同步激光雷达点云与RGB图像数据，开展水上目标检测、分类等关键感知任务的模型训练与验证。数据集配套发布了完整的分析工具链，支持用户基于YOLOv5、PointPillar等已在陆地领域验证成功的先进深度学习模型进行迁移学习与微调。通过应用数据集定义的多维度评估指标，研究者能够定量分析算法在不同环境复杂度、目标可见度及空间分布下的性能表现，从而推动适用于复杂非结构化水域的鲁棒性感知算法的创新与发展。

背景与挑战

背景概述

随着自主水面载具在环境监测与自动化运输等领域的应用日益广泛，提升其在水域环境中的情境感知能力成为关键研究议题。在此背景下，达特茅斯学院等机构的研究团队于2024年发布了首个面向自主水面载具的多模态感知数据集，专注于水体内障碍物的检测与分类。该数据集通过搭载于自主及人工驾驶船只的激光雷达与RGB相机，采集了2021年至2024年间在美国、巴巴多斯及韩国等多个水域环境下的同步多模态数据，涵盖不同光照条件与航行场景。其核心目标在于填补海洋机器人领域缺乏公开、标注完善的多模态感知数据的空白，为基于监督学习的感知算法开发提供关键支撑，进而推动海洋自主系统的技术发展。

当前挑战

该数据集致力于解决自主水面载具在水域环境中进行目标检测与分类时所面临的独特挑战。水域环境具有非结构化导航特性与载具机动性受限等特点，使得早期准确估计水中障碍物状态成为确保航行安全的核心难题。此外，数据构建过程亦面临显著挑战：多模态传感器的时间同步与标定需在动态水域环境中保持精确；数据标注需应对水体反射、波浪干扰及目标尺度多变等复杂因素，标注一致性难以维持；同时，覆盖多样地理环境与气象条件的数据采集成本高昂，且缺乏现有成熟标注工具的直接适配，进一步增加了数据集构建的复杂度与资源投入。

常用场景

经典使用场景

在海洋机器人学领域，自主水面载具的感知能力是其实现安全导航的核心前提。该数据集通过提供同步的激光雷达点云与RGB图像数据，为研究人员构建多模态感知模型奠定了坚实基础。其经典应用场景聚焦于水面障碍物的实时检测与分类，尤其在复杂多变的海洋环境中，如港口、湖泊及开阔海域，数据集涵盖的昼夜交替、不同能见度条件为算法鲁棒性验证提供了关键支撑。通过端到端的深度学习框架，研究者能够利用该数据集训练模型，实现对船舶、浮标及其他水上物体的精准识别，从而提升自主系统的情境感知能力。

衍生相关工作

该数据集的发布催生了一系列围绕海洋多模态感知的衍生研究。经典工作包括基于点云与图像融合的三维目标检测框架的适应性改进，例如将PointPillar等点云编码器与YOLOv5等图像检测器进行跨模态特征对齐。同时，研究者利用该数据集探索了针对水面物体特性的新型网络架构，如专门处理波浪干扰或远距离小目标的检测头设计。在领域自适应方面，相关工作致力于将陆地预训练模型通过迁移学习有效适配至海洋场景，并在此基础上提出了针对水面反射、雾气遮挡等挑战的鲁棒性增强方法。

数据集最近研究

最新研究方向

随着自主水面载具在环境监测与自动化运输等领域的应用日益广泛，提升其在水域环境中的态势感知能力成为海洋机器人学的核心挑战。Multi-modal Perception Dataset of In-water Objects for Autonomous Surface Vehicles作为首个公开的多模态感知数据集，填补了海洋自主导航领域缺乏高质量标注数据的空白。该数据集通过融合激光雷达点云与RGB图像，并涵盖多样化的水域环境与光照条件，为深度学习算法提供了关键的训练与验证基础。当前研究前沿聚焦于多模态数据融合下的目标检测与分类，旨在克服水域非结构化环境带来的感知难题，推动鲁棒性自主导航系统的开发。这一数据集的发布不仅加速了海洋自主技术管道的进步，也为应对全球海洋贸易增长背景下的安全航行需求提供了重要支撑。

相关研究论文

• Multi-modal Perception Dataset of In-water Objects for Autonomous Surface Vehicles

  达特茅斯学院计算机科学系 · 2024年