V2X-Radar|自动驾驶数据集|多模态数据数据集

arXiv2024-11-17 更新2024-11-20 收录

自动驾驶

多模态数据

20,000条

下载链接：

http://openmpd.com/column/V2X-Radar

下载链接

资源简介：

V2X-Radar是由清华大学车辆与运载学院创建的第一个大规模真实世界多模态数据集，专注于合作感知中的4D雷达数据。该数据集包含20K LiDAR帧、40K摄像头图像和20K 4D雷达数据，涵盖了晴天、雨天等多种天气条件和白天、黄昏、夜晚等不同时间段。数据集通过连接车辆平台和智能路边单元收集，经过精心筛选和标注，包含350K个标注的3D边界框，涵盖五类目标。V2X-Radar数据集分为三个子集：V2X-Radar-C用于合作感知，V2X-Radar-I用于路边感知，V2X-Radar-V用于单车辆感知，旨在解决自动驾驶中的遮挡和感知范围有限的问题。

提供机构：

清华大学车辆与运载学院

开放时间：

2024-11-17

创建时间：

2024-11-17

原始信息汇总

V2X-Radar 数据集概述

数据集名称

V2X-Radar

数据集分类

车辆感知

相关链接

AI搜集汇总

数据集介绍

构建方式

V2X-Radar数据集通过连接车辆平台和智能路边单元进行采集，这些平台配备了4D雷达、激光雷达（LiDAR）和多视角摄像头。数据采集涵盖了多种天气条件，包括晴天和雨天，以及不同时间段，如白天、黄昏和夜晚。数据集包括20,000帧激光雷达数据、40,000张摄像头图像和20,000帧4D雷达数据，总计350,000个标注的3D边界框，涵盖五个类别。数据集被细分为三个子集：V2X-Radar-C用于合作感知，V2X-Radar-I用于路边感知，V2X-Radar-V用于单车辆感知。

特点

V2X-Radar数据集的主要特点是其多模态性和真实世界数据的广泛覆盖。它包含了三种传感器类型：激光雷达、摄像头和4D雷达，这使得研究者可以探索不同传感器在合作感知中的作用。此外，数据集涵盖了多种天气和时间条件，以及具有挑战性的交叉口场景，提供了丰富的环境感知数据。

使用方法

V2X-Radar数据集可用于多种研究任务，包括单车辆和路边的3D物体检测，以及车辆与基础设施之间的合作3D物体检测。研究者可以使用该数据集来开发和评估新的感知算法，特别是在合作感知和多模态数据融合方面。数据集还提供了详细的基准测试结果，帮助研究者比较不同方法的性能。

背景与挑战

背景概述

V2X-Radar数据集是由清华大学车辆与运载学院、中国矿业大学、北京交通大学、字节跳动和南洋理工大学联合开发的首个大规模真实世界多模态数据集，专注于合作感知领域。该数据集于2024年发布，主要研究人员包括Lei Yang、Xinyu Zhang、Jun Li等。V2X-Radar数据集的核心研究问题是如何在自动驾驶中利用4D雷达进行合作感知，以克服单车辆感知中的遮挡和感知范围限制。该数据集的发布填补了合作感知领域中4D雷达数据集的空白，对提升自动驾驶系统的安全性和鲁棒性具有重要意义。

当前挑战

V2X-Radar数据集在构建过程中面临多重挑战。首先，数据集需要解决多模态传感器（如4D雷达、激光雷达和摄像头）的同步问题，确保时间和空间维度上的数据一致性。其次，数据集在不同天气条件（如晴天、雨天）和不同时间段（如白天、黄昏、夜晚）下的数据采集，增加了数据处理的复杂性。此外，数据集还需要应对合作感知中的遮挡和感知范围限制问题，确保在复杂交通场景中的有效性。最后，数据集的标注工作涉及大量3D边界框的生成和校准，确保标注的准确性和一致性。

常用场景

经典使用场景

V2X-Radar数据集在自动驾驶领域中被广泛应用于合作感知任务。其经典使用场景包括车辆与基础设施之间的协同3D物体检测，通过整合车载和路侧的4D雷达、激光雷达和多视角摄像头数据，实现对环境的全方位感知。这种多模态数据的融合不仅扩展了感知范围，还增强了在恶劣天气条件下的感知能力，从而显著提升了自动驾驶系统的安全性和可靠性。

衍生相关工作

基于V2X-Radar数据集，研究者们开发了多种先进的合作感知算法和系统。例如，F-Cooper和V2X-ViT等方法通过融合多模态数据，显著提升了3D物体检测的精度和鲁棒性。此外，CoAlign和HEAL等框架进一步探索了如何在存在通信延迟和定位误差的情况下，实现高效的合作感知。这些工作不仅丰富了自动驾驶领域的研究内容，还为未来的技术发展提供了宝贵的经验和参考。

数据集最近研究