SEVD

SEVD是一个创新的合成事件基础视觉数据集，由亚利桑那州立大学创建，专为自主驾驶和交通监控任务设计。该数据集包含27小时的固定感知数据和31小时的自我感知数据，总计超过900万个边界框，覆盖多种环境和不同参数。SEVD利用CARLA模拟器记录数据，涵盖城市、郊区、乡村和高速公路场景，以及多种光照和天气条件。此外，数据集还包括RGB图像、深度图、光流、语义和实例分割，以及GNSS和IMU数据，为场景理解提供全面支持。SEVD的应用领域包括交通参与者检测和自主驾驶系统的评估，旨在解决动态视觉数据处理和实时响应的挑战。SEVD is an innovative synthetic event-based visual dataset developed by Arizona State University, specifically tailored for autonomous driving and traffic monitoring tasks. This dataset includes 27 hours of stationary perception data and 31 hours of ego-centric perception data, with over 9 million bounding boxes in total, covering diverse environments and varying parameters. SEVD collects data using the CARLA simulator, encompassing urban, suburban, rural, and highway scenarios, as well as diverse lighting and weather conditions. Furthermore, the dataset provides RGB images, depth maps, optical flow, semantic and instance segmentation data, along with GNSS and IMU data, offering comprehensive support for scene understanding. The application domains of SEVD cover traffic participant detection and autonomous driving system evaluation, with the goal of addressing the challenges in dynamic visual data processing and real-time response.

搜集汇总

数据集介绍

构建方式

在自动驾驶与交通监控领域，事件相机因其高动态范围与低功耗特性备受关注，然而真实与合成事件数据集的稀缺限制了相关研究。SEVD数据集通过CARLA仿真平台构建，采用多视角动态视觉传感器，覆盖了城市、郊区、乡村及高速公路等多种场景。数据采集过程中，模拟了不同光照条件（如正午、夜晚、黄昏）与天气状况（如晴朗、多云、雨天、雾天），并引入了离散与连续的域偏移，以增强数据的多样性与真实性。同步记录的事件流以⟨x, y, p, t⟩元组形式保存，同时辅以RGB图像、深度图、光流、语义及实例分割等多模态数据，确保了场景的全面表征。

特点

SEVD数据集作为首个同时包含自车与固定感知视角的合成事件视觉数据集，其显著特点在于多视角覆盖与丰富环境多样性。自车感知配置了六台事件相机，提供360度全景视野；固定感知则通过四台相机捕捉交叉口等多视角场景。数据集总计包含58小时事件数据，涵盖超过900万二维与三维边界框标注，支持COCO、Pascal VOC及KITTI等多种格式。此外，数据集融合了GNSS与IMU等辅助传感器数据，增强了驾驶场景的上下文信息。这种多模态、多条件的组合为算法在复杂动态环境中的鲁棒性评估提供了坚实基础。

使用方法

SEVD数据集适用于自动驾驶与交通监控中的多种感知任务，如目标检测、跟踪与轨迹预测。研究人员可利用其原始事件流（.npz格式）及对应的多模态数据，开发与评估事件基于的视觉算法。数据集已按70%训练、15%验证与15%测试的比例划分，确保各类场景与条件的均衡代表。基准实验表明，该数据集支持事件基于架构（如RED、RVT）与帧基于方法（如YOLOv8）的性能评估，并可通过泛化实验验证合成数据在真实场景中的迁移能力。数据集的开放访问与完整标注框架为领域内算法创新与系统优化提供了重要资源。

背景与挑战

背景概述

在自动驾驶与智能交通系统领域，传统RGB相机在动态范围、功耗及高速运动场景感知方面存在固有局限。事件相机作为一种仿生视觉传感器，凭借其高动态范围、微秒级时间分辨率与低功耗特性，为复杂环境下的实时感知提供了革新性解决方案。为应对真实世界事件数据稀缺的挑战，亚利桑那州立大学的研究团队于2024年推出了SEVD数据集。该数据集利用CARLA仿真平台，首次同步构建了多视角的车辆自主视角与固定交通监控视角合成事件数据，涵盖城市、郊区、乡村及高速公路等多种场景，并集成光照、天气及连续域偏移等多样化条件。SEVD不仅提供原始事件流，还包含RGB图像、深度图、光流、语义与实例分割等多模态数据，并附带超过900万2D与3D边界框标注，为事件视觉在自动驾驶感知任务中的算法开发与评估奠定了重要基础。

当前挑战

SEVD数据集致力于解决事件视觉在自动驾驶与交通监控领域的关键挑战。在领域问题层面，首要挑战在于提升动态与极端光照条件下交通参与者的检测与跟踪鲁棒性，传统帧式传感器在此类场景中易出现过曝、运动模糊或信息缺失。其次，需克服事件数据异步稀疏特性带来的特征表达与模型架构设计难题，以实现高效精准的实时感知。在构建过程中，团队面临多重挑战：一是如何在仿真环境中逼真模拟事件相机的响应机制，确保合成事件数据在时序一致性、噪声模式上与真实传感器输出具有高度可比性；二是需设计复杂的多传感器同步与标定流程，以融合事件流与RGB、深度等多模态数据，并生成大规模、高质量且格式统一的标注；三是必须构建涵盖连续域偏移与多样化环境条件的场景序列，以充分验证模型在未见场景中的泛化能力与稳健性。

常用场景

经典使用场景

在自动驾驶与智能交通系统研究领域，事件相机凭借其高动态范围与微秒级时间分辨率，为应对复杂动态环境提供了新的感知范式。SEVD数据集作为首个同时提供自车与固定视角的合成事件视觉数据集，其经典使用场景聚焦于多视角交通参与者检测任务。该数据集通过CARLA仿真器构建，涵盖了城市、郊区、高速公路及乡村等多种道路场景，并集成了六类交通目标（车辆、卡车、行人等）的丰富标注。研究者可利用其同步提供的事件流、RGB图像、深度图及光流等多模态数据，系统评估事件基检测算法（如RED、RVT）与传统帧基方法（如YOLOv8）在昼夜交替、雨雾天气等挑战性条件下的性能表现，为算法鲁棒性研究奠定基准。

解决学术问题

事件视觉研究长期面临真实数据稀缺、标注成本高昂且环境多样性不足的瓶颈。SEVD数据集通过大规模合成数据生成，有效缓解了上述问题。其核心学术价值在于为事件相机在自动驾驶感知任务中的算法开发与验证提供了标准化测试平台。该数据集解决了多类关键研究问题：其一，支持事件流表征学习与目标检测模型的训练与评估；其二，通过提供连续域偏移（如从正午到夜晚的光照渐变）与离散环境条件组合，助力模型泛化与域适应研究；其三，凭借同步多传感器数据（包括语义与实例分割），促进多模态融合与跨模态学习方法的探索。这些贡献显著推动了神经形态视觉在动态交通场景中的理论进展与应用深化。

衍生相关工作

SEVD数据集的发布催生并支撑了事件视觉领域一系列经典研究工作的延伸。在检测任务上，其建立的RED、RVT等事件基检测器基准，推动了后续如稀疏-稠密互补学习、尖峰Transformer等新型架构的演进。在跨任务泛化方面，数据集丰富的标注（包括2D/3D边界框、实例分割与光流）为多任务学习提供了统一平台，衍生出基于事件流的跟踪、重识别及轨迹预测等关联研究。例如，利用其多视角与连续时序特性，研究者可开发应对遮挡的长时目标跟踪算法；其合成到真实的域适应评估框架，则激发了关于事件数据模拟逼真度与跨域泛化能力的研究分支。这些工作共同构成了以SEVD为基础的事件视觉算法生态，持续推动该领域向更复杂的实际应用场景拓展。