SENSE-VAD

SENSE-VAD是由南佛罗里达大学团队构建的首个面向自动驾驶的合成视频异常检测基准数据集，专注于社会复杂性异常场景。该数据集包含108个标注视频片段，总计约540,888帧，数据通过CARLA仿真平台与Unreal Engine在多版本引擎下生成，涵盖儿童安全、群体行为、人-物交互等6大类15个异常类别，并辅以真实世界视频片段以支持仿真到现实的迁移验证。数据创建过程采用参数化脚本控制，严格分离社会关系异常与运动统计异常，通过多样化场景配置避免模型过拟合仿真器视觉特征。该数据集旨在解决自动驾驶系统中对行人社会语境异常（如儿童远离监护人、群体追逐等）的检测盲区，推动感知系统在复杂社会交互场景下的安全预警能力。SENSE-VAD is the first synthetic video anomaly detection benchmark dataset tailored for autonomous driving, developed by a team from the University of South Florida, focusing on socially complex anomalous scenarios. This dataset includes 108 annotated video clips, totaling approximately 540,888 frames. The data is generated across multiple versions of the CARLA simulation platform and Unreal Engine, covering 15 anomalous categories under 6 major groups such as child safety, group behavior, human-object interaction and more. Real-world video clips are also supplemented to support sim-to-real transfer validation. The data creation process is controlled by parametric scripts, which strictly separate social relationship anomalies and motion statistical anomalies. Diverse scene configurations are adopted to prevent models from overfitting to the visual features of the simulator. This dataset aims to address the detection blind spots of pedestrian social context anomalies (e.g., children wandering away from guardians, group chasing, etc.) in autonomous driving systems, and promote the safety early warning capability of perception systems in complex social interaction scenarios.

原始信息汇总

数据集概述

• 名称: Anonymous Dataset Submission for peer review
• 描述: 用于同行评审的匿名上传数据集，服务于研究论文 "SENSE-VAD: Sentient and Semantic Video Anomaly Detection for Autonomous Driving"（基于感知与语义的视频异常检测在自动驾驶中的应用）。
• 资源类型: Dataset（数据集）
• 发布者: Zenodo
• DOI: 10.5281/zenodo.20955310
• 版本: v2（当前版本）
• 发布日期: 2026年6月27日
• 许可证: Apache License 2.0

文件信息

• 文件数量: 1个文件
• 总文件大小: 22.3 GB
• 包含文件:
  • SENSE_VAD_Dataset_Annotation_Generation_Code.zip
    • 大小: 22.3 GB
    • MD5校验码: 514fcbe780485f907ceb975bc8b35acd

其他信息

• 可用日期: 2026年6月26日
• 历史版本:
  • v2（当前版本）: DOI 10.5281/zenodo.20955310
  • v1: DOI 10.5281/zenodo.20947278
• 引用所有版本DOI: 10.5281/zenodo.20947277

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，现有异常检测数据集多聚焦于基于运动统计或事故结果的车辆异常，鲜少涉及社会性复杂异常。为此，SENSE-VAD数据集应运而生，其构建依托于CARLA模拟器与虚幻引擎，跨越UE4与UE5两个版本，以生成包含15种异常类别、涵盖6大概念的108个带逐帧二值标注的视频剪辑。构建的核心原则在于将社会性异常与运动或外观异常相分离，通过脚本化场景控制智能体布局、相机参数、天气与时间，确保每个异常场景在运动上看似正常，却在关系语境中呈现异常，并配以真实世界视频作为仿真到现实的迁移探针。

使用方法

使用SENSE-VAD数据集时，研究者可将其作为视频异常检测模型的基准测试平台，尤其适用于评估模型对社会性异常的理解能力。数据集提供逐帧二值标签，支持半监督、弱监督、无监督及无训练推理四种监督范式的评估。建议采用帧级AUC作为主要评价指标，并利用其包含的匹配正负样本对进行逐类异常定位分析。同时，通过真实世界剪辑验证模型从仿真到现实的迁移效果，避免模型仅拟合模拟器视觉特征。数据集的参数化生成脚本亦可供用户扩展新场景。

背景与挑战

背景概述

SENSE-VAD 数据集由南佛罗里达大学的研究团队于 2026 年创建，旨在填补自动驾驶领域中社会性复杂异常检测的空白。现有数据集如 DoTA、DADA 和 CADP 主要聚焦于车辆运动学异常或事故后分析，忽视了由智能体间社会关系定义的异常场景，例如儿童脱离监护人、人员被挟持或追逐行为。该数据集基于 CARLA 模拟器和虚幻引擎生成，涵盖 15 种异常类别、6 大概念范畴，包含 108 个视频片段及超过 54 万帧带帧级标注的数据。其核心创新在于将社会性异常与基于运动统计的异常明确分离，为自动驾驶感知系统提供了首个专门针对社会性复杂场景的基准测试平台，对推动长尾场景下的感知鲁棒性研究具有重要意义。

当前挑战

SENSE-VAD 所解决的领域挑战在于，现有视频异常检测方法在识别社会性复杂异常时表现严重不足。此类异常的危险源于智能体间的社会关系而非运动统计学特征，例如一个儿童正常奔跑但脱离监护人的场景，其运动信号完全正常，却构成社会性异常。在构建过程中，研究团队面临多重挑战：首先，需确保每个异常场景的运动统计特征与正常场景难以区分，这对场景设计与仿真精度提出极高要求；其次，单一 CARLA 版本无法支持全部 15 类异常所需的骨骼控制、多智能体交互与动物运动模拟，必须跨版本使用多个引擎构建；此外，还需避免模型学习到模拟器特有的视觉伪影，因此引入真实世界视频片段作为领域迁移探针，并设计行为匹配的正常对照片段。

常用场景

经典使用场景

SENSE-VAD数据集的核心使用场景在于评估和推动自动驾驶感知系统对社会复杂异常事件的检测能力。与传统的基于运动统计或外观异常的基准不同，该数据集旨在捕捉那些仅通过分析个体运动模式难以识别的危险情境，例如儿童脱离监护人奔跑、人群无序涌入车行道、成年人强行抱走儿童等。这些事件的危险性根植于智能体之间的社会关系与行为语境，而非单纯的轨迹异常。研究者可通过该数据集测试现有视频异常检测模型在动态多变的城市驾驶环境中的泛化性能，尤其是在面对依赖关系推理而非运动信号的挑战时。

解决学术问题

SENSE-VAD致力于解决现有自动驾驶异常检测研究中一个根本性的缺失：即缺乏能够定义和系统标注社会关系异常的数据资源。已有的数据集如DADA、DoTA和CODA多聚焦于车辆碰撞、静态障碍物或单一物体的轨迹异常，而忽略了那些由人际间交互所引发的潜在危险。该数据集首次从自车视角出发，构建了涵盖15个异常类别、六大概念分类的社会复杂异常测试基准，系统性地分离了社会异常与运动统计异常。研究表明，现有最先进的视频异常检测方法在该数据集上的表现均未超过57%的AUC，揭示了当前技术在处理依赖社会关系推理的异常场景时存在结构性盲区，从而推动了以关系感知为核心的新方法论发展。

实际应用

在实际应用中，SENSE-VAD为自动驾驶系统的安全部署提供了一条验证社会感知能力的关键路径。其模拟生成的高保真异常场景可直接用于训练和评估车辆在真实道路中面对复杂人际交互时的风险预警模块。例如，系统需要能够判别一名儿童是正向道路奔跑还是背向离开，是独自一人还是由家长陪伴，这直接影响到车辆应采取的减速、避让或保持原速等决策。数据集还专门设计了模拟到现实迁移的测试探针，包含真实世界中志愿者演绎的异常行为片段，从而确保在仿真环境中训练出的模型能够有效迁移至实车部署场景，提升自动驾驶系统在长尾风险事件中的鲁棒性与安全性。

数据集最近研究

最新研究方向

当前，面向自动驾驶的视频异常检测研究正从传统的运动统计异常转向社交关系复杂异常。SENSE-VAD数据集首次系统性地构建了基于社会交互的异常分类体系，涵盖儿童安全、群体行为、人物互动等六类十五种细粒度场景，强调异常本质源于智能体间的关系配置而非孤立运动轨迹。该数据集的出现回应了2026年Waymo因未能识别封闭施工区等长尾场景而大规模召回的行业痛点，揭示了现有感知系统对社会语境的理解盲区。通过11种前沿方法的全面评测，研究发现当前最先进的视觉语言模型在社交异常检测上仍近乎随机猜测，表明该方向构成了一个亟待突破的独立技术挑战。此工作为构建能够预判而非事后响应社交异常的新型自动驾驶感知系统提供了关键的基准平台。

相关研究论文

• SENSE-VAD: Sentient and Semantic Video Anomaly Detection for Autonomous Driving

  南佛罗里达大学 · 2026年