PHEVA

PHEVA数据集由夏洛特北卡罗来纳大学创建，是一个专注于保护隐私的人类中心视频异常检测数据集。该数据集包含超过500万条记录，涵盖了室内外七个不同场景，特别设计了一个专注于执法和安全人员训练的特定情境摄像头。数据集通过去除像素信息，仅提供去标识化的人类注释，如边界框、跟踪ID和人体姿态，以保护个人隐私。PHEVA数据集的创建旨在解决视频监控中异常行为检测的问题，特别是在隐私保护和伦理考虑方面，为持续学习和异常检测算法提供了新的基准。The PHEVA dataset, created by the University of North Carolina at Charlotte, is a privacy-preserving human-centric video anomaly detection dataset. It contains over 5 million records covering seven distinct indoor and outdoor scenarios, and specially incorporates custom scenario cameras tailored for the training of law enforcement and security personnel. To safeguard personal privacy, the dataset removes pixel-level information and only provides de-identified human annotations including bounding boxes, tracking IDs, and human poses. The creation of the PHEVA dataset aims to address the challenges of abnormal behavior detection in video surveillance, particularly with regard to privacy protection and ethical considerations, and provides a new benchmark for continual learning and anomaly detection algorithms.

搜集汇总

数据集介绍

构建方式

PHEVA数据集的构建采用了七个闭路电视(CCTV)摄像头，每个摄像头分辨率为1280 × 720像素。数据采集跨越了大约5天的录制时间，从早上6点到下午6点。数据集专注于基于姿态的异常检测，排除了没有人类存在的帧。PHEVA数据集包含各种场景，包括三个户外停车场、三个不同的走廊配置和一个建筑物的入口/出口。六个摄像头(C0至C5)俯瞰正常环境，而一个特定场景的摄像头(CSC)专注于一个户外设置，其中可能发生安全人员和执法人员的培训活动。为了使数据集更加现实，我们纳入了从公共安全角度来看，应归类为异常的行为。这种纳入旨在提高VAD在现实场景中的适用性和有效性，排除了如跳跃等先前数据集中被认为异常的活动。PHEVA的个体异常行为包括扔东西、举手、躺下和摔倒。在团体情况下，异常包括打拳、踢、推、拉、用物体打和勒脖子。

特点

PHEVA数据集具有以下特点：1)隐私保护：通过移除像素信息并提供去标识化的人类注释，PHEVA数据集保护了个人信息。2)场景多样性：数据集包括七个室内/室外场景，具有一个新颖的、特定上下文的摄像头。3)数据量：提供超过5倍于最大先前数据集的标注姿态帧。4)持续录制：PHEVA是最大的持续录制的VAD数据集，提供了超过5倍于先前数据集的人类占据训练帧和4倍于先前数据集的测试帧。5)连续性：数据集包含了连续的视频录制，跨越七个不同的场景，包括室内和室外环境，以及现实世界的交通。

使用方法

使用PHEVA数据集的方法包括：1)异常标注：每个帧都被至少三个人标注和审查，以确保标签的一致性和准确性。2)人体标注：使用模型提取人体注释，并将模型噪声纳入数据中，以进行更真实的基准测试。3)性能评估：使用一系列指标对算法进行评估，包括AUC-ROC、AUC-PR、EER和10ER。4)持续学习：PHEVA数据集支持持续学习，通过引入持续学习基准，填补了传统训练和现实世界部署之间的差距。

背景与挑战

背景概述

视频异常检测（VAD）旨在识别视频中偏离正常行为的异常事件。然而，创建VAD数据集面临着人类行为多样性的挑战，异常事件的罕见性以及与人相关的数据所涉及的伦理和隐私问题。为了解决这些挑战，本文介绍了PHEVA，这是一个隐私保护的以人为本的视频异常检测数据集。通过移除像素信息并提供仅去标识化的人类注释，PHEVA保护了个人身份信息。该数据集包括七个室内/室外场景，具有一个新颖的特定上下文摄像头，并提供比之前最大的数据集多5倍的姿态注释帧。本研究使用一套全面的指标对PHEVA上的最先进方法进行了基准测试，包括首次用于异常检测的10%错误率（10ER）指标，为实际部署提供了相关的见解。作为同类中的第一个，PHEVA通过引入持续学习基准，弥合了传统训练和实际部署之间的差距，在这些基准中，模型在82.14%的情况下优于传统方法。数据集已在https://github.com/TeCSARUNCC/PHEVA.git上公开提供。

当前挑战

PHEVA数据集在解决视频异常检测领域的挑战方面具有重要意义。首先，它解决了人类行为多样性的问题，这是创建VAD数据集的主要挑战之一。其次，异常事件的罕见性和数据收集、标注过程中的伦理和隐私问题也得到了解决。PHEVA通过移除像素信息并提供仅去标识化的人类注释，保护了个人身份信息，解决了隐私问题。此外，PHEVA还引入了持续学习基准，以模拟现实世界中的分布变化，并评估模型在实际部署中的性能。最后，PHEVA通过提供超过500万帧的注释姿态序列，为持续学习和在线学习实验等新兴评估方法提供了大量数据点。这些挑战的解决为视频异常检测领域的研究和应用提供了新的可能性。

常用场景

经典使用场景

PHEVA数据集被广泛用于视频异常检测（VAD）领域，旨在识别视频中的异常事件。该数据集通过去除像素信息，仅提供去标识化的人体注释，保护个人身份信息。PHEVA包含七个室内/室外场景，每个场景都有一个独特的、针对特定上下文的摄像头，提供了比之前最大的数据集多五倍的姿态注释帧。这使得PHEVA成为评估VAD模型性能的理想平台。

解决学术问题

PHEVA数据集解决了VAD领域中的多个学术研究问题。首先，它解决了人类行为多样性和异常事件的稀有性问题。其次，PHEVA通过去标识化数据，解决了与人类为中心的数据相关的伦理和隐私问题。此外，PHEVA还提供了大量的连续记录数据，解决了数据集创建中的领域转换问题。这些问题的解决对于推动VAD领域的研究具有重要意义。

衍生相关工作

PHEVA数据集衍生了多个相关的工作。例如，基于PHEVA数据集，研究人员开发了多种基于姿态的VAD算法，如MoPRL和STGNF等。这些算法在PHEVA数据集上的性能得到了显著提高。此外，PHEVA数据集还促进了连续学习在VAD领域的应用。研究人员在PHEVA数据集上进行了连续学习实验，结果表明，连续学习方法在VAD任务中具有显著的优势。