Pedestrian Anomaly Behavior (PAB)

Pedestrian Anomaly Behavior (PAB) 数据集由西安交通大学、合肥工业大学和澳门大学联合创建，旨在支持基于文本的行人异常行为搜索任务。该数据集包含1,013,605个合成图像-文本对和1,978个真实世界图像-文本对，涵盖了广泛的正常和异常行为，如跑步、表演、踢足球以及相应的异常行为如躺下、被击中和跌倒。数据集的创建过程包括使用生成模型合成图像和通过多模态大语言模型生成文本描述，确保了数据集的多样性和真实性。PAB数据集主要应用于智能城市、安全监控和个性化服务等领域，旨在解决在实际场景中识别行人异常行为的关键问题。Pedestrian Anomaly Behavior (PAB) Dataset was jointly developed by Xi'an Jiaotong University, Hefei University of Technology, and University of Macau, with the aim of supporting text-based pedestrian anomaly behavior retrieval tasks. This dataset consists of 1,013,605 synthetic image-text pairs and 1,978 real-world image-text pairs, covering a wide spectrum of normal and abnormal pedestrian behaviors, including normal behaviors such as running, performing, and playing football, as well as corresponding abnormal behaviors like lying down, being struck, and falling over. The construction of the PAB dataset involves synthesizing images using generative models and generating text descriptions via multimodal large language models, which ensures the diversity and authenticity of the dataset. The PAB dataset is primarily applied in fields such as smart cities, security surveillance, and personalized services, and it aims to address the critical challenge of pedestrian anomaly behavior recognition in real-world scenarios.

搜集汇总

数据集介绍

构建方式

为了满足现实世界中对异常行为识别的需求，我们构建了大规模的行人异常行为（Pedestrian Anomaly Behavior, PAB）数据集。该数据集的训练集包含1,013,605个合成的图像-文本对，涵盖了正常和异常行为。测试集则包含1,978个从真实世界视频中提取的图像-文本对。通过使用生成模型（如扩散模型），我们合成了训练数据，确保了数据的多样性和真实性。同时，我们利用多模态大语言模型（MLLM）自动生成详细的文本描述，并进行人工质量控制，以确保测试集的高质量。

使用方法

PAB数据集可用于训练和评估基于文本的行人异常搜索模型。研究人员可以使用该数据集来开发和验证新的算法，特别是在跨模态行人异常行为识别领域。通过结合图像和文本信息，模型可以学习到行人的外观和行为特征，从而在实际场景中有效地识别异常行为。此外，数据集的详细标注和高质量的合成数据为模型的泛化能力和鲁棒性提供了有力支持。

背景与挑战

背景概述

Pedestrian Anomaly Behavior (PAB)数据集由西安交通大学、合肥工业大学和澳门大学的研究人员共同创建，旨在解决文本描述下的行人异常行为搜索问题。该数据集的构建始于对现有文本描述行人搜索数据集的局限性的认识，这些数据集主要关注常见的行走或站立行为，而忽略了现实场景中对异常行为的识别需求。PAB数据集通过结合自然语言描述和图像，涵盖了广泛的正常和异常行为，如跑步、表演、踢足球以及相应的异常行为，如摔倒、被击中和跌落。该数据集包含1,013,605个合成的图像-文本对用于训练，以及1,978个真实世界的图像-文本对用于测试，旨在为训练和评估文本描述下的行人异常行为搜索任务提供一个大规模的基准。

当前挑战

PAB数据集面临的挑战主要包括两个方面：一是解决领域问题的挑战，即如何通过文本描述准确识别行人的异常行为，这在实际应用中对安全事件追踪、应急响应等具有重要意义；二是构建过程中遇到的挑战，包括合成数据的真实性、多样性以及与真实世界数据的匹配度。此外，数据集的构建还需要克服异常行为数据稀缺的问题，以及确保合成数据与真实数据在行为描述上的高度一致性。这些挑战要求研究者在数据生成、标注和模型训练等方面进行创新，以提升模型的识别精度和泛化能力。

常用场景

经典使用场景

Pedestrian Anomaly Behavior (PAB)数据集的经典使用场景主要集中在基于文本的行人异常行为搜索任务中。该数据集通过结合自然语言描述和图像信息，旨在从大规模候选集中定位执行正常或异常行为的行人。具体应用包括在智能城市、安全和个性化服务等用户交互应用中，通过文本描述检索特定行人，特别是在图像查询不可用或难以获取的情况下。

解决学术问题

PAB数据集解决了传统基于文本的行人搜索任务中常见的偏见问题，即过度关注如行走或站立等常见行为，而忽视了现实场景中识别异常行为的重要性。通过引入大量包括跑步、表演、踢足球等正常行为和跌倒、被击中、摔倒等异常行为的图像-文本对，PAB数据集为模型提供了更丰富的行为多样性，从而提高了模型在识别异常行为方面的泛化能力和适用性。

实际应用

PAB数据集在实际应用中具有广泛的前景，特别是在需要快速响应和干预的紧急情况和安全场景中。例如，在监控视频中检测到行人跌倒、袭击或事故等异常行为时，系统可以立即发出警报，以便及时采取行动。此外，该数据集还可用于个性化服务，如通过文本描述在大型图像数据库中检索特定行人，提升用户体验和系统效率。

数据集最近研究

最新研究方向

在行人异常行为识别领域，Pedestrian Anomaly Behavior (PAB) 数据集的最新研究方向主要集中在文本驱动的行人异常搜索任务上。该任务通过自然语言描述来定位参与常规或异常活动的行人，强调对行人异常行为的识别，这与现实世界中的紧急和安全需求紧密相关。研究者们构建了一个大规模的图像-文本基准，包含1,013,605个合成图像-文本对和1,978个真实世界图像-文本对，涵盖广泛的行动和异常情况。此外，提出了一种跨模态姿态感知框架，结合人体姿态模式和基于身份的硬负样本采样，以提高对正常和异常行为的区分能力。实验结果表明，合成训练数据显著提升了真实世界测试集上的细粒度行为检索性能，进一步验证了该方法在识别异常行为方面的有效性。

相关研究论文

• Beyond Walking: A Large-Scale Image-Text Benchmark for Text-based Person Anomaly Search

  西安交通大学, 合肥工业大学, 澳门大学 · 2024年