Physics Anomaly Detection (Phys-AD)

Physics Anomaly Detection (Phys-AD)数据集是由上海科技大学等机构创建的第一个大规模、现实世界、基于物理的视频数据集，用于工业异常检测。该数据集包含22个类别的49个对象与机器人臂和电机交互的6400多个视频，展示了47种异常类型。数据集通过真实的机器人臂和电机收集，捕捉了机器人臂或电机与工业对象之间的交互过程，旨在推动视觉推理和物理知识结合的异常检测算法的发展。The Physics Anomaly Detection (Phys-AD) dataset is the first large-scale, real-world, physics-based video dataset for industrial anomaly detection, created by institutions including ShanghaiTech University. It contains over 6,400 videos of 49 objects interacting with robot arms and motors across 22 categories, showcasing 47 types of anomalies. Collected via real robot arms and motors, the dataset captures the interaction processes between robot arms or motors and industrial objects, aiming to promote the development of anomaly detection algorithms that integrate visual reasoning and physical knowledge.

搜集汇总

数据集介绍

构建方式

Physics Anomaly Detection (Phys-AD) 数据集通过使用真实的机械臂和电机收集数据，涵盖了22个类别中的49种不同物理性质的对象，以及与这些对象交互时出现的47种异常类型。数据集包含了6400多个视频，每个视频长度从60到240帧不等，以实时工业环境为背景，完整地捕捉了机械臂或电机与工业对象之间的交互过程。数据收集过程中，根据不同对象的物理性质，选择了不同的交互方式，如推动、旋转、拉动等，以确保数据集能够反映现实世界中的复杂物理规则和动态交互。数据集还包含了对测试集中每种异常类型的文本描述和物理原因解释，为评估视觉语言模型的能力提供了基础。

特点

Phys-AD 数据集的主要特点在于其物理基础的视频内容，以及需要结合物理知识和视频内容来判定对象异常性的视觉推理要求。数据集涵盖了广泛的物理对象和交互方式，如金属、塑料、流体、非晶态物质和关节对象等，以及推动、旋转、拉动等不同的交互模式。此外，数据集还包含了多种异常类型，如泄漏、错位、裂缝等，这些异常类型需要结合整个视频内容和物理先验知识来判断。Phys-AD 数据集的这些特点使其成为工业异常检测领域的一个重要基准。

使用方法

使用 Phys-AD 数据集进行异常检测的方法主要分为三个步骤。首先，使用机器人臂和电机与训练集中的对象进行交互，获取交互过程的视频序列。然后，将视频序列和对应类别的物理先验知识输入到一个推理函数中，以获得正常规则。最后，在测试阶段，使用机器人臂和电机与测试集中的对象进行交互，获取交互过程的视频序列，并将该序列和之前获得的正常规则输入到一个推理器中，以预测对象的异常得分。此外，Phys-AD 数据集还引入了一个名为 Physics Anomaly Explanation (PAEval) 的指标，用于评估视觉语言模型在物理推理方面的能力。PAEval 指标从分类、描述和解释三个方面对模型的异常检测性能进行评估，为模型的物理推理能力提供了全面的评估。

背景与挑战

背景概述

在工业自动化领域，异常检测是计算机视觉和工业自动化研究的关键子领域，旨在制造过程中识别产品中的缺陷或不规则性。传统的工业异常检测算法主要在静态、语义简单的数据集上进行开发和测试，这与现实世界中物理理解和推理的必要性相去甚远。为了弥合这一差距，Wenqiao Li等人于2025年3月介绍了Physics Anomaly Detection (Phys-AD)数据集，这是第一个大规模、真实世界的基于物理的视频数据集，专门用于工业异常检测。该数据集包含超过6400个视频，涵盖22个真实世界的物体类别，与机器人手臂和电机相互作用，并展示了47种异常类型。Phys-AD要求视觉推理，结合物理知识和视频内容来确定物体的异常性，对相关领域产生了深远的影响。

当前挑战

Phys-AD数据集面临的挑战包括：1) 所解决的领域问题是工业异常检测，特别是在动态、真实世界的场景中，需要物理理解和推理来识别异常。2) 构建过程中遇到的挑战包括收集大量多样化的真实世界物理场景数据，以及如何有效地标注和解释异常。为了解决这些挑战，Phys-AD数据集采用了多种交互方法，并引入了Physics Anomaly Explanation (PAEval)指标来评估视觉语言模型在物理推理方面的能力。

常用场景

经典使用场景

Phys-AD 数据集主要用于工业异常检测，特别是针对那些需要理解物理规律和交互推理的复杂场景。数据集包含了22个类别、49个对象的6400多段视频，涵盖了47种异常类型。通过机器人臂和电机与这些对象进行交互，数据集捕捉了真实工业环境中的动态行为。该数据集的典型应用场景包括但不限于：工业自动化生产线上的产品质量检测，机器人视觉系统中的故障诊断，以及智能监控系统的异常识别。

解决学术问题

Phys-AD 数据集解决了当前工业异常检测数据集普遍存在的静态、语义简单的问题。它填补了现实世界中工业异常检测数据集的空白，为研究提供了更接近实际工业环境的数据集。Phys-AD 数据集要求模型不仅要理解视频内容，还要结合物理知识进行推理，从而提高了模型的鲁棒性和泛化能力。

衍生相关工作

Phys-AD 数据集的发布推动了相关领域的研究，衍生出了一系列经典工作。例如，基于 Phys-AD 数据集的物理异常解释（PAEval）指标，用于评估视觉语言模型（VLMs）在物理推理方面的能力。此外，Phys-AD 数据集还激发了研究者在视频异常检测和物理推理方面的新思路和新方法。