VRAI

VRAI数据集是由西北工业大学计算机科学与工程学院创建的大规模无人机（UAV）车辆再识别（ReID）数据集，包含13,022个车辆实例的137,613张图像。该数据集通过两架DJI Phantom4无人机在不同位置和高度（15m至80m）拍摄，以增加视角和姿态的多样性。数据集不仅标注了车辆的身份，还包括颜色、类型及特定车辆部位等详细属性，旨在支持细粒度识别和解决UAV视觉应用中的车辆再识别问题。The VRAI dataset is a large-scale unmanned aerial vehicle (UAV)-based vehicle re-identification (ReID) dataset developed by the School of Computer Science and Engineering, Northwestern Polytechnical University. It comprises 137,613 images corresponding to 13,022 unique vehicle instances. This dataset was collected using two DJI Phantom4 UAVs at diverse locations and altitudes ranging from 15m to 80m, to enrich the diversity of viewpoints and vehicle poses. In addition to annotating vehicle identities, the dataset also includes detailed attributes such as vehicle color, type, and specific vehicle parts. It aims to support fine-grained recognition and address vehicle re-identification issues in UAV visual applications.

搜集汇总

数据集介绍

构建方式

VRAI数据集的构建过程涉及使用两台DJI Phantom4无人机在不同地点和高度（15m至80m）同时拍摄视频，从而捕捉具有不同视角和背景的车辆图像。为了增加图像的多样性，无人机采用了悬停、巡航和旋转等多种运动模式。数据收集过程中，共收集了350对视频片段，总长度约为34小时。随后，通过手动标记车辆实例的边界框、跨相机车辆匹配、属性分类和可区分部分标注等步骤，对图像进行了详细标注。

特点

VRAI数据集具有以下特点：1)迄今为止最大的车辆重识别数据集，包含13,022个车辆实例的137,613张图像；2)丰富的标注信息，包括车辆ID、颜色、车型、属性（如天窗、保险杠、备胎和行李架）以及可区分部分；3)视角多样，图像由两台无人机拍摄，飞行高度和角度变化范围大；4)图像分辨率变化大，由于无人机飞行高度的变化，图像分辨率有所波动。

使用方法

VRAI数据集可用于车辆重识别、细粒度分类和属性预测等视觉任务。数据集的图像可用于训练和测试车辆重识别算法，评估算法在不同视角和分辨率下的性能。此外，数据集中的标注信息可用于训练多任务模型，同时进行检索、ID分类、属性分类和可区分部分检测等任务。

背景与挑战

背景概述

随着无人机技术的迅猛发展，无人机视觉应用在工业和学术界引起了广泛关注。现有的无人机相关研究和数据集主要集中在目标检测、单目标或多目标跟踪、动作识别和事件识别等任务上。然而，基于无人机的车辆重识别（ReID）研究相对较少，尽管其在长期跟踪、视觉对象检索等方面具有潜在应用价值。其中一个原因是缺乏相应的公开数据集，这将需要大量的人力进行无人机飞行、视频拍摄和数据标注。现有的车辆ReID数据集主要是由固定监控摄像头收集的，这与无人机搭载的摄像头在视角和图像方面存在差异。为了支持无人机智能应用领域的深入研究，本文构建了一个大规模的车辆ReID数据集，名为VRAI。VRAI数据集包含13,022个车辆实例的137,613张图像，每个车辆实例的图像由两个不同位置的两个DJI消费级无人机拍摄，具有多种视角和飞行高度（15米至80米）。为了增加类内变化，每个车辆至少由两个无人机在不同位置、不同视角和飞行高度捕获。此外，我们还手动标注了各种车辆属性，包括车辆类型、颜色、天窗、保险杠、备胎和行李架。此外，对于每张车辆图像，标注员还必须标记有助于区分该特定车辆的区分性部分。除了数据集，我们还设计了一种特定的车辆ReID算法，充分利用丰富的标注信息。该算法能够显式地检测每个特定车辆的区分性部分，并且在评估的基线和方法中表现出色。

当前挑战

VRAI数据集面临的挑战主要包括：1)无人机拍摄图像中车辆的姿态变化较大，视角范围更广，这增加了车辆重识别的难度；2)数据集的标注过程耗时耗力，需要大量的人工参与，包括目标框标注、跨摄像头车辆匹配、属性分类和区分性部分标注等步骤；3)现有的车辆重识别方法主要针对地面场景，难以直接应用于无人机拍摄的图像，需要进一步研究新的算法来适应无人机视角下的车辆重识别任务。

常用场景

经典使用场景

VRAI数据集作为目前最大的无人机车辆重识别数据集，其经典使用场景在于为无人机车辆重识别任务提供丰富的训练数据。该数据集包含了13,022个车辆实例的137,613张图像，每个车辆实例至少被两个无人机从不同的位置、视角和飞行高度拍摄，并具有多样化的姿态变化和分辨率变化。这使得VRAI数据集能够有效地训练和评估车辆重识别算法，并促进该领域的研究进展。

衍生相关工作

VRAI数据集的构建衍生了许多相关的经典工作。基于VRAI数据集，研究者们提出了多种车辆重识别算法，例如基于多任务学习的车辆重识别算法、基于鉴别部分检测的车辆重识别算法等。这些算法充分利用了VRAI数据集的丰富注释信息，并取得了显著的性能提升。此外，VRAI数据集还为其他视觉任务提供了有价值的数据资源，例如细粒度分类和属性预测等。

数据集最近研究

最新研究方向

无人机车载相机捕获的车辆再识别（ReID）技术，旨在从不同角度和距离识别同一车辆。VRAI数据集是目前最大的无人机车载相机车辆ReID数据集，包含13,022个车辆实例的137,613张图像。该数据集通过两个无人机从不同位置捕获图像，并具有多样化的视角和飞行高度，为研究车辆ReID提供了丰富的视角变化和姿态变化。此外，VRAI数据集还提供了丰富的注释信息，包括车辆ID、车辆属性和用于区分特定车辆的判别部分。基于这些丰富的注释信息，研究人员提出了一种新的车辆ReID算法，该算法能够显式地检测每个特定车辆的判别部分，并在VRAI数据集上显著优于其他评估的基线方法和最先进的车辆ReID方法。该算法采用多任务学习框架，结合ID分类、属性分类和判别部分检测，有效地利用了数据集中的丰富注释信息，提高了车辆ReID的性能。

相关研究论文

• Vehicle Re-identification in Aerial Imagery: Dataset and Approach

  西北工业大学计算机科学与工程学院 · 2019年