InfAR

InfAR数据集是由西安电子科技大学电信工程学院的研究团队创建的，包含600个由红外热成像摄像机捕捉的视频序列。该数据集主要用于红外人行动作识别研究，涵盖了12种不同的动作类别，每类包含50个视频片段，每个片段平均持续4秒，帧率为25fps，分辨率为293x256。数据集中的视频包含单人或多人的动作，部分涉及多人互动。InfAR数据集的创建旨在解决红外人行动作数据有限的问题，通过提供丰富的红外动作数据，推动红外人行动作识别技术的发展。The InfAR Dataset was developed by a research team from the School of Telecommunications Engineering, Xidian University. It contains 600 video sequences captured using infrared thermal imaging cameras. This dataset is primarily intended for research on infrared human action recognition, encompassing 12 distinct action categories. Each category includes 50 video clips, with each clip having an average duration of 4 seconds, a frame rate of 25 fps, and a resolution of 293×256. The videos in the dataset feature actions performed by single or multiple individuals, with some segments involving multi-person interactions. The creation of the InfAR Dataset aims to address the scarcity of existing infrared human action data, and to advance the development of infrared human action recognition technologies by providing a rich collection of infrared action data.

搜集汇总

数据集介绍

构建方式

InfAR数据集的构建旨在解决红外人体动作识别数据不足的问题。该数据集采用了跨数据集特征对齐和泛化（CDFAG）框架，通过将红外数据与可见光数据映射到一个共同的特征空间，使用核流形对齐（KEMA）和双对齐到泛化编码器（AGE）模型来表示特征。随后，使用支持向量机（SVM）进行训练，利用红外数据和可见光数据来分类从红外数据中提取的特征。

使用方法

InfAR数据集的使用方法包括三个阶段：首先，对源和目标数据集进行特征提取和编码，然后通过KEMA进行特征对齐，最后使用SVM进行分类。在特征提取和编码阶段，采用改进的密集轨迹（iDTs）特征作为低级动作视频表示，并通过局部约束线性编码（LLC）和主成分分析（PCA）进行特征降维。在特征对齐阶段，使用KEMA将源和目标数据集的特征映射到共同的特征空间。在分类阶段，使用SVM对从源和目标数据集中提取的泛化特征进行训练，以实现对目标数据集中未见样本的分类。

背景与挑战

背景概述

在可见光和红外光谱下进行人体动作识别的研究中，InfAR数据集的创建为红外动作识别领域提供了宝贵的资源。该数据集由高桥等人在2015年构建，包含了600个由红外热成像相机捕获的视频序列，每个动作类别包含50个视频片段，涵盖了12种不同的动作类别。InfAR数据集的创建旨在解决红外动作识别中数据稀缺的问题，并为研究人员提供了一个公开可用的基准数据集。该数据集的创建对于推动红外动作识别技术的发展具有重要意义，为后续的研究提供了基础数据和参考标准。InfAR数据集的创建者们在论文中提出了一个基于迁移学习的方法，利用辅助的可见光数据来提高红外动作识别的性能。他们构建了一个新的跨数据集特征对齐和泛化（CDFAG）框架，将红外数据和可见光数据映射到一个公共特征空间，并通过核流形对齐（KEMA）和双对齐到泛化编码器（AGE）模型来表示特征。然后，使用支持向量机（SVM）对红外数据和可见光数据进行训练，以对来自红外数据的特征进行分类。该方法的提出为解决红外动作识别中数据稀缺的问题提供了一种有效的方法，并为红外动作识别领域的研究提供了新的思路。

当前挑战

尽管InfAR数据集的创建为红外动作识别领域带来了突破，但仍然面临着一些挑战。首先，红外和可见光视频数据位于不同的特征空间，传统的可见光动作识别方法无法直接应用于红外动作识别，因为它们之间存在模态差异。其次，目前公开可用的红外数据集数量有限，这限制了红外动作识别的性能提升。为了解决这些问题，研究人员提出了跨数据集特征对齐和泛化（CDFAG）框架，通过将红外数据和可见光数据映射到一个公共特征空间，并学习一个在语义上有意义的空间中的唯一分类器，从而减少数据集之间的模态差异。此外，红外视频数据通常比可见光视频数据少，数据分布不平衡也会降低分类性能。为了解决这个问题，研究人员采用了半监督技术，以便在CDFAG框架中同时考虑标记和未标记的数据。然而，跨数据集特征对齐和泛化仍然是一个具有挑战性的问题，需要进一步的研究和探索。

常用场景

经典使用场景

InfAR数据集被广泛应用于跨模态的人体动作识别研究，特别是在可见光到红外光谱的跨模态迁移学习中。该数据集为研究者提供了一个基准，用于评估和比较不同算法在红外视频中进行人体动作识别的性能。经典的使用场景包括利用可见光数据集（如XD145）作为辅助数据，通过迁移学习技术提高红外动作识别的准确率。此外，InfAR数据集也被用于评估不同特征提取和特征对齐方法的有效性，以及在跨模态识别任务中减少模态差距的算法。研究者在InfAR数据集上训练和测试他们的模型，以验证其在实际红外场景中的泛化能力和鲁棒性。

解决学术问题

InfAR数据集解决了红外动作识别中数据稀缺的问题。由于红外视频的采集和标注成本较高，现有的红外动作数据集数量有限，这限制了红外动作识别算法的性能提升。InfAR数据集的提出为研究者提供了一个公开可用的基准数据集，使得他们能够在有限的资源下进行算法的研究和开发。此外，InfAR数据集还解决了红外和可见光视频之间的模态差距问题。由于红外和可见光视频由不同的传感器捕获，它们在特征空间上存在显著的差异，这导致了直接将可见光识别算法应用于红外视频的困难。InfAR数据集的提出为研究者提供了一个平台，用于研究和开发能够跨越模态差距的人体动作识别算法。通过利用可见光数据集作为辅助数据，研究者可以学习到更加通用的特征表示，从而提高红外动作识别的准确率。

实际应用

InfAR数据集在安防监控、人机交互和智能交通等领域具有广泛的应用前景。在安防监控领域，InfAR数据集可以用于夜视监控，帮助识别夜间或光线不足环境下的可疑行为。在人机交互领域，InfAR数据集可以用于开发基于红外传感器的手势识别系统，实现更加自然和直观的人机交互方式。在智能交通领域，InfAR数据集可以用于车辆监控和行人检测，提高交通系统的安全性。此外，InfAR数据集还可以用于其他需要人体动作识别的应用场景，如智能家居、运动分析等。

数据集最近研究

最新研究方向

近年来，红外人体动作识别因其对光照变化和阴影的鲁棒性而备受关注。然而，现有的红外动作数据有限，这限制了红外动作识别的性能。为了解决这个问题，本研究提出了一种基于可见光辅助数据的人类动作识别框架。在该框架中，首先构建了一个新颖的跨数据集特征对齐和泛化（CDFAG）框架，利用核流形对齐（KEMA）和双对齐到泛化编码器（AGE）模型将红外数据和可见光数据映射到一个共同的特征空间。然后，使用支持向量机（SVM）对红外数据和可见光数据进行训练，以对来自红外数据的特征进行分类。实验结果表明，与几种迁移学习和领域自适应方法相比，该方法在InfAR数据集上取得了最先进的性能。

相关研究论文

• Transferable Feature Representation for Visible-to-Infrared Cross-Dataset Human Action Recognition

  西安电子科技大学电信工程学院 · 2019年