EV-Action

EV-Action数据集是由东北大学开发的一个大规模多模态动作数据集，包含RGB、深度、肌电图(EMG)和两种骨骼模态。该数据集通过光学跟踪系统Vicon获取高质量的骨骼模态，并首次引入EMG模态，为动作分析提供更多维度的信息。数据集包含7000个动作片段，由70名参与者执行20种常见动作，旨在探索不同模态间的潜在关联，并提升动作分析任务的性能。EV-Action数据集的应用领域广泛，包括人类运动分析、计算机视觉、机器学习、生物力学等跨学科领域。The EV-Action dataset is a large-scale multimodal action dataset developed by Northeastern University (China). It encompasses RGB, depth, electromyography (EMG), and two skeletal modalities. The high-quality skeletal data is collected via the optical tracking system Vicon, and the EMG modality is introduced for the first time in this dataset, providing multi-dimensional information for action analysis. Comprising 7,000 action clips performed by 70 participants executing 20 common actions, this dataset aims to explore the underlying correlations among different modalities and enhance the performance of action analysis tasks. The EV-Action dataset has broad application prospects across interdisciplinary domains including human motion analysis, computer vision, machine learning, and biomechanics.

搜集汇总

数据集介绍

构建方式

EV-Action数据集的构建依托于精心设计的多模态采集中心，整合了Kinect-V2传感器、四枚无线肌电传感器以及八台Vicon-T40s红外摄像系统。Kinect-V2负责捕获RGB与深度视觉模态，并从中提取26个关节点的人体骨架数据。Vicon系统通过光学追踪技术，以100帧每秒的高采样率捕捉39个标记点的精确位置，生成高精度骨架模态。Delsys-Trigno肌电传感器以1000赫兹的频率采集人体前臂与小腿肌肉的肌电信号。所有模态在采集过程中实现帧级同步与标注，最终形成包含20类动作、70名受试者、共计7000个动作片段的丰富数据集。

特点

该数据集的核心特点在于首次将肌电信号引入多模态动作分析领域，开创了非视觉模态与视觉信息融合的新范式。肌电信号能够提前于视觉动作产生响应，揭示肌肉发力意图与力量强度等视觉无法捕捉的深层信息。此外，Vicon系统提供的骨架模态在定位精度、采样频率与标记点数量上显著优于传统Kinect方案，能够呈现更为细致的运动轨迹与加速度变化。数据集涵盖了单人动作与人-物交互动作，受试者在多次重复中刻意变换执行风格，增强了数据的多样性与泛化能力。

使用方法

研究者可将EV-Action数据集用于多模态动作识别、跨模态关联分析及肌电信号建模等任务。数据集提供了明确的实验划分，56名受试者的数据用于训练，其余14名用于测试。针对肌电模态，论文提出了基于快速傅里叶变换与长短期记忆网络的端到端识别框架，亦可将其与骨架模态进行特征级融合以提升识别性能。RGB与深度模态可采用时序分割网络、长时循环卷积网络等方法进行基准评测。Vicon骨架数据因其高精度特性，适用于需要精细运动分析的场景，研究者还可针对数据中的遮挡情况进行缺失模态或多视角算法的探索。

背景与挑战

背景概述

在人类动作分析领域，多模态数据集的构建是推动计算机视觉、生物力学及人机交互等方向发展的关键基石。传统数据集多局限于视觉模态（如RGB、深度和骨骼数据），难以捕捉动作执行前的肌肉电生理信号等隐性信息。为此，美国东北大学电气与计算机工程系及Khoury计算机科学学院的Lichen Wang、Bin Sun等研究人员于2020年推出了EV-Action数据集，首次将肌电图（EMG）信号与RGB、深度及双骨骼模态（Kinect与Vicon系统）有机结合。该数据集涵盖70名受试者、20类动作、共7000个动作片段，通过高精度Vicon光学追踪系统（100 fps、39个标记点）与高采样率EMG传感器（1000 Hz）同步采集，旨在探索视觉与非视觉模态间的潜在关联，为动作识别、意图预测及跨学科研究提供了前所未有的数据支撑。

当前挑战

EV-Action数据集面临的核心挑战包括：其一，领域层面，传统动作识别依赖视觉特征，难以区分细微或低视觉差异动作（如挥手与举手），而EMG信号虽能提前响应肌肉活动，但其非平稳、高噪声特性及与视觉模态的异构性导致特征融合困难，现有简单拼接方法（如TCN-FFT）仅提升1.4%准确率，亟需更优的时空对齐与多模态融合策略。其二，构建过程中，Vicon系统在遮挡动作（如跌倒、坐下）中易丢失标记点，需依赖后续重建算法；同时，70名受试者以不同风格重复动作5次，导致同类动作时长差异大（如读书最长、站立最短），且连续动作间存在帧级重叠，增加了标注与分割的复杂性。此外，EMG信号的四通道布局（前臂与小腿）虽能捕捉上下肢差异，但肌肉串扰噪声与个体差异仍需鲁棒的信号处理方法加以克服。

常用场景

经典使用场景

在人体动作分析领域，EV-Action数据集凭借其独特的多模态融合特性，成为研究视觉与非视觉信号协同建模的经典平台。该数据集首次将RGB、深度、双模态骨架（Kinect与Vicon）与肌电信号（EMG）同步采集，为从宏观肢体运动到微观肌肉电活动进行全维度动作理解提供了前所未有的数据支撑。研究者常利用该数据集开展跨模态特征对齐与互补性分析，尤其关注EMG信号在动作触发前即产生响应这一时序领先特性，以此探索视觉模态难以捕捉的肌肉发力意图与动作预判机制。

实际应用

在实际应用层面，EV-Action数据集为智能人机交互、康复评估与运动训练系统提供了关键数据支撑。例如，在智能穿戴设备中，基于EMG信号的动作预判能力可用于开发更灵敏的手势控制与假肢操控接口；在运动科学领域，结合Vicon高精度骨架与EMG肌肉激活信息，可构建运动员动作发力模式与疲劳监测的量化模型。此外，该数据集在虚拟现实与游戏交互中，能够利用EMG的提前响应特性减少动作识别延迟，提升沉浸式体验的自然度。这些应用场景均受益于EV-Action所独有的多模态同步特性。

衍生相关工作

EV-Action数据集的发布催生了一系列具有影响力的衍生研究工作。在方法学层面，研究者基于其EMG模态提出了FFT-LSTM端到端识别框架，验证了频域特征在肌肉电信号分析中的有效性；同时，TCN-RMS与TCN-FFT等融合策略被用于骨架与EMG的联合建模，展示了生物电信号对视觉动作识别性能的边际提升。在理论探索方面，该数据集促进了跨模态生成模型的发展，例如生成式多视角动作识别方法利用EV-Action的丰富模态进行缺失模态下的动作重建。此外，该数据集还启发了缺失模态推理与多视角对齐算法的研究，成为评估多模态融合技术鲁棒性的重要基准。