MoVi

MoVi数据集是由约克大学创建的大型多用途人体运动和视频数据集，包含90名男女演员执行20种日常动作和体育运动的视频记录。数据集通过光学运动捕捉系统、视频摄像机和惯性测量单元（IMU）进行五轮捕捉，总时长包括9小时的动捕数据、17小时的视频数据和6.6小时的IMU数据。数据集创建过程中，演员穿着不同服装进行动作捕捉，确保数据的多样性和准确性。MoVi数据集适用于人体姿态估计、动作识别、运动建模、步态分析和身体形状重建等多个领域，旨在解决基于视频的人体运动分析中的关键问题。The MoVi Dataset is a large-scale, multi-purpose human motion and video dataset developed by York University. It encompasses video recordings of 90 male and female actors performing 20 daily activities and sports movements. The dataset was collected across five capture sessions using optical motion capture systems, video cameras, and inertial measurement units (IMUs). The total aggregated duration includes 9 hours of motion capture data, 17 hours of video data, and 6.6 hours of IMU data. During the dataset's development, actors wore varied outfits during motion capture to ensure data diversity and accuracy. The MoVi Dataset is applicable to multiple research fields including human pose estimation, action recognition, motion modeling, gait analysis, and body shape reconstruction, and it aims to address key challenges in video-based human motion analysis.

搜集汇总

数据集介绍

构建方式

在人体运动分析领域，高质量多模态数据的稀缺性制约了相关研究的深入。MoVi数据集的构建通过五轮精心设计的采集流程实现，涵盖了90名参与者（60名女性、30名男性）执行20种预设日常动作与一项自选动作。采集过程融合了光学运动捕捉系统、惯性测量单元及多视角视频摄像机，确保了数据的同步性与校准精度。参与者分别在身着紧身衣与日常服装的条件下进行录制，以兼顾动作捕捉的准确性与自然场景的真实性。数据后处理采用V3D与MoSh++双管线，分别生成基于生物力学模型与统计形状模型的骨骼姿态与身体形状信息，为多维度分析提供了坚实基础。

特点

MoVi数据集的核心特点在于其多模态与大规模特性。该数据集同步提供了光学运动捕捉、惯性测量单元及四视角视频数据，总时长超过9小时，覆盖了丰富的动作类别与参与者多样性。其独特之处在于包含了由两种独立管线生成的3D骨骼姿态与全身网格形状数据，支持从关节角度到软组织变形的多层次分析。此外，数据采集在不同服装条件下进行，既包含了高精度的标记数据，也提供了无标记干扰的自然场景记录，使其能够同时满足高精度运动分析与真实世界应用的需求。这种设计使MoVi成为人体姿态估计、动作识别、步态分析等多任务研究的理想基准。

使用方法

研究者可通过公开的数据仓库获取MoVi数据集，其文件结构按采集轮次、参与者编号与传感器类型系统组织。数据集提供了原始视频文件、处理后的运动捕捉数据（包括V3D与AMASS格式）、同步的IMU数据及相机校准参数。使用时可利用附带的MATLAB与Python支持代码进行数据加载与预处理。对于姿态估计任务，可结合多视角视频与3D骨骼真值进行模型训练；在动作分析中，可利用IMU数据与光学捕捉的互补性研究传感器融合方法；而全身网格数据则为三维人体重建提供了直接参照。该数据集的设计允许跨模态对比研究，例如比较不同服装条件下姿态估计的鲁棒性，或探索稀疏标记与IMU数据在自然动作捕捉中的有效性。

背景与挑战

背景概述

在计算机视觉与运动分析领域，高质量、多模态的人体运动数据集是推动算法发展的基石。MoVi数据集由约克大学、女王大学及宾夕法尼亚大学的研究团队于2020年联合创建，旨在解决现有数据集在参与者多样性、硬件系统单一性及数据同步性方面的局限。该数据集收录了90名参与者执行20种日常动作与体育运动的同步光学运动捕捉、视频及惯性测量单元数据，总时长超过30小时。其核心研究问题聚焦于为人体姿态估计、动作识别、运动建模及三维形状重建等任务提供丰富、精确的多源基准数据，显著提升了相关领域模型的泛化能力与鲁棒性。

当前挑战

MoVi数据集致力于应对人体运动分析中多模态数据融合与真实场景建模的挑战。在领域问题层面，其需解决从视频或稀疏传感器中准确估计三维人体姿态与形状的难题，尤其是在自然着装条件下由衣物遮挡引起的标记点漂移或缺失问题。构建过程中的挑战包括多硬件系统（如光学捕捉、惯性单元及多视角摄像机）的高精度时间同步与空间标定，以及在不同着装场景下保持数据一致性与质量。此外，大规模参与者动作数据的采集、处理与标准化亦对数据集的可靠性与可用性提出了严格要求。

常用场景

经典使用场景

在人体运动分析领域，MoVi数据集凭借其多模态同步采集特性，成为三维姿态估计研究的基准平台。该数据集通过光学动作捕捉系统、惯性测量单元及多视角视频的协同记录，为算法提供了精确的骨骼运动真值。研究者常利用其丰富的动作类别与多样化着装场景，训练深度学习模型以解决复杂环境下的姿态追踪难题，尤其在处理自然服装造成的遮挡问题时展现出独特价值。

实际应用

在虚拟现实与生物力学工程领域，MoVi数据集支撑着动作驱动动画生成与临床步态评估系统的开发。其包含的日常动作与体育运动序列，为虚拟角色动画提供了自然流畅的运动库。医疗康复机构可借助该数据集的同步惯性测量单元记录，开发无需光学标记的便携式运动分析工具，实现对患者运动功能的远程监测与量化评估，显著降低了专业动作捕捉系统的应用门槛。

衍生相关工作

基于MoVi数据集的多模态特性，研究者已衍生出系列创新工作。在动作识别方向，该数据支持了时空图卷积网络的跨模态融合研究；在三维重建领域，其提供的AMASS兼容网格数据催生了视频驱动人体形状估计算法的改进。部分工作进一步利用其惯性测量单元数据，开发了稀疏传感器条件下的实时姿态重建系统，为可穿戴设备的人机交互应用奠定了算法基础。