MMVP

MMVP是一个由北京航空航天大学等机构创建的多模态人体运动捕捉数据集，集成了视觉和压力传感器数据。该数据集包含超过44,000帧同步的RGBD视频和足底压力数据，特别适用于大范围和快速人体运动的精确形状估计、稳健姿态拟合和准确全局平移跟踪。数据集涵盖了跑步、跳远、舞蹈等多种运动类型，主要由青少年参与，旨在解决现有数据集在快速和大范围运动中足部接触标注不精确的问题。通过引入精确的足底压力信号，MMVP能够提供更密集和准确的足部接触标注，适用于增强现实/虚拟现实、疾病诊断、机器人操作和体育训练等多个领域的研究。MMVP is a multimodal human motion capture dataset developed by institutions including Beihang University, which integrates visual and pressure sensor data. This dataset contains over 44,000 synchronized frames of RGBD video and plantar pressure data, and is particularly tailored for accurate shape estimation, robust pose fitting and precise global translation tracking of large-scale and fast human movements. Covering diverse motion types such as running, long jump, dance and more, the dataset is primarily collected from adolescent participants. It aims to address the issue of imprecise foot contact annotations in existing datasets for fast and large-scale motions. By leveraging precise plantar pressure signals, MMVP can deliver denser and more accurate foot contact annotations, making it suitable for research across multiple fields including augmented reality/virtual reality, disease diagnosis, robotic manipulation and sports training.

搜集汇总

数据集介绍

构建方式

在人体运动捕捉领域，足部接触信息对于运动理解与生成至关重要。MMVP数据集的构建采用了创新的多模态采集系统，通过Azure Kinect相机同步采集单视角RGBD视频序列，同时利用Xsensor压力鞋垫精确捕捉足底压力信号。该系统克服了传统视觉匹配方法在快速大范围运动中的局限性，实现了视觉信号与压力数据的高精度时间同步。数据采集涵盖跑步、立定跳远、跳绳等多种高速大范围运动，涉及不同年龄与性别的受试者，确保了数据集的多样性与代表性。

特点

MMVP数据集的核心特点在于其提供了高精度、高密度的足底压力与接触标注，这在现有数据集中具有显著优势。相较于依赖视觉匹配与阈值标注的传统方法，MMVP通过专业压力传感器直接获取物理压力信号，并基于体重归一化与阈值处理，生成了定义在SMPL模型192个足部顶点上的密集接触标签。这种标注方式不仅精度更高，且能细致描述快速复杂步态下的瞬时接触状态。数据集首次实现了视觉与压力模态在大范围快速人体运动中的协同采集，为运动捕捉研究提供了前所未有的高质量多模态基准。

使用方法

MMVP数据集为人体运动捕捉研究提供了多层次的利用途径。研究者可直接使用其同步的RGBD视频与精确足压数据，开发或验证多模态运动捕捉算法。数据集配套提出的RGBD-P SMPL拟合方法，通过引入密集接触损失与时间一致性约束，实现了比纯视觉方法更准确的姿态与全局位移估计。此外，基于该数据集构建的单目视频基线框架VP-MoCap，融合了足部压力预测网络与接触引导的优化策略，展示了如何从单目RGB序列中推断接触并提升运动捕捉的物理合理性。该数据集适用于姿态估计、运动生成、物理交互建模等多个研究方向。

背景与挑战

背景概述

在人体运动捕捉领域，足部接触信息对于运动分析、行为理解与生成至关重要。然而，现有数据集往往依赖视觉匹配与阈值化方法标注足部接触，或仅整合压力信号，但存在精度不足或仅适用于小范围慢速运动的局限。为填补这一空白，由北京航空航天大学、清华大学、南京大学及北京蔚蓝科技有限公司联合研究团队于2024年提出了MMVP数据集。该数据集首次同步采集了大范围快速人体运动的RGBD视频与高精度足底压力信号，为核心研究问题——实现精准密集的足部接触标注——提供了创新解决方案。MMVP通过融合视觉与压力模态，显著提升了人体形状估计、姿态拟合与全局位姿跟踪的准确性，为运动捕捉在增强现实、临床诊断等领域的应用奠定了新的数据基础。

当前挑战

MMVP数据集致力于解决人体运动捕捉中足部接触估计的挑战，其核心在于克服传统视觉方法在快速大范围运动下导致的足部漂移与全局位姿误差。具体而言，构建过程中面临双重挑战：其一，在数据采集层面，需实现高帧率RGBD相机与分布式压力鞋垫硬件间的高精度时间同步，并设计适用于不同体重与运动状态的接触标注归一化方法；其二，在算法层面，如何将密集压力信号有效映射至参数化人体模型顶点，并设计多模态损失函数以优化姿态拟合的时空一致性，均是实现精准运动捕捉的关键难题。

常用场景

经典使用场景

在人体运动捕捉领域，MMVP数据集以其同步采集的RGBD视频与足底压力信号，为研究大范围快速运动下的精细足部接触提供了独特资源。该数据集最经典的使用场景在于训练和验证基于视觉与压力融合的运动捕捉算法，特别是针对跑步、跳跃等动态复杂动作，能够有效评估算法在消除足部漂移、提升全局平移精度方面的性能。

实际应用

在实际应用层面，MMVP数据集可广泛应用于虚拟现实、增强现实中的自然人机交互，以及体育训练中的动作分析与优化。其精确的足部接触信息能够辅助康复医疗中的步态评估，并为机器人模仿学习提供真实的运动动力学参考。此外，该数据集也为游戏动画、影视特效中的人物运动生成提供了物理可信的运动数据。

衍生相关工作

基于MMVP数据集，研究者提出了RGBD-P SMPL拟合方法，实现了多模态信号融合下的高精度运动捕捉。同时衍生的VP-MoCap基线框架，通过足部压力预测网络与接触优化策略，显著提升了单目视频运动捕捉的稳定性。这些工作推动了视觉-压力协同感知在运动分析、物理仿真等方向的研究，为后续多模态人体动力学建模提供了重要参考。