zxyun/PKU-DyMVHumans

PKU-DyMVHumans是一个多功能的人类中心数据集，旨在无标记多视角捕捉设置下进行高保真重建和渲染动态人类表现。它包含32个不同的人类在45个动态场景中的表现，每个场景都展示了高度详细的外观和复杂的人类动作。数据集的特点包括高保真表现、高细节外观、复杂的人类动作以及人与物体/场景的交互。数据集的结构包括多视角图像、前景分割等，并提供了多种数据格式以便于比较。数据集仅用于非商业研究目的，禁止任何商业用途。PKU-DyMVHumans is a versatile human-centric dataset developed for high-fidelity reconstruction and rendering of dynamic human performances in unlabeled multi-view capture scenarios. It contains performances from 32 unique human subjects across 45 dynamic scenes, where each scene showcases highly detailed appearances and complex human motions. The dataset is distinguished by high-fidelity performance reproduction, fine-grained detailed appearances, complex human movements, as well as interactions between humans and objects or scenes. The dataset structure encompasses multi-view images, foreground segmentation masks, and other related assets, and provides multiple data formats to facilitate comparative studies. This dataset is solely available for non-commercial research purposes, and any commercial use is strictly prohibited.

原始信息汇总

PKU-DyMVHumans 数据集概述

数据集描述

PKU-DyMVHumans 是一个专注于动态人类表演高保真重建和渲染的数据集，适用于无标记多视角捕捉环境。该数据集包含32名参与者在45个不同的动态场景中，每个场景都具有高度详细的外观和复杂的人体动作。

关键特性

• 高保真性能：使用包含56/60同步摄像机的多视角系统捕捉动态人体，分辨率为1080P或4K。
• 高细节外观：捕捉复杂的衣物变形和精细的纹理细节，如精致的缎带和特殊头饰。
• 复杂人体动作：涵盖广泛的特殊服装表演、艺术动作和体育活动。
• 人与物体/场景交互：包括人与物体的交互，以及复杂的多人交互和场景效果（如光照、阴影和烟雾）。

数据集统计

• 场景：45个不同的动态场景，涉及多种动作和服装风格。
• 动作类型：舞蹈、功夫、运动和时装秀等4种动作类型。
• 参与者：32名专业表演者，包括16名男性、11名女性和5名儿童。
• 帧数：总计约820万帧。

数据集结构

数据集为每个场景提供多视角图像、带有RGBA通道的粗略前景图像以及使用BackgroundMattingV2获取的粗略前景分割。此外，数据集还保存了不同格式的数据，如Surface-SOS、NeuS、NeuS2、Instant-ngp和3D-Gaussian，以方便与基准数据集进行比较。

使用协议

• 该数据集仅供非商业研究目的使用。
• 禁止复制、发布或分发数据集的任何部分。
• 北京大学保留随时终止数据集访问权的权利。

搜集汇总

数据集介绍

构建方式

在动态人体建模领域，高保真数据的获取至关重要。PKU-DyMVHumans数据集通过构建一个包含56至60台同步相机的多视角捕捉系统进行构建，这些相机具备1080P或4K分辨率，旨在无标记条件下捕捉人体动态。数据采集涵盖了45种不同的动态场景，涉及32位专业表演者，包括舞蹈、武术、运动和时装表演等多种动作类型，总计约820万帧图像。数据预处理阶段，利用BackgroundMattingV2工具获得了带有RGBA通道的粗略前景及其分割掩码，为后续的几何重建与渲染任务奠定了坚实基础。

特点

该数据集的核心特点在于其高保真度与复杂性。它精准捕捉了人体表演中的高度细节外观，如复杂的衣物变形和精细的纹理特征，包括细腻的缎带与特殊头饰。数据集涵盖了广泛的特效服装表演、艺术动作及体育活动，并包含了人-物交互、多人交互等挑战性场景，以及光照、阴影、烟雾等复杂环境效应。这种对细节与交互的深度记录，为动态人体建模研究提供了极具真实感与多样性的基准数据。

使用方法

为便于研究与应用，数据集提供了多层次的结构化数据。对于每个场景，用户可直接访问多视角原始图像、粗略前景及其分割掩码。此外，数据集已预处理为Surface-SOS、NeuS、NeuS2、Instant-ngp及3D-Gaussian等多种主流神经渲染与重建框架的兼容格式，存储于相应目录中。研究者可据此直接进行神经场景分解、新视角合成及动态人体建模等任务的基准测试，显著降低了数据准备与格式转换的时间成本，提升了研究效率。

背景与挑战

背景概述

在计算机视觉与图形学领域，动态人体建模与高保真渲染一直是极具前沿性的研究方向。2024年，北京大学研究团队发布了PKU-DyMVHumans数据集，旨在推动无标记多视角捕捉环境下动态人体表演的高质量重建与渲染。该数据集由32位表演者参与，涵盖45种动态场景，包含舞蹈、武术、运动及时装秀等多种复杂动作，总计约820万帧高分辨率图像。其核心研究问题聚焦于减少人工标注依赖，实现鲁棒的几何重建与新视角合成，为神经场景分解与动态人体建模提供了重要的基准资源，显著促进了相关算法在真实感与效率上的进步。

当前挑战

PKU-DyMVHumans数据集所应对的领域挑战在于，如何在无标记、固定多视角相机设置下，精准重建具有复杂外观与运动的动态人体，并实现高质量的新视角合成，这需要处理精细的衣物变形、纹理细节及人-物交互等难题。在构建过程中，研究团队面临多视角系统同步采集海量高分辨率数据的技术挑战，同时需确保在多样动态场景中保持数据的一致性与完整性，并通过高效的前景分割与数据格式化流程，以支持不同先进建模框架的便捷评估与比较。

常用场景

经典使用场景

在计算机视觉与图形学领域，动态人体建模与渲染始终是研究热点。PKU-DyMVHumans数据集凭借其无标记多视角捕捉的高保真动态人体表演数据，为神经辐射场、三维高斯溅射等前沿方法提供了经典验证平台。研究者常利用该数据集训练模型，以实现复杂服饰变形、精细纹理细节下的动态人体几何重建与新颖视角合成，推动着高真实感数字人技术的边界。

实际应用

超越纯学术探索，PKU-DyMVHumans在影视特效、虚拟现实与数字孪生等领域展现出广阔应用前景。其高细节的外观与复杂动作数据可用于生成电影级虚拟角色、构建沉浸式VR体验或模拟真实世界的人体运动。例如，在虚拟试衣或体育训练分析中，该数据集能助力创建高度逼真的动态人体模型，提升交互体验与模拟精度。

衍生相关工作

围绕该数据集，已催生一系列聚焦动态人体建模的经典研究工作。例如，基于Surface-SOS、NeuS/NeuS2、Instant-ngp及3D-Gaussian等框架的适配与优化研究，均在PKU-DyMVHumans上进行了性能验证与对比。这些工作不仅推进了神经渲染与几何重建技术的融合，也为后续研究如何高效处理大规模多视角视频数据设立了重要基准。