FineDance|AI编舞数据集|3D动作捕捉数据集

arXiv2023-08-30 更新2024-08-06 收录

AI编舞

3D动作捕捉

下载链接：

http://arxiv.org/abs/2212.03741v4

下载链接

链接失效反馈

资源简介：

FineDance是由清华大学深圳国际研究生院创建的大型专业3D动作捕捉舞蹈数据集，包含14.6小时的音乐与舞蹈配对数据，涵盖22种精细分类的舞蹈风格，具有精确的姿势和精细的手部动作。该数据集是目前最大的音乐与舞蹈配对数据集，旨在推动AI编舞、运动先验和全身重建方法的发展。FineDance数据集通过专业的舞蹈家和动作捕捉系统创建，确保了数据的真实性和准确性。该数据集的应用领域包括从音乐生成舞蹈、舞蹈风格匹配以及长时舞蹈序列的生成，旨在解决现有数据集在手部动作和舞蹈风格多样性方面的不足。

提供机构：

清华大学深圳国际研究生院

创建时间：

2022-12-08

AI搜集汇总

数据集介绍

构建方式

FineDance数据集是通过346首配对歌曲和舞蹈收集而来的，总时长超过14.6小时。数据集由专业舞者和动作捕捉系统创建，包含精细的手部动作、22种舞蹈类型和精确的姿态。舞者们在跳舞时手动与音乐同步，并在Blender中提取舞蹈的骨骼信息。

特点

FineDance数据集是迄今为止最大的音乐舞蹈配对数据集，拥有最多种类的舞蹈。它包括音乐、舞蹈序列、FilmBox (fbx) 文件、SMPL 和多视图视频。此外，FineDance数据集还包括22种精细的舞蹈类型，涵盖了传统和现代风格，为舞蹈生成提供了更多的挑战。

使用方法

FineDance数据集可以用于训练生成舞蹈序列的模型，如FineNet。使用FineNet，可以通过输入音乐来生成具有自然和灵活手部动作的全身舞蹈。FineNet包括两个阶段：扩散式全身舞蹈生成网络 (FDGN) 和Genre&Coherent aware Retrieval Module (GCRM)。FDGN负责生成具有表达性的全身舞蹈片段，而GCRM则负责检索和合成最佳匹配的舞蹈片段，以确保舞蹈与音乐的风格和连贯性。

背景与挑战

背景概述

舞蹈作为一种艺术形式，自古以来便承载着人类情感的丰富表达。随着现代娱乐产业的蓬勃发展，如音乐会、电影和游戏等，高质量的3D舞蹈动画制作需求日益增长。然而，传统方法往往需要专业技能的舞者、工程师以及昂贵的动作捕捉设备，成本高昂且过程复杂。为了应对这一挑战，人工智能在生成3D舞蹈动画方面的研究逐渐兴起。在此背景下，FineDance数据集的提出，旨在通过提供大规模、高精度的3D舞蹈数据，推动AI编舞、动作先验学习和全身重建等领域的发展。

当前挑战

FineDance数据集面临的挑战主要包括：1)舞蹈动作的精细粒度表达：现有舞蹈数据集中包含的手部动作较少，且全身舞蹈数据仅有1.5小时，导致生成的舞蹈缺乏自然性和多样性。2)舞蹈类型的多样性：现有数据集中舞蹈类型的数量有限，难以匹配各种音乐风格。此外，缺乏合适的指标来衡量音乐与生成舞蹈之间的风格匹配程度。为了解决这些问题，FineDance数据集包含了14.6小时的音舞配对数据，涵盖了22种细粒度的舞蹈类型，并提供了准确的全身姿态。同时，为了解决现有方法中单调且不自然的手部动作问题，FineNet网络被提出，该网络利用扩散模型的生成能力来解决问题，并使用专家网络来解决不真实的问题。为了进一步提高生成舞蹈的风格匹配度和长期稳定性，还提出了一个名为Genre&Coherent aware Retrieval Module的模块。此外，还提出了一种名为Genre Matching Score的新型指标，用于评估舞蹈与音乐之间的风格匹配程度。

常用场景

经典使用场景

FineDance数据集主要用于生成与给定音乐相匹配的全身3D舞蹈序列。该数据集包含了22种细粒度的舞蹈风格，以及精确的身体和手部动作，为人工智能编舞、运动先验和全身重建方法的研究提供了丰富的数据资源。FineNet网络模型利用FineDance数据集进行训练，能够生成具有表达性和多样性的全身舞蹈，并提高舞蹈与音乐之间的风格匹配度。

衍生相关工作

FineDance数据集的发布促进了相关研究的发展。例如，FineNet网络模型的提出，为全身舞蹈生成和风格匹配问题提供了新的解决方案。此外，FineDance数据集还可以用于运动先验研究和全身重建方法的研究，推动相关领域的进一步发展。

数据集最近研究

相关研究论文

1
FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance Generation清华大学深圳国际研究生院 · 2023年

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4098个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

ROBEL

ROBEL是一个开源的低成本机器人平台，专为现实世界的强化学习设计。该平台由谷歌研究院和加州大学伯克利分校共同开发，包含两个机器人：D'Claw，一个三指手机器人，用于促进精细操作任务的学习；D'Kitty，一个四足机器人，用于促进敏捷的腿式移动任务学习。这些模块化机器人易于维护且足够坚固，能够承受从零开始的硬件强化学习，目前已记录超过14000小时的训练时间。ROBEL提供了一系列连续控制基准任务，这些任务具有密集和稀疏的任务目标，并引入了硬件安全评分指标。数据集和相关材料可在www.roboticsbenchmarks.org访问，旨在解决强化学习在真实机器人上的应用问题，特别是在处理物理限制和环境交互方面的挑战。

arXiv 收录

HazyDet

HazyDet是由解放军工程大学等机构创建的一个大规模数据集，专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例，收集自自然雾霾环境和正常场景中人工添加的雾霾效果，以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型，确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测，旨在提高无人机在复杂环境中的感知能力。

arXiv 收录

中国省级灾害统计空间分布数据集(1999-2020年)

该数据集为中国省级灾害统计空间分布数据集，时间为1999-2020年。该数据集包含中国各省自然灾害、地质灾害、地震灾害、森林火灾、森林病虫鼠害、草原灾害六类灾害的详细数据。数据量为206MB，数据格式为excel。

国家地球系统科学数据中心收录

LibriSpeech

LibriSpeech 是一个大约 1000 小时的 16kHz 英语朗读语音语料库，由 Vassil Panayotov 在 Daniel Povey 的协助下编写。数据来自 LibriVox 项目的已读有声读物，并经过仔细分割和对齐。

OpenDataLab 收录

中国交通事故深度调查（CIDAS）数据集

交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息，以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例，单个案例信息包含人、车、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征，探索事故预防和损伤防护措施的关键数据源，为制定汽车安全法规和标准、完善汽车测评试验规程、

北方大数据交易中心收录