Talking Eyes Dataset (TKED)

github2025-01-02 更新2025-01-22 收录

人脸重建

注视分析

数据链接：

https://github.com/LKJKJOIUIU/TalkingEyes 数据链接链接失效反馈

官方服务：

资源简介：

TKED包含5,982个视频，涉及669个主题，总时长约14小时。其中5,912个视频来自VoxCeleb2，总时长约12小时，其余70个视频来自HDTF，总时长约2小时。每个视频的每一帧都进行了3D面部重建和3D眼睛注视拟合，以获得伪地面真实FLAME参数，包括两个眼球的旋转、头部旋转和面部运动参数。TKED是研究社区中第一个同时包含3D说话眼睛、3D说话头部和3D说话面部三种资源的数据库。

TKED consists of 5,982 videos covering 669 topics, with a total duration of approximately 14 hours. Among them, 5,912 videos are sourced from VoxCeleb2, totaling around 12 hours, while the remaining 70 videos are obtained from HDTF, with a total duration of approximately 2 hours. For every frame of each video, 3D facial reconstruction and 3D eye gaze fitting are performed to obtain pseudo-ground truth FLAME parameters, including the rotations of both eyeballs, head rotations, and facial motion parameters. TKED is the first database in the research community that simultaneously encompasses three resources: 3D talking eyes, 3D talking head, and 3D talking face.

创建时间：

2024-12-31

原始信息汇总

TalkingEyes 数据集概述

数据集简介

TalkingEyes 数据集（TKED）是一个包含 5,982 个视频的数据集，涵盖了 669 个不同的主体，总时长约为 14 小时。其中，5,912 个视频来自 VoxCeleb2，总时长约为 12 小时；剩余的 70 个视频来自 HDTF，总时长约为 2 小时。

数据处理

每个视频的每一帧都进行了 3D 人脸重建和 3D 眼动拟合，生成了伪真值 FLAME 参数。这些参数包括：

两个眼球的旋转
头部旋转
面部运动参数

数据集特点

TKED 是研究社区中首个同时包含以下三种资源的数据库：

3D 眼动数据
3D 头部运动数据
3D 面部运动数据

下载链接

Google Drive
百度网盘（提取码：TKED）

搜集汇总

数据集介绍

构建方式

Talking Eyes Dataset (TKED) 的构建过程主要依赖于从VoxCeleb2和HDTF两个公开数据集中提取的视频素材。通过对这些视频进行3D面部重建和3D眼球注视拟合，研究人员为每一帧生成了伪地面真值FLAME参数，这些参数包括眼球旋转、头部旋转和面部运动参数。这一过程不仅确保了数据的多样性和丰富性，还为后续的3D动画研究提供了坚实的基础。

特点

TKED数据集的一个显著特点是其首次在科研社区中同时包含了3D眼球、3D头部和3D面部的动画数据。这种多模态的数据集设计使得研究者能够在单一平台上探索和开发更为复杂和精细的动画技术。此外，数据集中的视频素材涵盖了669个不同主题，提供了大约14小时的视频内容，这为模型的训练和验证提供了充足的数据支持。

使用方法

使用TKED数据集时，研究者可以通过下载提供的Google Drive或Baidu Netdisk链接获取数据。数据集中的每一帧都附带有详细的3D参数，这些参数可以直接用于训练和测试3D动画生成模型。此外，由于数据集包含了音频信息，研究者还可以探索音频与视觉数据的同步问题，进一步扩展研究的深度和广度。

背景与挑战

背景概述

Talking Eyes Dataset (TKED) 是一个专注于语音驱动的3D眼动动画的数据集，由669名受试者的5,982个视频组成，总时长约14小时。该数据集主要来源于VoxCeleb2和HDTF两个公开数据集，并通过对每一帧视频进行3D面部重建和眼动拟合，生成了包含眼球旋转、头部旋转和面部运动参数的伪真实值。TKED是研究社区中首个同时包含3D眼动、3D头部运动和3D面部运动资源的数据集，为语音驱动的3D动画研究提供了重要的数据支持。

当前挑战

TKED数据集在解决语音驱动的3D眼动动画问题时，面临的主要挑战包括如何精确捕捉眼球的细微运动以及如何将语音信号与眼动行为进行有效关联。在构建过程中，研究人员需要处理大量视频数据，并进行复杂的3D重建和参数拟合，这对计算资源和算法精度提出了较高要求。此外，由于眼动行为的多样性和复杂性，如何确保生成的伪真实值具有足够的泛化能力，也是一个亟待解决的问题。

常用场景

经典使用场景

Talking Eyes Dataset (TKED) 在计算机视觉和人工智能领域中被广泛应用于3D眼动动画生成的研究。该数据集通过提供包含3D眼动、3D头部运动和3D面部运动的视频数据，为研究人员提供了一个多模态的数据平台，用于开发和测试基于语音驱动的3D眼动动画生成算法。这些算法在虚拟现实、增强现实以及人机交互系统中具有重要的应用价值。

衍生相关工作

基于 TKED 数据集，研究人员已经开发了多种先进的3D眼动动画生成算法。例如，一些研究利用该数据集中的多模态数据，提出了基于深度学习的语音驱动眼动生成模型，显著提升了虚拟人物的自然度和交互性。此外，TKED 还促进了3D面部动画生成技术的发展，推动了虚拟现实和增强现实领域的创新应用。

数据集最近研究