Synthetic Faces High Quality - Text2Image (SFHQ-T2I)

该数据集包含122,726张高质量的1024x1024人脸图像，通过生成随机提示字符串并发送到多个“文本到图像”模型（Flux1.pro、Flux1.dev、Flux1.schnell、SDXL、DALL-E 3）生成，并经过半手动过程筛选。提示描述了具有不同属性和条件的人脸，确保了种族、姿势、配饰、珠宝、发型和发色、表情、背景、光线等方面的极端变异和多样性。由于能够通过文本提示独立控制这些属性，该数据集在大多数面部属性上展示了前所未有的变异和多样性，并且所有图像都是合成生成的，没有隐私和许可问题。This dataset comprises 122,726 high-resolution 1024×1024 facial images, which were generated by inputting randomly crafted prompt strings into multiple text-to-image models including Flux1.pro, Flux1.dev, Flux1.schnell, SDXL, and DALL-E 3, followed by a semi-manual filtering process. The prompts describe human faces with diverse attributes and conditions, ensuring extreme variability and diversity across factors such as race, pose, accessories, jewelry, hairstyle and hair color, facial expression, background, and lighting. Since these attributes can be independently controlled via text prompts, this dataset exhibits unprecedented variability and diversity across most facial attributes. All images are synthetically generated, thus eliminating privacy and licensing-related concerns.

原始信息汇总

Synthetic Faces High Quality - Text2Image (SFHQ-T2I) 数据集

概述

• 图像数量: 122,726张
• 图像分辨率: 1024x1024
• 图像类型: 高质量人脸图像
• 生成方式: 通过随机生成的文本提示，使用多个文本到图像模型生成
• 模型:
  • Flux1.pro (3,209张)
  • Flux1.dev (7,273张)
  • Flux1.schnell (58,034张)
  • SDXL (53,087张)
  • DALL-E 3 (1,123张)
• 特点:
  • 极高的多样性，涵盖种族、姿势、配饰、珠宝、发型和发色、表情、背景、光照等多个面部属性
  • 无隐私和许可问题，所有图像均为合成生成

数据集详情

• 图像与文本配对: 每张图像与其生成提示配对
• CSV文件: 包含每张图像的详细信息，如生成提示、使用的模型、随机种子、步骤数等

下载

• 下载链接: SFHQ-T2I dataset on kaggle

数据集内容

• 脚本:
  • create_face_dataset.py: 生成数据集的脚本
  • explore_dataset.py: 数据集基本探索性数据分析脚本
  • extract_pretrained_features.py: 提取预训练OpenCLIP模型特征的工具
  • face_prompt_utils.py: 自动生成多样化面部提示的工具
  • merge_dataset_folder.py: 合并多个数据集文件夹的脚本
• 可视化: figures/ 文件夹包含数据集的各种可视化

使用示例

• 示例脚本: explore_dataset.py 展示了如何加载数据集、可视化图像分布、绘制提示长度分布、使用CLIP特征进行文本搜索

提示生成

• 生成脚本: face_prompt_utils.py 生成高度多样化的提示

隐私

• 无隐私问题: 所有图像均为合成生成，无隐私和许可问题

引用

• 引用格式:

  @misc{david_beniaguev_2024_SFHQ_T2I, title={Synthetic Faces High Quality - Text 2 Image (SFHQ-T2I) Dataset}, author={David Beniaguev}, year={2024}, url={https://github.com/SelfishGene/SFHQ-T2I-dataset}, publisher={GitHub}, DOI={10.34740/kaggle/dsv/9548853}, }

搜集汇总

数据集介绍

构建方式

SFHQ-T2I数据集通过生成随机提示字符串，并将其发送至多个文本到图像模型（如Flux1.pro、Flux1.dev、Flux1.schnell、SDXL和DALL-E 3），经过半手动筛选过程，最终构建出122,726张高质量的1024x1024人脸图像。这些提示描述了具有不同属性和条件的人脸，确保了种族、姿势、配饰、珠宝、发型和发色、表情、背景和照明等方面的极端多样性。通过控制这些属性，数据集在大多数面部属性上展示了前所未有的多样性和变异性。

使用方法

使用SFHQ-T2I数据集时，用户可以通过`explore_dataset.py`脚本访问和探索数据，该脚本展示了如何加载数据集、可视化图像在不同模型中的分布、绘制提示长度分布，以及使用CLIP特征进行文本搜索。此外，`create_face_dataset.py`脚本允许用户调整参数以生成自己的数据集，包括输出目录、每个模型的图像生成数量和配置参数。API密钥的设置和所需包的安装也是使用该数据集的必要步骤。

背景与挑战

背景概述

SFHQ-T2I数据集，全称为Synthetic Faces High Quality - Text2Image，是一个包含122,726张高质量1024x1024人脸图像的数据集。该数据集由David Beniaguev创建，通过向多个文本到图像模型（如Flux1.pro、Flux1.dev、Flux1.schnell、SDXL和DALL-E 3）发送随机生成的提示字符串，并经过半手动筛选过程生成。其核心研究问题在于通过控制文本提示中的各种面部属性，如种族、姿势、配饰、发型和发色、表情、背景和光线等，实现前所未有的面部属性多样性和变异性。该数据集不仅在图像质量上超越了SFHQ数据集，还因其合成性质而避免了隐私和许可问题，对文本到图像合成、人脸分析等机器学习任务具有重要影响。

当前挑战

SFHQ-T2I数据集在构建过程中面临多项挑战。首先，生成具有高度多样性和变异性的面部图像需要精确控制多个面部属性，这要求在提示生成和模型选择上进行精细调整。其次，不同文本到图像模型在生成质量和风格上存在显著差异，如DALL-E 3在生成面部图像时表现不佳，而Flux1.pro和Flux1.dev则表现出色，这需要在数据集构建时进行权衡和选择。此外，数据集的生成依赖于多个API，涉及API密钥的管理和成本控制，增加了数据集构建的复杂性。最后，尽管数据集避免了隐私问题，但在实际应用中，如何确保合成图像的真实性和适用性仍是一个重要挑战。

常用场景

经典使用场景

在文本到图像合成领域，SFHQ-T2I数据集的经典使用场景主要集中在训练和评估生成对抗网络（GANs）以及变分自编码器（VAEs）。通过提供大量高质量的合成面部图像及其对应的文本描述，该数据集能够显著提升模型在生成逼真面部图像方面的性能。此外，研究人员还可以利用该数据集进行面部属性分析，探索不同文本提示对生成图像的影响，从而优化文本到图像的转换过程。

解决学术问题

SFHQ-T2I数据集通过提供高度多样化的合成面部图像，解决了现有面部数据集在多样性和可控性方面的不足。该数据集不仅涵盖了广泛的面部属性，如种族、年龄、表情和发型，还通过文本提示实现了对这些属性的精细控制。这使得研究人员能够在不受隐私和版权限制的情况下，深入探索面部图像生成和分析的复杂性，推动了相关领域的学术研究进展。

实际应用

在实际应用中，SFHQ-T2I数据集可用于开发和测试面部识别系统、虚拟现实中的面部动画生成以及个性化内容创作工具。由于所有图像均为合成生成，不存在隐私和版权问题，因此该数据集在需要大量面部图像的场景中具有显著优势。例如，在影视制作中，可以使用该数据集训练模型，生成逼真的演员面部动画，从而减少实际拍摄的成本和时间。

数据集最近研究

最新研究方向

在人脸分析与生成领域，SFHQ-T2I数据集因其高分辨率和多样化的合成图像而备受关注。最新研究方向主要集中在利用该数据集提升文本到图像合成模型的性能，特别是在处理复杂面部特征和环境条件下的表现。此外，研究者们也在探索如何通过该数据集训练更精准的人脸识别和表情分析模型，以及在增强现实和虚拟现实中的应用。这些研究不仅推动了人工智能技术在视觉领域的进步，也为解决隐私和版权问题提供了新的思路。