OpenRL/DeepFakeFace

--- license: openrail task_categories: - image-to-image language: - en tags: - deepfake - diffusion model pretty_name: DeepFakeFace' --- ``` --- license: apache-2.0 --- ``` The dataset accompanying the paper "Robustness and Generalizability of Deepfake Detection: A Study with Diffusion Models". [[Website](https://sites.google.com/view/deepfakeface/home)] [[paper](https://arxiv.org/abs/2309.02218)] [[GitHub](https://github.com/OpenRL-Lab/DeepFakeFace)]. ### Introduction Welcome to the **DeepFakeFace (DFF)** dataset! Here we present a meticulously curated collection of artificial celebrity faces, crafted using cutting-edge diffusion models. Our aim is to tackle the rising challenge posed by deepfakes in today's digital landscape. Here are some example images in our dataset:  Our proposed DeepFakeFace(DFF) dataset is generated by various diffusion models, aiming to protect the privacy of celebrities. There are four zip files in our dataset and each file contains 30,000 images. We maintain the same directory structure as the IMDB-WIKI dataset where real images are selected. - inpainting.zip is generated by the Stable Diffusion Inpainting model. - insight.zip is generated by the InsightFace toolbox. - text2img.zip is generated by Stable Diffusion V1.5 - wiki.zip contains original real images selected from the IMDB-WIKI dataset. ### DeepFake Dataset Compare We compare our dataset with previous datasets here:  ### Experimental Results Performance of RECCE across different generators, measured in terms of Acc (%), AUC (%), and EER (%):  Robustness evaluation in terms of ACC(%), AUC (%) and EER(%):  ### Cite Please cite our paper if you use our codes or our dataset in your own work: ``` @misc{song2023robustness, title={Robustness and Generalizability of Deepfake Detection: A Study with Diffusion Models}, author={Haixu Song and Shiyu Huang and Yinpeng Dong and Wei-Wei Tu}, year={2023}, eprint={2309.02218}, archivePrefix={arXiv}, primaryClass={cs.CV} } ```数据集元信息如下： 许可证：OpenRail许可证 任务类别：图像到图像任务 语言：英语 标签：深度伪造（deepfake）、扩散模型（diffusion model） 展示名称：DeepFakeFace' 本数据集采用Apache 2.0开源许可证。 本数据集为论文《Robustness and Generalizability of Deepfake Detection: A Study with Diffusion Models》的配套数据集。[[网站](https://sites.google.com/view/deepfakeface/home)] [[论文](https://arxiv.org/abs/2309.02218)] [[GitHub仓库](https://github.com/OpenRL-Lab/DeepFakeFace)] ### 数据集介绍 欢迎使用**DeepFakeFace（DFF）**数据集！本数据集精心甄选了一批由前沿扩散模型生成的人工名人面部图像，旨在应对当前数字环境中日益严峻的深度伪造挑战。 以下为本数据集的部分示例图像：  我们提出的DeepFakeFace（简称DFF）数据集由多种扩散模型生成，旨在保护名人隐私。数据集共包含四个压缩包，每个压缩包内含30000张图像，目录结构与选取了真实图像的IMDB-WIKI数据集保持一致： - inpainting.zip：由Stable Diffusion Inpainting模型生成 - insight.zip：由InsightFace工具包生成 - text2img.zip：由Stable Diffusion V1.5生成 - wiki.zip：包含从IMDB-WIKI数据集中选取的原始真实图像 ### 深度伪造数据集对比 我们将本数据集与此前发布的数据集进行了对比：  ### 实验结果 以准确率（Acc，%）、AUC值（%）与等错误率（EER，%）为衡量指标，RECCE模型在不同生成器上的性能表现如下：  以ACC(%)、AUC (%)和EER(%)为评估指标的鲁棒性测试结果如下：  ### 引用说明 若您在研究工作中使用了本代码或数据集，请引用我们的论文： @misc{song2023robustness, title={Robustness and Generalizability of Deepfake Detection: A Study with Diffusion Models}, author={Haixu Song and Shiyu Huang and Yinpeng Dong and Wei-Wei Tu}, year={2023}, eprint={2309.02218}, archivePrefix={arXiv}, primaryClass={cs.CV} }

原始信息汇总

数据集概述

• 名称: DeepFakeFace (DFF)
• 许可证: Apache-2.0
• 任务类别: 图像到图像
• 语言: 英语
• 标签: 深度伪造, 扩散模型
• 描述: 该数据集包含使用扩散模型精心制作的名人假脸图像，旨在应对数字环境中深度伪造的挑战。

数据集内容

• 图像数量: 每个zip文件包含30,000张图像，共四个zip文件。
• 图像来源:
  • inpainting.zip: 由Stable Diffusion Inpainting模型生成。
  • insight.zip: 由InsightFace工具箱生成。
  • text2img.zip: 由Stable Diffusion V1.5生成。
  • wiki.zip: 包含从IMDB-WIKI数据集中选取的真实图像。

数据集结构

• 目录结构: 与IMDB-WIKI数据集的目录结构保持一致。

引用信息

• 论文:

  @misc{song2023robustness, title={Robustness and Generalizability of Deepfake Detection: A Study with Diffusion Models}, author={Haixu Song and Shiyu Huang and Yinpeng Dong and Wei-Wei Tu}, year={2023}, eprint={2309.02218}, archivePrefix={arXiv}, primaryClass={cs.CV} }

搜集汇总

数据集介绍

构建方式

OpenRL/DeepFakeFace数据集的构建，是在深度学习框架下，运用多种先进扩散模型精心制作的合成名人面部图像集。该数据集由四个压缩文件组成，各包含30,000张图像，分别是通过Stable Diffusion Inpainting模型、InsightFace工具箱、Stable Diffusion V1.5模型生成的图像，以及从IMDB-WIKI数据集中选取的真实图像。这一构建方式旨在保护名人的隐私，同时保持与IMDB-WIKI数据集相同的目录结构，以便于研究者之间的数据对比和模型训练。

特点

本数据集的特点在于其采用深度学习扩散模型生成的高质量合成图像，能够有效模拟现实中的深度伪造现象。其图像多样性和高质量使得DeepFakeFace数据集成为研究和评估深度伪造检测算法鲁棒性和泛化能力的重要资源。数据集的比较分析显示，其性能优于先前的一些数据集，为学术界和产业界提供了新的研究视角和测试基准。

使用方法

使用DeepFakeFace数据集时，用户可以从官方网站获取数据集，并根据需要选择不同的数据子集进行实验。由于数据集包含了多种生成方式的图像，用户可以针对不同生成模型进行深入的分析和比较。在使用数据集进行研究时，应遵循Apache-2.0开源协议，并在研究成果中引用相关论文，以尊重数据集的版权和使用规定。

背景与挑战

背景概述

在数字技术迅猛发展的当下，人脸伪造技术，尤其是深度伪造（deepfake）的兴起，对个人隐私和网络安全构成了严重威胁。在此背景下，'Robustness and Generalizability of Deepfake Detection: A Study with Diffusion Models' 论文伴随的 DeepFakeFace (DFF) 数据集应运而生。该数据集由OpenRL实验室于2023年创建，主要研究人员包括Haixu Song、Shiyu Huang、Yinpeng Dong和Wei-Wei Tu。该数据集旨在通过运用先进的扩散模型生成的人工名人面部图像，以应对日益严峻的深度伪造挑战，为深度伪造检测的研究提供了重要资源，对网络安全领域产生了显著影响。

当前挑战

DeepFakeFace 数据集在构建过程中面临诸多挑战。首先，如何生成既能保持名人隐私又具备高真实性的伪造图像是一大难题。其次，数据集在生成过程中需确保各类扩散模型的一致性和多样性。此外，该数据集在解决深度伪造检测问题的同时，还需面对模型泛化能力、鲁棒性评估以及与其他数据集的比较等挑战。这些问题的解决对于提升深度伪造检测技术的实用性和有效性至关重要。

常用场景

经典使用场景

在当前数字化时代，**DeepFakeFace (DFF)** 数据集应运而生，其经典的使用场景在于为深度伪造检测算法提供高质量的训练与测试材料。该数据集包含利用先进扩散模型生成的名人合成图像，旨在通过模拟真实的深度伪造场景，助力相关算法的稳健性和泛化能力的提升。

实际应用

在现实应用中，**DeepFakeFace (DFF)** 数据集的应用范围广泛，从社交媒体平台的伪造内容审核到个人隐私保护，均能发挥重要作用。它为开发高效、准确的深度伪造检测工具提供了坚实的基础，有助于维护数字世界的真实性和安全性。

衍生相关工作

基于**DeepFakeFace (DFF)** 数据集，学术界已衍生出一系列相关工作，包括但不限于改进的深度伪造检测模型、新型扩散模型的研究，以及针对深度伪造技术的伦理和法律问题的探讨。这些工作进一步扩展了该数据集的应用边界，对促进相关领域的研究进展具有重要意义。