DemOgraphic FActualIty Representation (DoFaiR)

DemOgraphic FActualIty Representation (DoFaiR)数据集由加州大学洛杉矶分校创建，旨在评估文本到图像模型在多样性和事实性之间的平衡。该数据集包含756条记录，涉及不同的历史事件、参与者和相应的人口统计信息。数据集的创建过程包括从维基百科文档中提取可验证的事件特定和参与者特定的人口统计信息，并通过自动化流程进行事实核查。DoFaiR数据集主要应用于评估和改善文本到图像模型在生成历史人物图像时的人口统计事实性，特别是在多样性干预下保持历史准确性的能力。Demographic Factuality Representation (DoFaiR) dataset was developed by the University of California, Los Angeles (UCLA) to evaluate the balance between diversity and factuality of text-to-image models. This dataset contains 756 records covering various historical events, participants and their corresponding demographic information. The dataset creation workflow includes extracting verifiable event-specific and participant-specific demographic information from Wikipedia documents, followed by fact-checking via automated processes. The DoFaiR dataset is primarily utilized to assess and improve the demographic factuality of text-to-image models when generating images of historical figures, particularly their ability to maintain historical accuracy under diversity interventions.

搜集汇总

数据集介绍

构建方式

DoFaiR数据集的构建方式独特，旨在评估文本到图像模型在描述历史事件中的代表性个体时，如何平衡多样性干预与人口事实性之间的权衡。数据集由756个经过精心核查的测试实例组成，通过自动化的证据支持评估流程，揭示了不同多样性提示的事实性成本。为了构建数据集，研究团队首先使用基于描述符的种子提示生成历史事件和参与者，然后通过检索基于事实的标签，从维基百科文档中提取事件特定和参与者特定的人口信息。最终，数据集包括不同历史事件、参与者类别和相应的地面真实人口信息。

特点

DoFaiR数据集的特点在于其系统性，它不仅提供了历史事件中代表性个体的人口分布，还包括了主导和参与种族/性别群体的人口信息。数据集涵盖了广泛的种族和性别群体，确保了数据的多样性和平衡性。此外，数据集还经过了人工验证，确保了其高的事实性和准确性。

使用方法

DoFaiR数据集的使用方法包括三个步骤：首先，使用文本到图像模型生成包含历史事件中代表性个体的图像；其次，使用自动化的管道检测图像中的人脸，并使用FairFace人口分类器识别种族或性别特征，从而获得生成图像中的人口分布；最后，将生成的图像中的人口分布与地面真实人口分布进行比较，以定量评估生成的事实性水平。此外，DoFaiR数据集还支持使用事实增强干预（FAI）方法来提高人口事实性，通过将历史事实知识融入图像生成指令中。

背景与挑战

背景概述

随着文本到图像（Text-to-Image, T2I）模型在描绘具有不同种族或性别特征的个人方面的广泛应用，一个关键问题浮出水面：在生成历史人物时，基于提示的“多样性干预”策略是否会导致非事实的人口分布？为了系统地量化使用多样性干预与保留人口事实性之间的权衡，Wan等人提出了一个名为DemOgraphic FActualIty Representation (DoFaiR)的基准。DoFaiR由756个经过精心事实检查的测试实例组成，通过自动化的证据支持的评估流程揭示了各种多样性提示的事实性成本。DoFaiR的创建旨在填补现有研究中缺乏评估基准和有效解决方案的空白，为评估和缓解多样性干预带来的事实性“税”提供了宝贵的资源。

当前挑战

DoFaiR数据集面临着一些挑战。首先，它所解决的领域问题是T2I模型在描绘历史事件中的个人时如何平衡多样性和事实性。其次，构建DoFaiR过程中遇到的挑战包括：1)缺乏评估基准来量化非事实性生成的严重程度；2)没有先前的工作提出在多样性和事实性之间取得平衡的有效解决方案。为了解决这些问题，研究人员提出了Fact-Augmented Intervention (FAI)方法，该方法指导大型语言模型（LLM）反思关于性别和种族构成的历史事实，并将其纳入T2I模型的生成背景中。通过使用反映的历史真相引导模型生成，FAI显著提高了多样性干预下的人口事实性，同时保持了多样性。

常用场景

经典使用场景

DemOgraphic FActualIty Representation (DoFaiR) 数据集是一个旨在系统量化在多样性干预与保持人口统计学事实性之间的权衡的基准。该数据集包含 756 个精心核实的事实检查测试实例，通过自动化的证据支持评估流程揭示了各种多样性提示的事实性税。DoFaiR 的经典使用场景是评估文本到图像（T2I）模型中多样性干预对人口统计学事实性的影响。例如，使用 DoFaiR 评估 DALLE-3 等模型在生成具有不同种族或性别特征的个人图像时，多样性干预是否会以牺牲历史准确性的人口统计学分布为代价。

衍生相关工作

DoFaiR 数据集衍生了 Fact-Augmented Intervention (FAI) 相关的经典工作。FAI 是一种新的方法，旨在通过将历史事实性知识整合到 T2I 模型的生成上下文中来指导模型的人口统计学事实性。FAI 包括两种知识增强方法：FAI-VK，它使用来自强大语言模型（LLM）的口头事实知识；FAI-RK，它采用基于检索的知识提取流程。FAI 的意义和影响在于它提供了一种有效的方法来解决 T2I 模型在生成具有多样性干预的历史人物图像时可能出现的人口统计学事实性问题。

数据集最近研究

最新研究方向

近期研究聚焦于DoFaiR数据集在文本到图像生成（T2I）模型中的前沿应用。该研究揭示了在T2I模型中，为了实现多样性干预，模型可能会牺牲历史人口事实的准确性，从而引发了事实性的权衡。DoFaiR通过自动化证据支持的评价流程，对多样性提示的事实性税收进行了系统量化，提出了事实增强干预（FAI）策略，旨在在多样性干预下显著提高人口事实性，同时保持多样性，为T2I模型中事实性和多样性的平衡提供了新的思路和解决方案。

相关研究论文

• The Factuality Tax of Diversity-Intervened Text-to-Image Generation: Benchmark and Fact-Augmented Intervention

  加州大学洛杉矶分校 · 2024年