FairJob

FairJob数据集由Criteo AI Lab和Université Paris Dauphine-PSL创建，专注于在线职位推荐广告的公平性研究。该数据集包含大量匿名用户上下文和发布者特征，来源于为期5个月的职位定向广告活动。数据集通过非均匀子采样和特征随机投影进行处理，以保护商业机密并防止原始特征或用户上下文的恢复。尽管缺乏明确的敏感属性，数据集通过代理属性保持了预测能力，适用于探索广告过程中的不公平性及其缓解技术。The FairJob dataset was created by Criteo AI Lab and Université Paris Dauphine-PSL, focusing on fairness research for online job recommendation advertisements. It includes a large number of anonymous user contexts and publisher features, which are derived from a 5-month job-targeted advertising campaign. The dataset was processed via non-uniform subsampling and random feature projection to protect trade secrets and prevent the recovery of original features or user contexts. Although it lacks explicit sensitive attributes, the dataset retains predictive power through proxy attributes, making it suitable for exploring unfairness in the advertising process and corresponding mitigation techniques.

搜集汇总

数据集介绍

构建方式

FairJob数据集是在线广告领域中的公平性研究而设计的，它收集了5个月的针对性招聘活动数据。数据集包含匿名化的用户上下文和发布商特征，这些数据经过非均匀抽样以避免泄露商业指标，并对其进行了匿名化处理以保护商业机密。尽管数据集不包含明确的敏感属性，如性别，但它包含了一个由非敏感相关属性推导出的性别代理估计值。尽管数据被匿名化并包含了一个敏感属性的代理，但我们的数据集仍然保留了预测能力，并保持了一个现实和具有挑战性的基准。

特点

FairJob数据集的特点包括：1) 大规模且真实世界场景的数据集，包含1072226条记录，用于学习点击预测模型并评估其预测在不同性别群体之间的偏差；2) 数据集包含了用户和产品特征，包括20个分类特征和39个数值特征，以及点击标签和性别代理等；3) 数据集在保护隐私的同时，保留了预测能力，使得研究人员可以在不泄露用户隐私的情况下研究算法公平性问题。

使用方法

使用FairJob数据集的方法包括：1) 数据预处理：对数据集中的分类和数值特征进行嵌入处理，以适应机器学习模型的输入要求；2) 模型训练：使用不同的训练策略，如不包括保护属性、使用保护属性和不公平性惩罚等，来训练机器学习模型；3) 模型评估：使用公平性指标和性能指标来评估模型的公平性和预测能力，如人口统计平衡性、点击率等。

背景与挑战

背景概述

FairJob 数据集是一个关注在线系统中公平性的现实世界数据集，专门为广告中的工作推荐而设计。该数据集由 Criteo AI Lab 的 Mariia Vladimirova 和 Eustache Diemert 以及 Université Paris Dauphine-PSL 的 Federico Pavone 共同创建，旨在促进算法公平性在现实世界场景中的研究。数据集的收集和准备符合隐私标准和商业机密性。由于缺乏对受保护用户属性（如性别）的访问，FairJob 提出了一个解决方案来获得代理估计。尽管数据集经过匿名化并包含敏感属性的代理，但仍然保留了预测能力，并维持了一个现实且具有挑战性的基准。FairJob 数据集填补了广告等高影响力领域中公平性资源可用性的重大空白，因为访问或无法访问宝贵的就业机会的实际影响，以及在平衡公平性和实用性方面的常见工业挑战。该数据集还探索了广告过程中可能发生不公平的各个阶段，并引入了一种方法来计算在线系统中工作推荐案例的公平效用指标，即使从有偏见的数据集中也可以。在发布的 FairJob 数据集上对偏差缓解技术的实验评估表明，公平性有所提高，并且与实用性存在相关权衡。

当前挑战

FairJob 数据集面临的关键挑战包括：1) 解决领域问题，特别是在线广告中的算法歧视问题；2) 构建过程中遇到的挑战，如隐私保护、敏感属性的代理估计以及数据集的真实性和挑战性。FairJob 数据集旨在解决现有公平性研究中存在的数据集可用性问题，特别是针对表格数据的研究。此外，由于隐私限制或法律限制，AI 系统通常无法访问受保护的属性，因此 FairJob 提出了在没有受保护属性信息的情况下如何进行公平性研究的挑战。FairJob 数据集还面临数据不平衡和混合类型列的处理问题，这对训练鲁棒和公平的机器学习模型构成了挑战。最后，由于缺乏对敏感信息的直接访问，FairJob 数据集的公平性和实用性之间的权衡评估也面临挑战。

常用场景

经典使用场景

FairJob数据集是一个为在线系统中的公平性研究而设计的公平意识数据集，特别是在招聘广告领域。该数据集旨在促进在现实世界场景中对算法公平性的研究，同时符合隐私标准和商业保密性。尽管数据集已经匿名化并包含敏感属性的代理估计，但它仍然保留了预测能力，并保持了一个现实和有挑战性的基准。FairJob数据集填补了在广告等高影响力领域缺乏公平性资源的空白，这些领域中的实际影响是是否能够获得宝贵的就业机会，而平衡公平性和实用性是一个常见的工业挑战。此外，该数据集还探索了广告过程中可能出现不公平性的各个阶段，并介绍了一种计算在线系统中工作推荐公平性度量的方法，以应对来自有偏见数据集的情况。对发布数据集上的偏差缓解技术的实验评估表明，可以在公平性和与实用性相关的权衡方面取得潜在改进。

实际应用

FairJob数据集的实际应用场景包括招聘广告、在线招聘平台、职业推荐系统等。这些系统通常使用算法来匹配求职者与职位，以确保公平性和实用性。FairJob数据集可以帮助这些系统开发更公平的算法，以减少对受保护群体的歧视，并提供更准确的职位推荐。此外，FairJob数据集还可以用于评估和改进现有的公平性技术和方法，以提高在线系统中的公平性。

衍生相关工作

FairJob数据集的发布已经催生了一系列相关的研究工作，包括算法公平性、偏差缓解技术和隐私保护数据发布等。例如，一些研究人员使用FairJob数据集来评估和比较不同的偏差缓解技术，如公平性惩罚、对抗性算法和预处理校正等。此外，FairJob数据集还被用于探索和改进隐私保护数据发布技术，以保护敏感信息的同时，仍然保留数据的预测能力。FairJob数据集的发布为算法公平性研究提供了一个重要的基准数据集，推动了该领域的发展，并为实际应用中的公平性挑战提供了新的解决方案。