gsarti/mt_geneval

MT-GenEval基准测试用于评估从英语到阿拉伯语、法语、德语、印地语、意大利语、葡萄牙语、俄语和西班牙语的性别翻译准确性。数据集包含带有性别化目标词注释的单个句子，以及带有额外上下文的对比性原始-反转翻译。数据集分为两种配置类型：`sentences`和`context`，分别包含单个句子和带有上下文的句子。数据集的大小在1K到10K之间，且由专家生成。

MT-GenEval is a benchmark for evaluating gender translation accuracy from English into Arabic, French, German, Hindi, Italian, Portuguese, Russian, and Spanish. The dataset comprises individual sentences annotated with gendered target words, as well as contrasting original-inverted translations with additional context. It is divided into two configuration types: `sentences` and `context`, which contain single sentences and context-augmented sentences respectively. The dataset size ranges from 1K to 10K, and it is expert-generated.

原始信息汇总

数据集卡片 for MT-GenEval

数据集描述

数据集摘要

MT-GenEval 基准评估了从英语到 {阿拉伯语, 法语, 德语, 印地语, 意大利语, 葡萄牙语, 俄语, 西班牙语} 的性别翻译准确性。该数据集包含带有性别目标词注释的单个句子，以及带有额外前置上下文的对比原始-反转翻译。

支持的任务和排行榜

机器翻译

有关使用 MT-GenEval 进行性别准确性评估的更多详细信息，请参阅原始论文。

语言

该数据集包含从维基百科提取的源英语句子，翻译成以下语言：阿拉伯语 (ar)、法语 (fr)、德语 (de)、印地语 (hi)、意大利语 (it)、葡萄牙语 (pt)、俄语 (ru) 和西班牙语 (es)。

数据集结构

数据实例

数据集包含两种配置类型，sentences 和 context，反映了原始仓库结构，源语言和目标语言在配置名称中指定（例如 sentences_en_ar，context_en_it）。sentences 配置包含带有性别词注释的单个句子的男性化和女性化版本。以下是 sentences_en_it 分割的一个示例条目（所有 sentences_en_XX 分割具有相同的结构）：

json { "orig_id": 0, "source_feminine": "Pagratidis quickly recanted her confession, claiming she was psychologically pressured and beaten, and until the moment of her execution, she remained firm in her innocence.", "reference_feminine": "Pagratidis subito ritrattò la sua confessione, affermando che era aveva subito pressioni psicologiche e era stata picchiata, e fino al momento della sua esecuzione, rimase ferma sulla sua innocenza.", "source_masculine": "Pagratidis quickly recanted his confession, claiming he was psychologically pressured and beaten, and until the moment of his execution, he remained firm in his innocence.", "reference_masculine": "Pagratidis subito ritrattò la sua confessione, affermando che era aveva subito pressioni psicologiche e era stato picchiato, e fino al momento della sua esecuzione, rimase fermo sulla sua innocenza.", "source_feminine_annotated": "Pagratidis quickly recanted <F>her</F> confession, claiming <F>she</F> was psychologically pressured and beaten, and until the moment of <F>her</F> execution, <F>she</F> remained firm in <F>her</F> innocence.", "reference_feminine_annotated": "Pagratidis subito ritrattò la sua confessione, affermando che era aveva subito pressioni psicologiche e era <F>stata picchiata</F>, e fino al momento della sua esecuzione, rimase <F>ferma</F> sulla sua innocenza.", "source_masculine_annotated": "Pagratidis quickly recanted <M>his</M> confession, claiming <M>he</M> was psychologically pressured and beaten, and until the moment of <M>his</M> execution, <M>he</M> remained firm in <M>his</M> innocence.", "reference_masculine_annotated": "Pagratidis subito ritrattò la sua confessione, affermando che era aveva subito pressioni psicologiche e era <M>stato picchiato</M>, e fino al momento della sua esecuzione, rimase <M>fermo</M> sulla sua innocenza.", "source_feminine_keywords": "her;she;her;she;her", "reference_feminine_keywords": "stata picchiata;ferma", "source_masculine_keywords": "his;he;his;he;his", "reference_masculine_keywords": "stato picchiato;fermo" }

context 配置包含与刻板职业角色相关的不同英语源，带有额外的前置上下文和对比原始-反转翻译。以下是 context_en_it 分割的一个示例条目（所有 context_en_XX 分割具有相同的结构）：

json { "orig_id": 0, "context": "Pierpont told of entering and holding up the bank and then fleeing to Fort Wayne, where the loot was divided between him and three others.", "source": "However, Pierpont stated that Skeer was the planner of the robbery.", "reference_original": "Comunque, Pierpont disse che Skeer era il pianificatore della rapina.", "reference_flipped": "Comunque, Pierpont disse che Skeer era la pianificatrice della rapina." }

数据分割

所有 sentences_en_XX 配置在 train 分割中有 1200 个示例，在 test 分割中有 300 个示例。对于 context_en_XX 配置，示例数量取决于语言对：

配置	# 训练	# 测试
context_en_ar	792	1100
context_en_fr	477	1099
context_en_de	598	1100
context_en_hi	397	1098
context_en_it	465	1904
context_en_pt	574	1089
context_en_ru	583	1100
context_en_es	534	1096

数据集创建

从原始论文中：

在开发 MT-GenEval 时，我们的目标是创建一个现实、性别平衡的数据集，自然地包含多样化的性别现象。为此，我们从维基百科中提取英语源句子作为我们数据集的基础。我们使用 EN 性别指代词基于 Zhao et al. (2018) 提供的列表自动预选相关句子。

有关数据集创建的更多信息，请参阅原始文章 MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating Gender Accuracy in Machine Translation。

附加信息

数据集策展人

MT-GenEval 的原始作者是该数据集的策展人。对于此 🤗 Datasets 版本的任何问题或更新，请联系 [e-mail]。

许可信息

该数据集根据 Creative Commons Attribution-ShareAlike 3.0 International License 进行许可。

引用信息

如果您在工作中使用这些语料库，请引用作者。

bibtex @inproceedings{currey-etal-2022-mtgeneval, title = "{MT-GenEval}: {A} Counterfactual and Contextual Dataset for Evaluating Gender Accuracy in Machine Translation", author = "Currey, Anna and Nadejde, Maria and Pappagari, Raghavendra and Mayer, Mia and Lauly, Stanislas, and Niu, Xing and Hsu, Benjamin and Dinu, Georgiana", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/2211.01355", }

搜集汇总

数据集介绍

构建方式

MT-GenEval基准数据集旨在评估机器翻译系统的性别翻译准确性，其构建过程严谨而细致。研究者从维基百科中提取英文源句，依据Zhao等人（2018）提供的英文性别指代词列表自动预选相关句子，确保数据自然涵盖多样的性别现象。通过生成对应的阳性和阴性版本句子，并标注性别化目标词，同时引入反事实原始与翻转翻译以及额外的上下文信息，形成了句子与上下文两种配置类型。最终，数据集覆盖了英语到八种目标语言（阿拉伯语、法语、德语、印地语、意大利语、葡萄牙语、俄语、西班牙语）的翻译对，实现了性别平衡与真实性的有机结合。

特点

该数据集的核心特色在于其反事实与上下文双重设计，能够精细评估机器翻译中性别准确性的细微差异。句子配置提供了带有性别词标注的阳性和阴性版本，便于直接比较翻译输出；上下文配置则融入职业刻板印象相关的前文，通过原始与翻转翻译的对比，揭示模型在处理性别歧义时的表现。数据集规模介于1千至1万之间，训练集与测试集划分明确，且所有条目均经专家标注，确保高质量与可靠性。这种结构化设计使其成为性别翻译评估领域的独特基准。

使用方法

在HuggingFace平台上，用户可通过加载gsarti/mt_geneval数据集轻松使用。使用时需指定配置名称，例如'sentences_en_it'或'context_en_fr'，以选择句子或上下文模式及目标语言。句子配置包含source_feminine、source_masculine等字段，可用于对比翻译结果的性别一致性；上下文配置则提供context、source及reference_original与reference_flipped字段，适合分析上下文对性别翻译的影响。用户可调用train和test分割进行模型评估或微调，并参考原始论文中的评估指标来量化性别准确性。

背景与挑战

背景概述

机器翻译中的性别准确性问题长期困扰着自然语言处理领域，传统评估基准往往忽视翻译过程中性别一致性这一微妙却关键的维度。在此背景下，由Amazon Science团队Anna Currey、Maria Nadejde等人于2022年在EMNLP会议上提出的MT-GenEval数据集应运而生。该数据集聚焦于英语至八种目标语言（包括阿拉伯语、法语、德语、印地语、意大利语、葡萄牙语、俄语和西班牙语）的翻译任务，通过从维基百科提取的句子构建了反事实与上下文感知的评估框架。其核心研究问题在于系统性地衡量机器翻译系统在性别指代上的准确度，尤其是针对不同语言中性别标记词的翻译一致性。MT-GenEval不仅为性别公平性评估提供了标准化基准，还推动了翻译模型在细粒度语言现象上的改进，成为该领域具有里程碑意义的资源。

当前挑战

MT-GenEval所解决的领域挑战在于机器翻译中性别准确性的量化评估难题，现有指标如BLEU无法捕捉性别指代的正确性，而性别偏见问题在翻译任务中尤为突出，例如职业名词的刻板印象化翻译。数据集构建过程中面临多重技术挑战：首先，需从大规模语料中自动筛选出包含性别指代词且语义平衡的句子，这依赖于Zhao等人提供的性别关键词列表，但不同语言中性别标记的形态复杂性（如俄语和德语的性数格变化）增加了标注难度；其次，为生成反事实样本（如将原文中的“her”替换为“his”），必须确保语义一致性而非简单替换，避免引入语法错误或语境矛盾；此外，上下文配置的创建需要额外提供前置语境以模拟真实翻译场景，而不同语言对中训练集与测试集样本数量的显著差异（如意大利语上下文测试集达1904例，而印地语仅397例训练样本）反映了资源稀缺语言的数据平衡挑战。

常用场景

经典使用场景

MT-GenEval数据集专为评估机器翻译中性别翻译准确性而设计，其经典使用场景在于对英文至八种目标语言（包括阿拉伯语、法语、德语、印地语、意大利语、葡萄牙语、俄语和西班牙语）的翻译系统进行细粒度的性别一致性评测。该数据集通过提供成对的原始与反转翻译样本，以及包含上下文信息的对比实例，使研究者能够系统地检验模型在处理性别指代、职业角色等敏感语义时的表现，从而揭示翻译系统在性别维度上的潜在偏差。

解决学术问题

该数据集旨在解决机器翻译领域长期存在的性别翻译不准确这一学术难题，具体包括模型对性别标记词的误译、对上下文性别线索的忽略，以及针对不同性别角色翻译的不一致性问题。通过构建反事实与上下文丰富的评估基准，MT-GenEval为研究者提供了量化翻译系统性别准确性的标准化工具，推动了公平性、包容性翻译模型的发展，并促进了跨语言性别语言学现象的深入理解。

衍生相关工作

MT-GenEval衍生了一系列重要研究工作，包括基于该基准提出的性别感知翻译优化算法、上下文敏感的性别消歧模型，以及多语言性别评估指标的改进方案。相关论文进一步探索了性别偏差在神经机器翻译中的传播机制，并开发了如对抗性训练、数据增强等缓解策略，这些工作共同推动了机器翻译领域性别公平性研究的系统化与标准化。