inseq/disc_eval_mt

DiscEvalMT数据集包含用于解决代词指代消解和词汇选择（消歧和连贯性）上下文感知翻译的英语到法语翻译。此版本的DiscEvalMT数据集进一步标注了数据集示例中的模糊跨度和支持上下文，以便与SCAT的高亮方案对齐，从而实现对上下文感知NMT模型的细粒度评估。数据集包含两个配置（anaphora和lexical-choice），每个配置包含200个测试示例。数据集由专家手动创建，并添加了上下文使用注释。数据集发布在CC-BY-SA 4.0许可证下。

The DiscEvalMT dataset consists of English-to-French translation instances targeting context-aware translation tasks involving pronoun resolution and lexical choice, including disambiguation and coherence issues. This version of the DiscEvalMT dataset further annotates ambiguous spans and supporting contexts within the dataset examples, aligning with the highlighting scheme of SCAT to enable fine-grained evaluation of context-aware NMT models. The dataset includes two configurations: anaphora and lexical-choice, each containing 200 test instances. It was manually curated by domain experts, with additional annotations for context usage. The dataset is released under the CC-BY-SA 4.0 license.

原始信息汇总

数据集概述

数据集描述

数据集摘要

DiscEvalMT 数据集包含用于解决代词回指解析和词汇选择（消歧和衔接）上下文感知翻译中歧义的英法翻译。该版本的 DiscEvalMT 数据集进一步注释了数据集中示例的模糊跨度和支持上下文，以与 SCAT 的高亮方案对齐，从而实现上下文感知 NMT 模型中上下文使用情况的粒度评估。

支持的任务和排行榜

机器翻译

参考原始论文 Evaluating Discourse Phenomena in Neural Machine Translation 以获取使用 DiscEvalMT 评估话语级现象的更多细节。

语言

数据集包含手工制作的英法翻译示例，包含代词回指或词汇选择项。示例使用现有的 OpenSubtitles 2016 句子作为词汇和句法结构的参考。

数据集结构

数据实例

数据集包含两个配置（anaphora 和 lexical-choice），每个配置仅包含 200 个测试示例。数据集示例格式如下：

json { "id": 0, "context_en": "The buildings will be finished next week.", "en": "Soon they will be full of new residents.", "context_fr": "Les bâtiments seront terminés la semaine prochaine.", "fr": "Ils seront bientôt pleins de nouveaux résidents.", "contrast_fr": "Elles seront bientôt pleines de nouveaux résidents.", "context_en_with_tags": "The <hon>buildings<hoff> will be finished next week.", "en_with_tags": "Soon <p>they</p> will be full of new residents.", "context_fr_with_tags": "Les <hon>bâtiments<hoff> seront terminés la semaine prochaine.", "fr_with_tags": "<p>Ils</p> seront bientôt pleins de nouveaux résidents.", "contrast_fr_with_tags": "<p>Elles</p> seront bientôt pleines de nouveaux résidents.", "type": "m.pl" }

在每个示例中，上下文相关的感兴趣单词及其翻译被 <p>...</p> 标签包围。这些标签保证在 en_with_tags、fr_with_tags 和 contrast_fr_with_tags 字段中找到。

任何被 <hon>...<hoff> 标签包围的跨度都由人工注释者识别为支持上下文，这些跨度仅在 context_en_with_tags 和 context_fr_with_tags 字段中找到。

数据集创建

数据集由原始作者手动创建，上下文使用注释由 Quantifying the Plausibility of Context Reliance in Neural Machine Translation 的作者添加，用于合理性分析目的。

额外预处理

与原始 DiscEvalMT 语料库相比，该数据集进行了轻微调整。

额外信息

数据集策展人

DiscEvalMT 的原始作者是原始发布数据集的策展人。对于此 🤗 Datasets 版本的问题或更新，请联系 [e-mail]。

许可信息

数据集在原始 CC-BY-SA 4.0 许可下发布。

引用信息

如果您在工作中使用此语料库，请引用作者。

原始 DiscEval-MT

bibtex @inproceedings{bawden-etal-2018-evaluating, title = "Evaluating Discourse Phenomena in Neural Machine Translation", author = "Bawden, Rachel and Sennrich, Rico and Birch, Alexandra and Haddow, Barry", booktitle = {{Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)}}, month = jun, year = "2018", address = "New Orleans, Louisiana", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/N18-1118", doi = "10.18653/v1/N18-1118", pages = "1304--1313" }

注释版本

bibtex @inproceedings{sarti-etal-2023-quantifying, title = "Quantifying the Plausibility of Context Reliance in Neural Machine Translation", author = "Sarti, Gabriele and Chrupa{l}a, Grzegorz and Nissim, Malvina and Bisazza, Arianna", booktitle = "The Twelfth International Conference on Learning Representations (ICLR 2024)", month = may, year = "2024", address = "Vienna, Austria", publisher = "OpenReview", url = "https://openreview.net/forum?id=XTHfNGI3zT" }

搜集汇总

数据集介绍

构建方式

DiscEvalMT数据集由领域专家手工构建，旨在评估上下文感知神经机器翻译模型在处理语篇现象时的表现。数据集的构建基于OpenSubtitles 2016语料库中的句子，通过人工创作的方式生成包含回指代词或词汇选择歧义的英法翻译实例。每个实例均包含源语言与目标语言的上下文及待翻译句子，并由专家标注出歧义词汇及其对应的支持性上下文片段。此外，为了与SCAT高亮方案兼容，数据集额外添加了精细的标注信息，使得模型在翻译过程中对上下文依赖程度得以量化分析。

特点

该数据集包含两个子配置：回指消解与词汇选择，各含200个测试样例。其独特之处在于每个实例均提供带标签与无标签两种版本，其中带标签版本使用<p>...</p>标记歧义词汇，使用<hon>...<hoff>标记支持性上下文，便于直接用于模型输入与细粒度评估。数据集的标注由专家完成，确保了标注质量与可靠性。通过引入对比翻译（contrast_fr），数据集能够有效衡量模型在不同上下文条件下选择正确翻译的能力，从而深入揭示模型对语篇信息的利用程度。

使用方法

用户可通过HuggingFace Datasets库直接加载该数据集，调用load_dataset('inseq/disc_eval_mt')即可获取。数据集支持anaphora与lexical-choice两种配置，用户可根据研究需求选择相应子集。每个样本包含上下文、待翻译句子及带标签文本，可直接用于机器翻译模型的输入与评估。推荐结合SCAT工具进行上下文依赖性的量化分析，通过比较模型在有无上下文支持情况下的翻译输出，评估其对语篇现象的敏感度。数据集亦可作为基准测试，用于对比不同模型在回指消解与词汇选择任务上的表现。

背景与挑战

背景概述

DiscEvalMT数据集由Rachel Bawden等研究人员于2018年在NAACL会议上提出，旨在评估神经机器翻译模型在处理语篇层面现象时的能力。该数据集聚焦于英法翻译中的代词回指消解和词汇选择歧义，通过手工构建的200个测试样本，每个样本均包含歧义代词或词汇项及其对应的上下文信息。其核心研究问题在于揭示上下文感知的神经机器翻译模型是否能够有效利用语篇线索实现准确翻译。该数据集的影响力在于为语篇级机器翻译评估提供了标准化基准，后续由Sarti等人于2024年进一步标注了歧义跨度与支持上下文，使其与SCAT高亮方案兼容，从而推动了上下文利用可解释性研究的发展。

当前挑战

DiscEvalMT所解决的领域问题在于神经机器翻译模型对语篇现象的建模不足，尤其是代词回指消解和词汇选择一致性，这些任务要求模型超越句子级理解，整合跨句上下文信息。构建过程中面临的核心挑战包括：手工设计涵盖多种歧义类型的测试样本，需确保每个示例的上下文足以唯一确定正确翻译；对歧义代词及其支持上下文进行精确标注，以区分模型是否真正依赖上下文而非随机猜测；此外，还需平衡数据集规模与覆盖度，仅200个样本难以全面反映真实翻译中的语篇复杂性，但精心设计的示例仍能有效暴露模型在局部上下文利用上的缺陷。

常用场景

经典使用场景

DiscEvalMT数据集专为评估上下文感知神经机器翻译模型在篇章级语言现象上的表现而设计，尤其聚焦于英语到法语翻译中的代词回指消解与词汇选择歧义。其经典使用场景是通过人工构造的对照样本，检验模型能否利用前文语境（如名词的性数信息）正确翻译代词（如英语“they”对应法语的“ils”或“elles”），以及区分同义词在连贯文本中的恰当选用。该数据集仅含测试集，每类现象200例，并附带专家标注的支撑语境跨度标签，支持细粒度的归因分析。

解决学术问题

该数据集系统性地解决了神经机器翻译中篇章连贯性评估匮乏的学术难题。传统翻译质量评测多聚焦于句子级语义忠实度，而DiscEvalMT首次提供标准化基准，量化模型在处理回指、词汇衔接等话语现象时的性能缺陷。它揭示了主流NMT系统在依赖上下文信息解决形态句法歧义方面的薄弱环节，推动了从孤立句子翻译向篇章级翻译的范式转变。其意义在于为后续研究提供了可复现的评估协议，并催生了对上下文利用合理性的理论探讨。

衍生相关工作

基于DiscEvalMT衍生了一系列影响深远的研究工作。Bawden等人（2018）在NAACL上发表的原始论文首次确立了篇章级NMT评估框架；而Sarti等人（2024）在ICLR上提出的带标注版本，通过引入支撑语境跨度标签，开创了上下文利用合理性量化的新方向，启发了后续如SCAT归因方法及对比解码策略的研究。该数据集还被广泛用作跨语言回指解析测试床，催生了融合语篇结构先验的翻译预训练模型，并成为多任务学习范式中篇章理解与生成耦合评估的标准组件。