maximoss/mnli-nineeleven-fr-mt

该数据集包含2000个关于9/11恐怖袭击事件的机器翻译法语例子，源自MultiNLI数据集。这些例子不同于XNLI数据集中的验证和测试子集。数据集用于自然语言推理任务，涉及句子对的分类，包括前提、假设和分类标签等字段。数据集的翻译使用了最新的神经机器翻译模型。

原始信息汇总

数据集概述

数据集描述

• 语言: 法语 (fr)
• 大小: 1,000 < n < 10,000
• 许可证: BSD-2-Clause
• 任务类别:
  • 文本分类
  • 自然语言推理
  • 多输入文本分类

数据集总结

本数据集包含2000个关于9/11恐怖袭击事件的机器翻译法语版本的多NLI数据。这些例子与XNLI验证集和测试集中的例子不同。原始数据集中的26个无黄金标签的例子在本法语版本中已被赋予黄金标签。

支持的任务和排行榜

该数据集用于自然语言推理（NLI）任务，也称为识别文本蕴含（RTE），这是一个句子对分类任务。

数据集结构

数据字段

• premise: 目标语言中的机器翻译前提。
• hypothesis: 目标语言中的机器翻译假设。
• label: 分类标签，可能值为0（蕴含）、1（中性）、2（矛盾）。
• label_text: 分类标签，可能值为entailment（0）、neutral（1）、contradiction（2）。
• pairID: 对唯一标识符。
• promptID: 提示唯一标识符。
• premise_original: 英语源数据集中的原始前提。
• hypothesis_original: 英语源数据集中的原始假设。

数据分割

名称	蕴含	中性	矛盾
mnli_fr	705	641	654

数据集创建

数据集使用最新的神经机器翻译模型opus-mt-tc-big从英语机器翻译到法语。翻译工作于2023年3月29日完成。

引用信息

BibTeX:

BibTeX @InProceedings{N18-1101, author = "Williams, Adina and Nangia, Nikita and Bowman, Samuel", title = "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference", booktitle = "Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)", year = "2018", publisher = "Association for Computational Linguistics", pages = "1112--1122", location = "New Orleans, Louisiana", url = "http://aclweb.org/anthology/N18-1101" }

ACL:

Adina Williams, Nikita Nangia, and Samuel Bowman. 2018. A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 1112–1122, New Orleans, Louisiana. Association for Computational Linguistics.

搜集汇总

数据集介绍

构建方式

该数据集源自广为人知的MultiNLI语料库中针对9/11恐怖袭击事件的子集，原始英文样本经筛选后共包含2000条实例。为服务于法语自然语言推理研究，研究者采用当时先进的神经机器翻译模型opus-mt-tc-big-en-fr，于2023年3月29日将全部前提与假设语句从英语自动转换为法语。值得注意的是，原始子集中有26条样本缺失金标准标签，研究团队依据对样本内容的审慎解读，为这些实例补充了对应的蕴涵、中立或矛盾标签，从而确保了数据集的完整性与可用性。最终形成的法语版本在标签分布上呈现均衡态势：蕴涵类705条、中立类641条、矛盾类654条。

特点

该数据集聚焦于9/11这一特定历史事件的文本推理任务，在主题上具有高度专一性与情境丰富性，为探究模型在敏感且复杂的社会事件语境下的语义理解能力提供了独特窗口。与广泛使用的XNLI中同主题的验证集（249条）和测试集（501条）相比，本数据集在规模与样本构成上均存在显著差异，避免了数据重叠带来的评估偏差。每条样本不仅保留了原始英文的前提与假设，还提供了机器翻译后的法语版本及对应的标签文本，便于多语言对比分析与错误溯源。

使用方法

该数据集适用于文本分类中的自然语言推理任务，即判断前提与假设之间的语义关系为蕴涵、中立或矛盾。使用者可通过HuggingFace的datasets库直接加载，调用load_dataset('maximoss/mnli-nineeleven-fr-mt')即可获取完整的法语样本。每条记录包含premise、hypothesis、label（整型标签）、label_text（文本标签）、pairID及promptID等字段，便于进行模型训练、评估或跨语言迁移学习实验。推荐将数据划分为训练集与验证集，并利用其均衡的标签分布进行基准测试。

背景与挑战

背景概述

在自然语言处理领域，自然语言推理（NLI）任务旨在判断前提与假设之间的逻辑关系，是评估模型语义理解能力的重要基准。MultiNLI数据集由Adina Williams、Nikita Nangia和Samuel Bowman于2018年发布，涵盖广泛主题的句子对，极大推动了NLI研究的发展。然而，针对特定敏感事件（如9/11恐怖袭击）的推理任务，现有数据集往往存在文化偏差或标注缺失问题。为此，研究者于2023年3月29日利用先进的神经机器翻译模型opus-mt-tc-big，将MultiNLI中关于9/11事件的2000个样本翻译为法语，并补充了原数据集中26个缺失的黄金标签，构建了本数据集。该工作由法国国防创新局及奥克西塔尼网络安全研究所支持，旨在为多语言NLI研究提供更细粒度的评测资源，尤其关注对历史敏感事件的语义理解能力。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，NLI任务本身要求模型精准捕捉文本中的细微语义差异，而9/11事件涉及复杂的历史背景与情感色彩，模型需克服事实性知识与隐含意图之间的冲突，这对推理能力提出了更高要求。其次，在构建过程中，机器翻译可能引入语义失真或文化误读，尤其是对专有名词和隐喻表达的转换，需确保前提与假设的逻辑关系在目标语言中得以保留。此外，原数据集中26个样本的标签缺失问题虽已通过人工阅读补充，但主观标注可能带来一致性偏差。最后，数据集规模较小（约2000例），限制了深度学习的泛化能力，且仅覆盖法语单一目标语言，难以全面评估跨语言迁移效果。

常用场景

经典使用场景

该数据集作为自然语言推理（NLI）领域的一项精细化资源，其经典使用场景聚焦于跨语言语义理解与文本蕴含关系的判别。具体而言，研究者可借助该法语版本的MNLI子集，针对“9·11”恐怖袭击这一特定主题，开展句子对级别的蕴含、中立与矛盾三类标签的分类任务。由于原始数据仅包含英文，该法语译本填补了非英语环境下高敏感度事件语料匮乏的空白，尤其适用于评估机器翻译质量对下游推理任务的影响，以及探究多语言模型中主题特异性语义的迁移能力。

解决学术问题

该数据集有效解决了两个核心学术难题：其一，它弥补了多语言NLI研究中缺乏细粒度、主题聚焦型评测数据的缺憾，为验证跨语言语义对齐算法的鲁棒性提供了可控实验平台；其二，通过对原始MNLI中26条缺失标签样本的人工标注补全，消除了数据不完备性带来的偏差，使得模型在敏感事件上的推理评测更为严谨。这一工作推动了低资源语言场景下蕴含推理的可靠性研究，并为评估神经机器翻译在专业领域（如安全、历史事件）中的保真度树立了标杆。

衍生相关工作

该数据集衍生了一系列经典工作，包括但不限于：基于该法语译本验证机器翻译模型在NLI任务上的零样本迁移能力，以及对比不同翻译策略（如统计机器翻译与神经机器翻译）对下游分类性能的影响。此外，研究者利用该数据集探究了预训练语言模型（如mBERT、XLM-R）在主题限定环境下的跨语言表征一致性，并开发了针对多义性推理样本的对抗性攻击与防御方法。这些工作共同深化了学界对多语言语义泛化边界的认知。