juletxara/xnli_mt

Name: juletxara/xnli_mt
Creator: juletxara
Published: 2023-07-21 10:21:37
License: 暂无描述

Hugging Face2023-07-21 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/juletxara/xnli_mt

下载链接

链接失效反馈

官方服务：

资源简介：

该数据集涉及跨语言自然语言推理（XNLI），包含多个不同模型大小的配置。每个配置包含前提、假设和标签等特征，标签分为蕴含、中立或矛盾。数据集被分割成多种语言，每种语言都有指定的字节数和示例数。

提供机构：

juletxara

原始信息汇总

数据集概述

数据集名称

pretty_name: Cross-lingual Natural Language Inference

数据集配置和特征

配置: nllb-200-distilled-600M

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: nllb-200-distilled-1.3B

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: nllb-200-1.3B

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: nllb-200-3.3B

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: xglm-564M

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: xglM-1.7B

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: xglM-2.9B

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: xglM-4.5B

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: xglM-7.5B

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: bloom-560m

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: bloom-1b1

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: bloom-1b7

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: bloom-3b

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: bloom-7b1

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: llama-7B

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: llama-13B

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: RedPajama-INCITE-Base-3B-v1

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

配置: RedPajama-INCITE-7B-Base

特征:
- premise: string
- hypothesis: string
- label:
  - dtype: class_label
  - names:
    - 0: entailment
    - 1: neutral
    - 2: contradiction

数据集大小和下载大小

nllb-200-distilled-600M:
- download_size: 11040341
- dataset_size: 11881671
nllb-200-distilled-1.3B:
- download_size: 11043528
- dataset_size: 11884858
nllb-200-1.3B:
- download_size: 11082057
- dataset_size: 11923387
nllb-200-3.3B:
- download_size: 11148008
- dataset_size: 11989338
xglM-564M:
- download_size: 11533534
- dataset_size: 12374864
xglM-1.7B:
- download_size: 10871776
- dataset_size: 11713106
xglM-2.9B:
- download_size: 10586622
- dataset_size: 11427952
xglM-4.5B:
- download_size: 10968672
- dataset_size: 11810002
xglM-7.5B:
- download_size: 10699999
- dataset_size: 11541329
bloom-560m:
- download_size: 13312268
- dataset_size: 14162991
bloom-1b1:
- download_size: 10548239
- dataset_size: 11389569
bloom-1b7:
- download_size: 10580096
- dataset_size: 11421426
bloom-3b:
- download_size: 10727323
- dataset_size: 11568653
bloom-7b1:
- download_size: 10776918
- dataset_size: 11618248
llama-7B:
- download_size: 10731053
- dataset_size: 11572383
llama-13B:
- download_size: 10726595
- dataset_size: 11567925
RedPajama-INCITE-Base-3B-v1:
- download_size: 11004105
- dataset_size: 11845435
RedPajama-INCITE-7B-Base:
- download_size: 11004105
- dataset_size: 11845435

数据集语言

language: en

搜集汇总

数据集介绍

构建方式

跨语言自然语言推理（XNLI）数据集是自然语言理解领域的重要基准资源，旨在评估模型在多语言场景下的语义推理能力。该数据集基于原始英文XNLI语料库，通过机器翻译技术将前提（premise）与假设（hypothesis）文本对扩展至包括阿拉伯语、保加利亚语、德语、希腊语、西班牙语、法语、印地语、俄语、斯瓦希里语、泰语、土耳其语、乌尔都语、越南语和中文在内的14种语言。数据集为每个语言分支提供了5010个样本，并预设了蕴含（entailment）、中立（neutral）和矛盾（contradiction）三种标签类别。值得注意的是，该版本针对不同规模的预训练语言模型（如NLLB、XGLM、BLOOM、LLaMA及RedPajama系列）分别生成了对应的翻译配置，每个配置均保持了统一的样本结构与标注体系。

特点

该数据集的核心特色在于其多模型适配的平行语料结构，为不同参数规模的跨语言模型提供了定制化的评估基准。数据集中每个配置均严格遵循原始XNLI的三分类标注体系，且各语言子集保持均衡的样本数量（约5010条），确保了跨语言比较的公平性。通过涵盖NLLB-200系列（从600M到3.3B参数）、XGLM系列（从564M到7.5B参数）、BLOOM系列（从560M到7.1B参数）、LLaMA系列（7B与13B参数）以及RedPajama系列（3B与7B参数）等主流多语言模型，该数据集能够系统评测不同架构与规模模型在多语言自然语言推理任务上的表现差异。数据集的存储格式简洁统一，每一条记录均包含前提、假设及对应的标签字段，便于直接加载与使用。

使用方法

在HuggingFace平台上，用户可通过指定配置名称（config_name）灵活加载对应模型翻译版本的子数据集。例如，使用load_dataset('juletxara/xnli_mt', 'nllb-200-distilled-600M')可加载基于NLLB-200蒸馏版600M模型翻译的数据。每个配置下包含14个语言子集，用户可通过split参数指定具体语言（如split='zh'加载中文数据）。数据集可直接用于多语言自然语言推理模型的训练、评估与跨语言迁移学习研究。加载后的数据以字典形式呈现，包含'premise'、'hypothesis'和'label'三个字段，其中label为整数编码（0:蕴含, 1:中立, 2:矛盾），可便捷地转化为模型训练所需的张量格式。

背景与挑战

背景概述

跨语言自然语言推理（XNLI）是自然语言处理领域的一项核心任务，旨在判断给定前提与假设之间的逻辑关系（蕴含、中立或矛盾），并跨越多种语言进行评测。该数据集由Facebook AI Research等机构于2018年创建，作为英文MultiNLI数据集的多语言扩展，涵盖14种语言，包括阿拉伯语、德语、西班牙语、法语等，每语言包含5010个样本。其核心研究问题在于探索模型在低资源语言上的推理能力，以及评估多语言预训练模型（如XLM-R、mBERT）的跨语言迁移效果。XNLI的发布极大推动了跨语言语义理解的研究，成为评估多语言模型泛化能力的基准，对机器翻译、问答系统等下游任务产生深远影响。

当前挑战

XNLI所解决的核心领域挑战是跨语言自然语言推理，即模型需在语言差异巨大的情况下准确判断逻辑关系，这要求模型具备跨语言语义对齐能力，避免因语言结构或文化差异导致的推理偏差。在构建过程中，挑战包括：1）确保翻译质量与一致性，通过人工翻译将英文前提与假设转化为目标语言，需平衡忠实度与自然度；2）维持标签分布均衡，避免因翻译引入噪声导致类别不平衡；3）覆盖语言多样性，从语系、书写系统等维度选择14种语言，以全面评估模型泛化性；4）应对低资源语言的数据稀缺问题，确保每语言样本量足够支撑可靠评测。

常用场景

经典使用场景

跨语言自然语言推理（XNLI）是自然语言理解领域的核心任务之一，旨在判断给定前提与假设之间的语义关系（蕴含、中立或矛盾）。juletxara/xnli_mt数据集作为XNLI的多语言机器翻译版本，将原始英文语料通过多种翻译模型（如NLLB、XGLM、BLOOM、LLaMA等）扩展至14种语言，覆盖阿拉伯语、保加利亚语、德语等低资源语言。该数据集经典地用于评估和提升多语言预训练模型在跨语言语义理解上的泛化能力，尤其在零样本迁移场景中，模型通过该数据集可检验其是否能在未见过的语言对中准确推理，从而推动多语言NLP技术的边界。

衍生相关工作

juletxara/xnli_mt数据集衍生了一系列开创性研究工作。基于该数据集，研究者系统比较了NLLB、XGLM、BLOOM等不同架构翻译模型对下游NLI任务的影响，揭示了翻译噪声与模型规模之间的权衡关系。该数据集还催生了多语言对抗性测试方法，通过构造跨语言语义陷阱样本来检验模型的推理边界。此外，它被用于训练鲁棒的多语言句子编码器，如基于对比学习的跨语言表示模型，显著提升了零样本跨语言迁移的性能。这些工作共同丰富了多语言NLP的理论与实践体系。

数据集最近研究