NbAiLab/mnli-norwegian

MNLI Norwegian数据集是一个多语言的句子相似性和文本分类数据集，包含挪威语和英语的433k句子对，用于自然语言推理和语义相似性分类。该数据集特别适合训练sentence-BERT模型，并提供了多种格式的文件，包括csv和json。数据集的生成使用了Google Translate进行机器翻译，并提供了相应的脚本。

The MNLI Norwegian Dataset is a multilingual sentence similarity and text classification dataset containing 433k sentence pairs in both Norwegian and English, intended for natural language inference and semantic similarity classification tasks. This dataset is particularly well-suited for training sentence-BERT models, and offers files in multiple formats including CSV and JSON. The dataset was generated using machine translation via Google Translate, with corresponding scripts provided.

原始信息汇总

MNLI Norwegian 数据集概述

基本信息

• 名称: MNLI Norwegian
• 语言: 包含挪威语（no 和 nob）和英语（en）
• 语言创建方式: 机器生成和专家生成
• 许可证: Apache-2.0
• 多语言性: 多语言
• 大小: 100K<n<1M

任务与标签

• 任务类别: 句子相似度、文本分类
• 任务ID: 自然语言推理、语义相似度分类
• 标签: 挪威语、SimCSE、MNLI、NLI、句子

数据集内容

• 数据集版本:
  • mnli_no_en_for_simcse.csv
  • mnli_no_en_small_for_simcse.csv
  • mnli_no_for_simcse.csv
  • multinli_1.0_dev_matched_no_mt.jsonl
  • multinli_1.0_dev_mismatched_no_mt.jsonl
  • multinli_1.0_train_no_mt.jsonl
  • nli_for_simcse.csv
  • xnli_dev_no_mt.jsonl
  • xnli_test_no_mt.jsonl

许可证信息

• 大部分数据集内容根据OANC许可证发布，允许自由使用、修改和分享。
• 挪威语部分的翻译和编译根据Creative Commons Attribution 3.0 Unported Licenses发布。

引用信息

• 数据集由挪威国家图书馆的AiLab编译和机器翻译。

• 建议同时引用原始工作：

  @InProceedings{N18-1101, author = "Williams, Adina and Nangia, Nikita and Bowman, Samuel", title = "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference", booktitle = "Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)", year = "2018", publisher = "Association for Computational Linguistics", pages = "1112--1122", location = "New Orleans, Louisiana", url = "http://aclweb.org/anthology/N18-1101" }