ai4bharat/IndicParaphrase

Name: ai4bharat/IndicParaphrase
Creator: ai4bharat
Published: 2022-10-13 06:08:55
License: 暂无描述

Hugging Face2022-10-13 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/ai4bharat/IndicParaphrase

下载链接

链接失效反馈

官方服务：

资源简介：

--- annotations_creators: - no-annotation language_creators: - found language: - as - bn - gu - hi - kn - ml - mr - or - pa - ta - te license: - cc-by-nc-4.0 multilinguality: - multilingual pretty_name: IndicParaphrase size_categories: - 1M<n<10M source_datasets: - original task_categories: - conditional-text-generation task_ids: - conditional-text-generation-other-paraphrase-generation --- # Dataset Card for "IndicParaphrase" ## Table of Contents - [Dataset Card Creation Guide](#dataset-card-creation-guide) - [Table of Contents](#table-of-contents) - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Initial Data Collection and Normalization](#initial-data-collection-and-normalization) - [Who are the source language producers?](#who-are-the-source-language-producers) - [Annotations](#annotations) - [Annotation process](#annotation-process) - [Who are the annotators?](#who-are-the-annotators) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** https://indicnlp.ai4bharat.org/indicnlg-suite - **Paper:** [IndicNLG Suite: Multilingual Datasets for Diverse NLG Tasks in Indic Languages](https://arxiv.org/abs/2203.05437) - **Point of Contact:** ### Dataset Summary IndicParaphrase is the paraphrasing dataset released as part of IndicNLG Suite. Each input is paired with up to 5 references. We create this dataset in eleven languages including as, bn, gu, hi, kn, ml, mr, or, pa, ta, te. The total size of the dataset is 5.57M. ### Supported Tasks and Leaderboards **Tasks:** Paraphrase generation **Leaderboards:** Currently there is no Leaderboard for this dataset. ### Languages - `Assamese (as)` - `Bengali (bn)` - `Gujarati (gu)` - `Kannada (kn)` - `Hindi (hi)` - `Malayalam (ml)` - `Marathi (mr)` - `Oriya (or)` - `Punjabi (pa)` - `Tamil (ta)` - `Telugu (te)` ## Dataset Structure ### Data Instances One example from the `hi` dataset is given below in JSON format. ``` { 'id': '1', 'input': 'निजी क्षेत्र में प्रदेश की 75 प्रतिशत नौकरियां हरियाणा के युवाओं के लिए आरक्षित की जाएगी।', 'references': ['प्रदेश के युवाओं को निजी उद्योगों में 75 प्रतिशत आरक्षण देंगे।', 'युवाओं के लिए हरियाणा की सभी प्राइवेट नौकरियों में 75 प्रतिशत आरक्षण लागू किया जाएगा।', 'निजी क्षेत्र में 75 प्रतिशत आरक्षित लागू कर प्रदेश के युवाओं का रोजगार सुनिश्चत किया जाएगा।', 'प्राईवेट कम्पनियों में हरियाणा के नौजवानों को 75 प्रतिशत नौकरियां में आरक्षित की जाएगी।', 'प्रदेश की प्राइवेट फैक्टरियों में 75 फीसदी रोजगार हरियाणा के युवाओं के लिए आरक्षित किए जाएंगे।'], 'target': 'प्रदेश के युवाओं को निजी उद्योगों में 75 प्रतिशत आरक्षण देंगे।' } ``` ### Data Fields - `id (string)`: Unique identifier. - `pivot (string)`: English sentence used as the pivot - `input (string)`: Input sentence - `references (list of strings)`: Paraphrases of `input`, ordered according to the least n-gram overlap - `target (string)`: The first reference (most dissimilar paraphrase) ### Data Splits We first select 10K instances each for the validation and test and put remaining in the training dataset. `Assamese (as)`, due to its low-resource nature, could only be split into validation and test sets with 4,420 examples each. Individual dataset with train-dev-test example counts are given below: Language | ISO 639-1 Code |Train | Dev | Test | --------------|----------------|-------|-----|------| Assamese | as | - | 4,420 | 4,420 | Bengali | bn | 890,445 | 10,000 | 10,000 | Gujarati | gu | 379,202 | 10,000 | 10,000 | Hindi | hi | 929,507 | 10,000 | 10,000 | Kannada | kn | 522,148 | 10,000 | 10,000 | Malayalam | ml |761,933 | 10,000 | 10,000 | Marathi | mr |406,003 | 10,000 | 10,000 | Oriya | or | 105,970 | 10,000 | 10,000 | Punjabi | pa | 266,704 | 10,000 | 10,000 | Tamil | ta | 497,798 | 10,000 | 10,000 | Telugu | te | 596,283 | 10,000 | 10,000 | ## Dataset Creation ### Curation Rationale [More information needed] ### Source Data [Samanantar dataset](https://indicnlp.ai4bharat.org/samanantar/) #### Initial Data Collection and Normalization [Detailed in the paper](https://arxiv.org/abs/2203.05437) #### Who are the source language producers? [Detailed in the paper](https://arxiv.org/abs/2203.05437) ### Annotations [More information needed] #### Annotation process [More information needed] #### Who are the annotators? [More information needed] ### Personal and Sensitive Information [More information needed] ## Considerations for Using the Data ### Social Impact of Dataset [More information needed] ### Discussion of Biases [More information needed] ### Other Known Limitations [More information needed] ## Additional Information ### Dataset Curators [More information needed] ### Licensing Information Contents of this repository are restricted to only non-commercial research purposes under the [Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0)](https://creativecommons.org/licenses/by-nc/4.0/). Copyright of the dataset contents belongs to the original copyright holders. ### Citation Information If you use any of the datasets, models or code modules, please cite the following paper: ``` @inproceedings{Kumar2022IndicNLGSM, title={IndicNLG Suite: Multilingual Datasets for Diverse NLG Tasks in Indic Languages}, author={Aman Kumar and Himani Shrotriya and Prachi Sahu and Raj Dabre and Ratish Puduppully and Anoop Kunchukuttan and Amogh Mishra and Mitesh M. Khapra and Pratyush Kumar}, year={2022}, url = "https://arxiv.org/abs/2203.05437" } ``` ### Contributions

提供机构：

ai4bharat

原始信息汇总

数据集概述

数据集描述

数据集摘要

IndicParaphrase 是 IndicNLG Suite 发布的一个释义数据集。每个输入配对有最多 5 个参考句子。该数据集包含 11 种语言：阿萨姆语（as）、孟加拉语（bn）、古吉拉特语（gu）、印地语（hi）、卡纳达语（kn）、马拉雅拉姆语（ml）、马拉地语（mr）、奥里亚语（or）、旁遮普语（pa）、泰米尔语（ta）和泰卢固语（te）。数据集总大小为 5.57M。

支持的任务和排行榜

任务： 释义生成
排行榜： 目前没有排行榜。

语言

阿萨姆语（as）
孟加拉语（bn）
古吉拉特语（gu）
印地语（hi）
卡纳达语（kn）
马拉雅拉姆语（ml）
马拉地语（mr）
奥里亚语（or）
旁遮普语（pa）
泰米尔语（ta）
泰卢固语（te）

数据集结构

数据实例

一个来自印地语（hi）数据集的示例，以 JSON 格式展示： json { "id": "1", "input": "निजी क्षेत्र में प्रदेश की 75 प्रतिशत नौकरियां हरियाणा के युवाओं के लिए आरक्षित की जाएगी।", "references": [ "प्रदेश के युवाओं को निजी उद्योगों में 75 प्रतिशत आरक्षण देंगे।", "युवाओं के लिए हरियाणा की सभी प्राइवेट नौकरियों में 75 प्रतिशत आरक्षण लागू किया जाएगा।", "निजी क्षेत्र में 75 प्रतिशत आरक्षित लागू कर प्रदेश के युवाओं का रोजगार सुनिश्चत किया जाएगा।", "प्राईवेट कम्पनियों में हरियाणा के नौजवानों को 75 प्रतिशत नौकरियां में आरक्षित की जाएगी।", "प्रदेश की प्राइवेट फैक्टरियों में 75 फीसदी रोजगार हरियाणा के युवाओं के लिए आरक्षित किए जाएंगे।" ], "target": "प्रदेश के युवाओं को निजी उद्योगों में 75 प्रतिशत आरक्षण देंगे।" }

数据字段

id (string): 唯一标识符。
pivot (string): 用作枢轴的英语句子。
input (string): 输入句子。
references (list of strings): input 的释义，按最小的 n-gram 重叠顺序排列。
target (string): 第一个参考句子（最不相似的释义）。

数据分割

数据集首先选择每个验证和测试集各 10K 实例，剩余的放入训练数据集。阿萨姆语（as）由于其低资源特性，只能分为验证和测试集，各有 4,420 个示例。各语言数据集的训练-开发-测试示例数量如下：

语言	ISO 639-1 代码	训练	开发	测试
阿萨姆语	as	-	4,420	4,420
孟加拉语	bn	890,445	10,000	10,000
古吉拉特语	gu	379,202	10,000	10,000
印地语	hi	929,507	10,000	10,000
卡纳达语	kn	522,148	10,000	10,000
马拉雅拉姆语	ml	761,933	10,000	10,000
马拉地语	mr	406,003	10,000	10,000
奥里亚语	or	105,970	10,000	10,000
旁遮普语	pa	266,704	10,000	10,000
泰米尔语	ta	497,798	10,000	10,000
泰卢固语	te	596,283	10,000	10,000

数据集创建

数据集策展理由

[更多信息需要]

注释

[更多信息需要]

注释过程

[更多信息需要]

注释者是谁？

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

[更多信息需要]

许可信息

本仓库的内容仅限于非商业研究目的，遵守Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0)。数据集内容的版权属于原始版权持有者。

引用信息

如果您使用任何数据集、模型或代码模块，请引用以下论文：

@inproceedings{Kumar2022IndicNLGSM, title={IndicNLG Suite: Multilingual Datasets for Diverse NLG Tasks in Indic Languages}, author={Aman Kumar and Himani Shrotriya and Prachi Sahu and Raj Dabre and Ratish Puduppully and Anoop Kunchukuttan and Amogh Mishra and Mitesh M. Khapra and Pratyush Kumar}, year={2022}, url = "https://arxiv.org/abs/2203.05437" }

贡献

[更多信息需要]

搜集汇总

数据集介绍

构建方式

IndicParaphrase数据集是IndicNLG套件的重要组成部分，专为印度语言的释义生成任务而设计。该数据集基于Samanantar语料库构建，通过挖掘大规模平行语料中的语义等价句子对，并利用英语作为枢轴语言进行对齐和过滤。每个输入句子均与最多5个参考释义配对，参考释义按照n-gram重叠度从低到高排序，其中第一个参考作为最不相似的目标句。数据集覆盖阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、旁遮普语、泰米尔语和泰卢固语共11种印度语言，总样本量达557万条。

特点

该数据集具有显著的多语言性和大规模特点，涵盖11种印度语言，其中阿萨姆语作为低资源语言，其验证集和测试集各含4420个样本，其余语言均划分为训练集（从10.5万至92.9万不等）、验证集（1万）和测试集（1万）。数据以JSON格式存储，包含唯一标识符、输入句子、参考列表和目标字段。特别地，参考释义按语义相似度排序，首个参考与输入句子在n-gram层面差异最大，这为模型学习多样化释义提供了挑战。数据集采用CC-BY-NC 4.0许可，仅限非商业研究使用。

使用方法

使用IndicParaphrase数据集时，研究人员可通过HuggingFace Datasets库直接加载，例如使用`load_dataset('ai4bharat/IndicParaphrase', 'hi')`加载印地语子集。数据集预分为训练、验证和测试集，可直接用于训练和评估释义生成模型。典型应用包括序列到序列模型的微调，其中`input`字段作为源序列，`target`字段或`references`列表作为目标序列。由于参考释义按语义差异排序，可进一步用于多样性约束的生成任务。需注意该数据集仅许可非商业用途，引用时应注明IndicNLG Suite相关论文。

背景与挑战

背景概述

在自然语言处理领域，释义生成任务旨在以不同措辞表达同一语义，对于提升机器翻译、对话系统及信息检索等应用的语言多样性至关重要。然而，现有研究多集中于英语等资源丰富语言，印度次大陆的多种语言因数据匮乏而长期受限。为弥合这一鸿沟，印度AI4Bharat研究团队于2022年发布了IndicParaphrase数据集，作为IndicNLG套件的一部分。该数据集涵盖阿萨姆语、孟加拉语、古吉拉特语、印地语等十一种印度语言，总计超过550万条样本，每条输入均配有至多五条人工释义参考。研究团队基于Samanantar平行语料库，通过机器翻译与人工筛选相结合的方式构建，显著推动了多语言释义生成的研究进展。该数据集的问世为低资源印度语言的自然语言生成任务提供了关键资源，并对相关领域的学术研究产生了深远影响。

当前挑战

IndicParaphrase数据集面临的核心挑战在于多语言环境下释义生成的复杂性与数据构建的困难。首先，印度语言在语法结构、词汇丰富度及方言变体上差异显著，例如阿萨姆语作为极低资源语言，仅能提供少量验证与测试样本，难以支撑鲁棒的模型训练。其次，释义生成本身要求模型在保持语义一致性的同时，实现词汇与句法层面的多样化改写，这对跨语言迁移学习提出了严苛要求。在构建过程中，团队需从大规模平行语料中提取源句，并依赖机器翻译生成候选释义，再通过自动筛选与人工校对确保质量，这一流程面临噪声引入与标注一致性控制的挑战。此外，数据集遵循非商业许可协议，限制了其在产业界的广泛应用，如何平衡数据开放性与版权保护也成为潜在难题。

常用场景

经典使用场景

IndicParaphrase数据集是专为印度次大陆11种主要语言（包括阿萨姆语、孟加拉语、古吉拉特语、印地语等）设计的复述生成基准资源。该数据集由AI4Bharat团队在IndicNLG Suite框架下构建，包含超过557万条平行语料，每条输入句子对应至多5个语义等价但词汇句法结构迥异的参考复述。研究者通常将其用于训练和评估多语言序列到序列模型，特别是基于Transformer架构的复述生成系统，通过最小化n-gram重叠策略选取最具多样性的参考句，从而迫使模型学习深层的语义等价转换而非表层词汇替换。该数据集在低资源语言场景中尤为珍贵，例如阿萨姆语虽仅提供验证集和测试集，但为极度匮乏标注数据的语言提供了关键的评估基准。

衍生相关工作

IndicParaphrase数据集催生了一系列具有影响力的后续研究工作。其所属的IndicNLG Suite整体框架为多语言自然语言生成树立了标杆，相关论文发表于ACL 2022，并成为后续IndicBART、IndicGPT等印度语言预训练模型评估的标准基准之一。研究者基于该数据集探索了对比学习与强化学习在复述生成中的融合策略，以及基于提示工程的少样本复述方法。此外，该数据集与同系列的IndicSentCop、IndicXSum等数据集共同构建了印度语言NLG的完整评测体系，推动了针对低资源语言的跨任务迁移学习研究，为多语言自然语言处理领域的发展注入了持续动力。

数据集最近研究