ai4bharat/IndicQuestionGeneration

IndicQuestionGeneration是IndicNLG Suite发布的问题生成数据集。每个示例包含五个字段：id、squad_id、answer、context和question。该数据集以11种语言创建，包括阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、旁遮普语、泰米尔语和泰卢固语。这是翻译数据，每种语言的示例完全相同，只是语言不同。每种语言的示例数量为98,027个。

IndicQuestionGeneration is a question generation dataset released by the IndicNLG Suite. Each instance in this dataset contains five fields: id, squad_id, answer, context, and question. This dataset is constructed in 11 languages, including Assamese, Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Odia, Punjabi, Tamil, and Telugu. It is a translated dataset, where instances of each language are completely identical in content with only the language varying. Each language contains exactly 98,027 instances.

原始信息汇总

数据集概述

名称: IndicQuestionGeneration

描述: IndicQuestionGeneration 是一个多语言的问题生成数据集，作为 IndicNLG Suite 的一部分发布。该数据集包含11种语言的翻译数据，每种语言有98,027个样本。

语言:

• Assamese (as)
• Bengali (bn)
• Gujarati (gu)
• Kannada (kn)
• Hindi (hi)
• Malayalam (ml)
• Marathi (mr)
• Oriya (or)
• Punjabi (pa)
• Tamil (ta)
• Telugu (te)

许可: Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0)

任务: 问题生成

数据集结构

数据实例: 每个实例包含以下字段：

• id (string): 唯一标识符。
• squad_id (string): 在 Squad 数据集中的唯一标识符。
• answer (string): 答案。
• context (string): 上下文信息。
• question (string): 生成的问题。

数据分割: 数据集在每种语言中分为训练集、开发集和测试集，具体样本数如下：

语言	ISO 639-1 代码	训练集	开发集	测试集
Assamese	as	69,979	17,495	10,553
Bengali	bn	69,979	17,495	10,553
Gujarati	gu	69,979	17,495	10,553
Hindi	hi	69,979	17,495	10,553
Kannada	kn	69,979	17,495	10,553
Malayalam	ml	69,979	17,495	10,553
Marathi	mr	69,979	17,495	10,553
Oriya	or	69,979	17,495	10,553
Punjabi	pa	69,979	17,495	10,553
Tamil	ta	69,979	17,495	10,553
Telugu	te	69,979	17,495	10,553

数据集创建

源数据: 数据集基于 SQuAD 问题回答数据集，经过翻译和改编以适应问题生成任务。

许可信息: 数据集内容受 Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0) 限制，仅用于非商业研究目的。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，问题生成任务旨在根据给定的上下文和答案自动构建合理的问题，这对于提升机器阅读理解能力与交互式问答系统具有重要价值。IndicQuestionGeneration数据集作为IndicNLG套件的一部分，其构建方式独具匠心：研究团队以英文SQuAD问答数据集为源头，将其重新定位为问题生成任务的基础语料，进而通过机器翻译技术将这一数据集迁移至十一种印度语言中，包括阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、旁遮普语、泰米尔语和泰卢固语。每个语言的样本数量均保持为98,027条，且各语言版本在内容上严格对齐，仅语言表示不同，从而确保了跨语言数据的一致性与可比性。

特点

该数据集展现出鲜明的多语言均匀分布特性，每种语言均拥有完全相同的样本规模与结构，训练集、验证集和测试集的比例统一划分为69,979、17,495和10,553条，为多语言问题生成模型的公平评估提供了坚实基础。每条数据实例包含五个核心字段：全局唯一标识符id、原始SQuAD标识符squad_id、作为输入的答案answer与上下文context，以及作为输出的目标问题question。这种简洁而标准化的字段设计，使得数据集能够直接适配主流的序列到序列生成模型，无需额外的预处理步骤。此外，数据集采用CC BY-NC 4.0许可协议，仅限于非商业研究用途，体现了对学术研究开放的友好态度。

使用方法

使用该数据集时，研究者可依据任务需求直接加载各语言版本的预划分数据，无需自行进行数据分割。推荐采用基于Transformer架构的序列到序列模型，如mT5、IndicBART或多语言BART，在训练过程中将answer和context字段拼接作为输入，以question字段作为监督信号进行条件文本生成训练。评估阶段，可运用BLEU、ROUGE-L、METEOR等自动评价指标衡量生成问题的质量，同时结合人工评测以捕捉语义合理性与语言流畅性。鉴于数据集为机器翻译产物，建议在使用前对特定语言进行质量抽检，并关注潜在的文化偏见或翻译误差对模型泛化能力的影响。

背景与挑战

背景概述

在自然语言处理领域，问题生成任务旨在根据给定上下文和答案自动构建合理的问题，对于机器阅读理解、对话系统及教育评估等应用具有重要价值。然而，多数现有数据集集中于英语等资源丰富语言，导致印地语、孟加拉语等印度语言的相关研究严重滞后。为弥合这一鸿沟，印度AI研究机构AI4Bharat于2022年发布了IndicQuestionGeneration数据集，作为IndicNLG套件的一部分。该数据集由Aman Kumar、Himani Shrotriya等研究人员主导，通过将SQuAD问答数据集翻译为阿萨姆语、古吉拉特语、泰米尔语等11种印度语言，构建了包含约9.8万样本的多语言问题生成资源。其核心研究问题在于探索跨语言迁移学习与低资源语言生成模型的可行性，为印度语言自然语言生成研究提供了标准化基准，显著推动了该领域的多语言化进程。

当前挑战

IndicQuestionGeneration数据集所解决的领域挑战在于，问题生成模型长期面临跨语言泛化能力不足的困境，尤其在形态复杂、语法结构差异显著的印度语言中，现有模型难以从英语资源中有效迁移知识。构建过程中面临多重挑战：首先，原始SQuAD数据集的翻译需确保语义对齐，避免因语言差异导致的上下文与问题错配；其次，11种目标语言涵盖多种书写系统与语法规则，需统一处理分词、命名实体识别等底层任务；此外，翻译数据的质量验证缺乏母语标注资源，可能引入噪声或文化偏差，影响模型在真实场景中的鲁棒性。这些挑战共同制约了多语言问题生成系统的实际部署效果。

常用场景

经典使用场景

IndicQuestionGeneration数据集的核心应用在于面向印度次大陆的十一门语言，开展条件式文本生成任务中的问题生成研究。该数据集的每个样本以给定的上下文段落与特定答案为输入，要求模型自动产出与之匹配的自然语言问句。基于SQuAD数据集翻译而成的高质量平行语料，使其成为探索跨语言问题生成范式的理想基准。研究者常借助它来训练序列到序列模型，评测模型在阿萨姆语、孟加拉语、古吉拉特语、印地语等语言上从非结构化文本中精准提取信息并重构为疑问句的能力，进而推动多语言自然语言生成技术的边界拓展。

实际应用

在实际场景中，IndicQuestionGeneration数据集为构建面向印度多语用户的智能问答系统与自适应学习工具提供了关键支撑。例如，在教育领域，模型可基于教科书段落自动生成练习问题，辅助学生进行自我测验与知识巩固；在数字图书馆或客服场景中，系统能依据用户查询的上下文自动生成澄清问句，提升交互效率。此外，该数据集还赋能了面向印度语言的阅读理解评测工具开发，以及新闻摘要与对话系统中的追问生成模块，显著降低了人工编写问题的成本，加速了多语言AI产品的落地进程。

衍生相关工作

IndicQuestionGeneration作为IndicNLG Suite的重要组成部分，衍生了一系列具有影响力的研究工作。其基础数据与翻译流程被后续研究用于构建更大规模的多语言问题生成与问答对生成系统。相关工作包括：基于预训练语言模型（如mT5、IndicBERT）的跨语言微调策略探索，针对印度语言特性的解码优化方法，以及融合答案类型与上下文语义的多任务学习框架。此外，该数据集启发了对翻译数据噪声鲁棒性的系统分析，推动了面向低资源语言的零样本与少样本问题生成研究，成为印度语言自然语言处理社区中不可或缺的基准资源。