UT-CompLing/inquisitive_qg

InquisitiveQg数据集是一个用于文本到文本生成的数据集，专注于问题生成任务。数据集包含英文文本，由众包方式创建。数据集大小介于10,000到100,000之间，包含训练、验证和测试集。数据集的详细描述、任务、语言、数据实例、字段、数据分割、创建过程、考虑因素和附加信息等部分均未提供详细信息。

原始信息汇总

数据集概述

• 数据集名称: InquisitiveQg
• 注释创建者: 众包
• 语言创建者: 众包
• 语言: 英语
• 许可: 未知
• 多语言性: 单语
• 大小类别: 10K<n<100K
• 源数据集: 原始
• 任务类别: 文本到文本生成
• 任务ID: 无
• 标签: 问题生成

数据集结构

数据特征

• id: int32
• article_id: int32
• article: string
• sentence_id: int32
• sentence: string
• span: string
• question: string
• span_start_position: int32
• span_end_position: int32

数据分割

• 训练集: 15931个样本，66099232字节
• 验证集: 1991个样本，8904329字节
• 测试集: 1894个样本，7167203字节

数据集大小

• 下载大小: 7085941字节
• 数据集大小: 82170764字节

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，问题生成任务旨在根据给定文本自动生成有意义的问题，而InquisitiveQg数据集正是为这一任务量身打造。该数据集由众包方式构建，标注者被要求阅读新闻文章中的特定句子，并基于句中某个关键片段（span）提出一个具有探究性的问题。每个样本均包含文章ID、句子ID、目标句子、所选片段及其起止位置、以及生成的问题，确保了数据结构的完整性。数据集共包含约1.8万个样本，划分为训练集（15931例）、验证集（1991例）和测试集（1894例），为模型训练与评估提供了充分依据。

特点

InquisitiveQg数据集的核心特点在于其强调“探究性”问题生成，即问题并非简单基于句子表层信息，而是引导模型深入理解文本中的潜在含义与逻辑关系。每个问题严格对应句子中的一个具体片段，这有助于模型学习如何定位信息焦点并生成相关疑问。此外，数据集采用纯文本格式，字段设计简洁明了，便于直接用于序列到序列（Seq2Seq）模型。其语言为英文，规模适中，既不会因数据量过大导致训练负担，又能有效支撑问题生成任务的深度学习研究。

使用方法

该数据集主要面向文本到文本生成任务，尤其适用于问题生成模型的训练与评估。使用时，可直接通过HuggingFace的datasets库加载，指定配置名为'plain_text'，即可获取划分好的训练、验证和测试集。研究人员可将'article'或'sentence'字段作为输入文本，以'question'字段作为目标输出，搭建基于Transformer架构的生成模型。同时，'span'及位置信息可用于指导模型学习片段感知的问题生成策略，提升生成问题的准确性和相关性。

背景与挑战

背景概述

在自然语言处理领域，问题生成（Question Generation）作为一项关键任务，旨在从文本中自动生成有意义且信息丰富的问题，其应用涵盖教育、对话系统与信息检索等多个场景。UT-CompLing/inquisitive_qg数据集由一群专注于计算语言学的研究者于近年构建，其核心研究问题聚焦于模拟人类在阅读过程中自然涌现的“探究性”提问行为，而非简单的表面事实问答。该数据集通过众包方式收集了约2万条标注样本，每条数据均包含原文、句子、文本片段以及对应的问题，特别强调问题应针对文本中令人困惑或引发好奇的细节。这一设计不仅推动了问题生成领域从机械式问答向更深层次理解迈进，还为后续探究性对话系统的研究提供了宝贵的基准资源，对提升机器阅读理解与交互式学习能力具有显著影响力。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：传统问题生成任务多聚焦于事实性提问，而InquisitiveQg要求模型捕捉文本中隐含的歧义、因果关系或逻辑漏洞，这需要模型具备超越表层语义的推理能力，例如对“为什么作者在此处使用该比喻”或“该事件背后的动机是什么”等深层问题的生成。其次，在构建过程中，众包标注的难度显著增加，因为标注者需从自然阅读的视角识别“值得提问”的文本片段，而非简单依据预设模板，这导致标注一致性难以保证，且对标注者的认知负荷要求较高。此外，数据规模相对有限（约1.9万训练样本），可能限制了模型对多样化提问风格的泛化能力，同时如何有效评估生成问题的“探究性”质量也是当前评价体系中的未解难题。

常用场景

经典使用场景

在自然语言处理与认知科学交叉的研究领域中，UT-CompLing/inquisitive_qg数据集专为探究人类好奇心的语言表达而构建。其经典使用场景聚焦于基于文本的探究式问题生成任务，即给定一段自然语言文本（如新闻篇章或叙事段落），模型需在理解上下文的基础上，针对特定句子或文本片段生成富有洞察力、能够反映阅读者求知欲望的开放式问题。该数据集通过精细标注的句子-问题对，为训练能够模拟人类主动提问行为的智能系统提供了标准化的评测基准，成为推动文本理解与生成能力协同发展的核心资源。

解决学术问题

该数据集的问世有效回应了自然语言生成领域长期存在的若干学术挑战。它解决了传统问题生成任务中仅关注事实性、检索式问题（如Who、What类）的局限，转而引导模型学习生成更具深度和探索性的“为什么”与“如何”类问题，从而更贴近人类认知过程中由好奇心驱动的信息获取模式。通过提供大规模、高质量的众包标注数据，研究者得以系统性地探究文本语义表征与问题生成策略之间的深层关联，为构建具备主动学习与交互能力的对话系统奠定了理论基础，并在计算语言学中开辟了探究式问题生成这一新兴研究方向。

衍生相关工作

围绕UT-CompLing/inquisitive_qg数据集，学术界已衍生出一系列具有影响力的经典工作。研究者们基于该数据集提出了多种针对探究式问题生成的创新模型架构，如融合注意力机制的序列到序列生成框架，以及引入外部常识知识库来增强问题深度与连贯性的方法。同时，该数据集也被用于评估预训练语言模型（如GPT系列、T5）在理解复杂叙事并生成高质量探究问题方面的能力边界。此外，有工作将其与阅读理解、文本摘要等任务进行联合建模，探索多任务学习范式下知识迁移的效能。这些衍生研究共同推动了智能系统从被动应答向主动探询的范式转变。