lmqg/qa_harvesting_from_wikipedia

这是一个从Wikipedia文章中收集的问答对数据集，主要用于问答任务。数据集包含超过一百万个问答对，数据分为训练集、验证集和测试集。数据集的语言为英语，且是单语言的。

This is a question-answering pair dataset collected from Wikipedia articles, primarily intended for question answering tasks. The dataset contains over one million question-answering pairs, and the data is split into training, validation, and test sets. The dataset is in English and is a monolingual dataset.

原始信息汇总

数据集概述

数据集基本信息

• 许可证: cc-by-4.0
• 名称: Harvesting QA paris from Wikipedia
• 语言: 英语 (en)
• 多语言性: 单语种
• 大小: 小于1M
• 来源数据集: 扩展自Wikipedia
• 任务类别: 问答
• 任务ID: 抽取式问答 (extractive-qa)

数据集描述

• 摘要: 本数据集是通过《Harvesting Paragraph-level Question-Answer Pairs from Wikipedia》(Du & Cardie, ACL 2018) 收集的问答数据集。
• 支持的任务: 问答

数据集结构

数据字段

• id: 字符串类型的标识符
• title: 字符串类型的段落标题
• context: 字符串类型的段落内容
• question: 字符串类型的问题
• answers: JSON格式的答案

数据分割

分割	数量
训练集	1,204,925
验证集	30,293
测试集	24,473

引用信息

@inproceedings{du-cardie-2018-harvesting, title = "Harvesting Paragraph-level Question-Answer Pairs from {W}ikipedia", author = "Du, Xinya and Cardie, Claire", booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2018", address = "Melbourne, Australia", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/P18-1177", doi = "10.18653/v1/P18-1177", pages = "1907--1917", abstract = "We study the task of generating from Wikipedia articles question-answer pairs that cover content beyond a single sentence. We propose a neural network approach that incorporates coreference knowledge via a novel gating mechanism. As compared to models that only take into account sentence-level information (Heilman and Smith, 2010; Du et al., 2017; Zhou et al., 2017), we find that the linguistic knowledge introduced by the coreference representation aids question generation significantly, producing models that outperform the current state-of-the-art. We apply our system (composed of an answer span extraction system and the passage-level QG system) to the 10,000 top ranking Wikipedia articles and create a corpus of over one million question-answer pairs. We provide qualitative analysis for the this large-scale generated corpus from Wikipedia.", }

搜集汇总

数据集介绍

构建方式

在自然语言处理与知识工程领域，大规模、高质量的问答数据集是驱动抽取式问答系统发展的关键资源。该数据集源自Du与Cardie于ACL 2018提出的研究成果，通过从维基百科中自动采掘段落级问答对构建而成。其构建方法依托于一个两阶段框架：首先设计基于神经网络的答案跨度抽取系统，从维基百科段落中定位候选答案；随后引入融合指代消解知识的门控机制，以段落为上下文生成与答案紧密匹配的问题。这一流程超越了传统仅依赖单句信息的生成范式，显著提升了问答对的语义连贯性与覆盖广度。最终，该方法应用于维基百科排名前一万的页面，产出了超过百万的问答对。

特点

该数据集呈现出鲜明的结构特征与规模优势。其总量超过一百二十万条样本，训练集、验证集与测试集分别包含约一百二十万、三万与两万四千个实例，为深度学习模型的训练与评估提供了充足的数据支撑。每条记录包含标识符、段落标题、上下文文本、问题及答案字段，其中答案以JSON格式存储，支持多种答案形式的灵活表示。数据集完全基于英文维基百科构建，属于单语言、抽取式问答范畴，确保了语言的一致性与知识来源的权威性。此外，其段落级上下文设计使问题能够超越单句边界，更贴近真实场景下的复杂推理需求。

使用方法

该数据集主要面向抽取式问答任务的模型训练与基准测试。使用者可通过HuggingFace Datasets库直接加载，利用标准的数据拆分进行模型开发。在训练阶段，可将上下文与问题作为输入，以答案跨度作为监督信号，微调诸如BERT、RoBERTa等预训练语言模型。评估时，可采用精确匹配与F1分数等指标衡量模型性能。数据集亦支持问题生成任务的逆向研究，即基于给定段落与答案自动生成问题。研究者应引用原始论文以遵循学术规范，并注意数据集仅用于非商业性研究目的，遵守CC-BY-4.0许可协议。

背景与挑战

背景概述

在自然语言处理领域，自动问答系统的构建长期依赖于人工标注的问答对，这一过程成本高昂且难以规模化。为突破这一瓶颈，Xinya Du与Claire Cardie于2018年在美国计算机语言学会年会上提出了从维基百科中自动收割段落级问答对的方法，并构建了lmqg/qa_harvesting_from_wikipedia数据集。该研究由康奈尔大学的研究人员主导，核心目标是通过神经网络模型，结合指代消解知识，从维基百科文章中生成覆盖多句信息的问答对，从而超越传统的单句级问答生成范式。该数据集的发布为大规模弱监督问答学习提供了重要资源，推动了机器阅读理解与问题生成技术的协同发展，在学术界产生了广泛影响。

当前挑战

该数据集所解决的领域问题在于，传统的问答对构建依赖人工标注或简单句子级匹配，难以捕捉段落中隐含的跨句语义关系与指代信息。构建过程中面临的核心挑战包括：其一，如何设计有效的神经网络机制以融合指代消解知识，避免模型仅利用局部句子线索而忽略全局上下文；其二，需要从维基百科海量文章中自动抽取高质量的答案片段，并生成与段落内容逻辑一致的疑问句，这对问答对的语义一致性与语法正确性提出了严苛要求；其三，针对十亿级的维基百科文章进行自动化处理时，计算资源消耗与噪声控制成为工程实现中的显著障碍。

常用场景

经典使用场景

该数据集最经典的使用场景在于构建和评估段落级别的抽取式问答系统。传统问答数据集多聚焦于单一句子内的信息提取，而lmqg/qa_harvesting_from_wikipedia通过从维基百科文章中自动挖掘段落级问答对，为模型提供了跨越多个句子的上下文理解挑战。研究者常将其作为基准，用于训练和测试模型在复杂篇章中定位并抽取答案的能力，尤其适用于评估模型对长文本语义连贯性与指代关系的把握。

衍生相关工作

该数据集衍生了多项经典工作，推动了问答与文本生成领域的交叉发展。其中，基于其提出的段落级问题生成框架，后续研究探索了结合图神经网络与预训练语言模型（如BERT、T5）来优化答案跨度识别与问题表述多样性。此外，该数据集还被用作评估生成式问答系统忠实度与鲁棒性的基准，催生了如QA-GNN等融合结构化知识与语言模型的创新架构。其大规模语料特性也促进了多任务学习范式的发展，将问答与摘要、事实验证等任务联合训练，进一步提升了模型的综合推理能力。

数据集最近研究

最新研究方向

在当前自然语言处理领域，面向大规模知识库的自动问答对生成已成为研究热点，尤其随着预训练语言模型与知识增强技术的融合，如何从非结构化文本中高效提取高质量的问答数据备受关注。基于Wikipedia这一全球最大的百科全书平台，研究者们致力于利用段落级共指解析与神经生成模型，突破传统单句问答生成的局限，从而构建百万级规模的问答语料库。该数据集聚焦于段落级问答对的自动化采集，其前沿研究方向包括结合核心知识表示的门控机制以提升问题生成的语义准确性，以及将抽取式答案跨度识别与生成式问题构造进行端到端联合优化。这一工作不仅推动了开放域问答系统的性能跃升，还为机器阅读理解与对话式信息检索提供了大规模、高覆盖的训练资源，对知识驱动的人工智能应用具有深远影响。