lmqg/qg_squadshifts

这是QG-Bench的一个子集，QG-Bench是一个统一的问题生成基准，提出于论文《Generative Language Models for Paragraph-Level Question Generation: A Unified Benchmark and Evaluation, EMNLP 2022 main conference》。该数据集是基于SQuADShifts修改的，专门用于问题生成任务。数据集包含多个字段，如问题、段落、答案等，并且这些字段在所有分割中都相同。数据集支持的任务是问题生成，成功通常通过BLEU4/METEOR/ROUGE-L/BERTScore/MoverScore等指标来衡量。数据集的语言是英语，并且提供了数据分割的详细信息。

This is a subset of QG-Bench, a unified benchmark for question generation proposed in the paper *Generative Language Models for Paragraph-Level Question Generation: A Unified Benchmark and Evaluation* (EMNLP 2022 main conference). This dataset is modified from SQuADShifts and is specifically designed for the question generation task. It contains multiple fields such as question, passage, answer and others, and these fields are consistent across all data splits. The supported task of this dataset is question generation, and its performance is typically evaluated using metrics including BLEU4, METEOR, ROUGE-L, BERTScore, MoverScore and other similar metrics. The dataset is in English, and detailed information about the data splits is provided.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 数据集名称: SubjQA for question generation
• 语言: 英语 (en)
• 多语言性: 单语种
• 数据集大小: 10K<n<100K
• 源数据集: subjqa

任务与标签

• 任务类别: 文本生成
• 任务ID: 语言建模
• 标签: question-generation

数据集描述

• 数据集总结: 该数据集是QG-Bench的一部分，用于段落级问题生成任务。它是SQuADShifts的修改版本，专门用于问题生成任务。
• 支持的任务与评估指标:
  • 任务: 问题生成
  • 评估指标: BLEU4/METEOR/ROUGE-L/BERTScore/MoverScore

数据集结构

• 数据字段:
  • question: 字符串类型
  • paragraph: 字符串类型
  • answer: 字符串类型
  • sentence: 字符串类型
  • paragraph_answer: 字符串类型，答案部分用特殊标记<hl>高亮
  • paragraph_sentence: 字符串类型，包含答案的句子用特殊标记<hl>高亮
  • sentence_answer: 字符串类型，答案部分用特殊标记<hl>高亮
• 数据分割:
  • train, valid, test
  • 不同子集: amazon, new_wiki, nyt, reddit

引用信息

@inproceedings{ushio-etal-2022-generative, title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration", author = "Ushio, Asahi and Alva-Manchego, Fernando and Camacho-Collados, Jose", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", address = "Abu Dhabi, U.A.E.", publisher = "Association for Computational Linguistics", }

搜集汇总

数据集介绍

构建方式

该数据集源自SQuADShifts的改良版本，专为段落级问题生成任务设计。作为QG-Bench统一基准测试的子集，它保留了原始数据中来自亚马逊、新维基、纽约时报和Reddit四个领域的真实用户问题与上下文段落。构建过程中，每个样本被精心标注了问题、段落、答案及包含答案的句子，并通过特殊标记<hl>对答案或句子进行高亮处理，形成三种不同信息粒度的输入格式：paragraph_answer、paragraph_sentence和sentence_answer，分别服务于答案感知与句子感知的问题生成模型训练。

特点

数据集规模适中，总计包含约3.4万个样本，训练集、验证集和测试集划分明确。其核心特色在于多领域覆盖与多粒度标注：四个领域涵盖电商评论、百科知识、新闻事件和社交讨论，确保了问题类型的多样性。每个样本提供七种字段，其中三种高亮版本允许模型在训练时灵活选择关注答案或句子上下文。这种设计不仅支持标准的问题生成任务，还能评估模型在不同信息提示下的生成能力，为研究段落级问题生成中的上下文依赖关系提供了独特资源。

使用方法

使用该数据集时，研究者可直接加载HuggingFace上的lmqg/qg_squadshifts仓库，通过datasets库获取预定义的数据拆分。训练问题生成模型时，可根据任务需求选择对应的输入字段：若进行答案感知生成，使用paragraph_answer或sentence_answer；若进行句子感知生成，则采用paragraph_sentence。模型输出应与原始question字段进行对比，常用评估指标包括BLEU-4、METEOR、ROUGE-L及BERTScore等。该数据集特别适合用于探索不同上下文信息对生成问题质量的影响，以及跨领域问题生成模型的泛化能力研究。

背景与挑战

背景概述

该数据集由Asahi Ushio等研究者在2022年EMNLP会议上提出，源自其关于段落级问题生成的统一基准与评估工作。作为QG-Bench基准的一部分，lmqg/qg_squadshifts基于SQuADShifts数据集进行了改造，聚焦于问题生成这一自然语言处理核心任务。其核心研究问题在于评估生成式语言模型在不同领域（如亚马逊评论、维基百科、纽约时报、Reddit）段落上下文中自动生成高质量问题的能力。该数据集的发布为问题生成领域提供了跨领域的标准化评测平台，推动了模型在真实场景下的泛化性与鲁棒性研究，对理解语言模型在信息抽取与交互式系统中的应用具有重要影响。

当前挑战

当前数据集面临的核心挑战包括：其一，领域迁移下的鲁棒性问题——模型在单一领域（如新闻）训练后，往往难以适应其他领域（如社交媒体或电商评论）的文本风格与信息密度，导致生成问题的相关性与准确性显著下降。其二，构建过程中的标注一致性难题——原始SQuADShifts数据需重新适配为问题生成格式，涉及答案跨度定位、句子级与段落级上下文的高亮标记，这一过程对标注精度要求极高，易引入噪声。此外，如何平衡生成问题的多样性（避免模板化）与忠实于原文语义，仍是评估中的关键难点，尤其在多领域数据混合训练时更为突出。

常用场景

经典使用场景

在自然语言处理研究领域，问题生成（Question Generation, QG）作为一项核心任务，旨在根据给定的文本段落自动生成连贯且富有语义的问题。lmqg/qg_squadshifts数据集正是为此而生，它源自经典的SQuADShifts基准，并经过精心改造，专用于段落级问题生成任务。该数据集涵盖来自亚马逊评论、维基百科、纽约时报和Reddit等多个领域的文本，为训练和评估生成式语言模型提供了丰富且具有领域多样性的语料。其经典使用场景在于，研究者可利用该数据集训练模型，使其在给定段落、答案或句子标记的条件下，自动生成与上下文高度相关的问题，从而推动问题生成技术从简单问答对向更复杂、更真实的文本理解场景迈进。

衍生相关工作

该数据集的发布催生了一系列具有影响力的后续研究。基于lmqg/qg_squadshifts，研究者提出了多种生成式语言模型架构，如采用T5、BART等预训练模型进行微调，并对比了答案感知与句子感知两种输入范式对生成质量的影响。相关工作进一步探索了跨领域问题生成中的零样本与少样本学习策略，揭示了领域差异对模型泛化能力的挑战。此外，该数据集还被用于评估大型语言模型（如GPT-3、LLaMA）在问题生成任务上的涌现能力，推动了生成式AI在复杂推理场景中的评测基准建设。这些衍生工作不仅深化了对问题生成机制的理解，也为后续研究提供了可复现的基线方法和丰富的实验对比数据。

数据集最近研究

最新研究方向

在自然语言处理领域，问题生成（Question Generation）作为一项关键任务，正日益受到学术界与工业界的重视。lmqg/qg_squadshifts数据集作为QG-Bench基准的重要组成部分，专注于段落级问题生成，其独特之处在于融合了SQuADShifts的领域迁移特性，覆盖亚马逊评论、维基百科、纽约时报和Reddit等多个真实场景。该数据集不仅支持答案感知与句子感知两种生成范式，还通过精细化的标注结构（如高亮标记）为模型提供了丰富的上下文线索。当前前沿研究聚焦于利用大规模生成式语言模型（如GPT系列、T5）在此类多领域数据上进行微调与评估，以探究模型在开放域问题生成中的泛化能力与鲁棒性。该工作与EMNLP 2022上提出的统一基准紧密相关，其意义在于推动问题生成技术从单一领域迈向更复杂的实际应用，为自动问答系统、教育辅导及对话交互等场景提供有力支撑。