lmqg/qg_ruquad

这是一个用于问题生成任务的数据集，特别是针对俄语文本。它是从SberQuaD数据集中修改而来，专门用于问题生成任务。数据集包含训练集、验证集和测试集，其中测试集是从训练集中手动抽取的，以确保与训练集在段落上没有重叠。数据集的结构包括问题、段落、答案、句子等字段，并且有特定的字段用于训练问题生成模型。

This is a dataset for the question generation task, specifically targeting Russian texts. It is modified from the SberQuaD dataset and is tailored exclusively for question generation tasks. The dataset comprises a training set, a validation set, and a test set, where the test set is manually extracted from the training set to ensure no paragraph overlap between the test set and the training set. The dataset includes fields such as question, passage, answer, and sentence, with dedicated fields for training question generation models.

原始信息汇总

数据集概述

数据集名称

• 名称: SberQuAD for question generation
• 别名: lmqg/qg_ruquad

数据集描述

• 摘要: 该数据集是QG-Bench的一个子集，专门为问答生成任务设计。它是SberQuAD数据集的修改版本，包含从训练集中手动采样的测试集，确保与训练集在段落层面无重叠。
• 任务: 主要用于训练问答生成模型。
• 语言: 俄语 (ru)

数据集结构

• 数据字段:
  • question: 字符串类型
  • paragraph: 字符串类型
  • answer: 字符串类型
  • sentence: 字符串类型
  • paragraph_answer: 字符串类型，答案部分用特殊标记<hl>高亮
  • paragraph_sentence: 字符串类型，包含答案的句子部分用特殊标记<hl>高亮
  • sentence_answer: 字符串类型，答案部分用特殊标记<hl>高亮

数据分割

• 分割详情:
  • train: 45327条记录
  • validation: 5036条记录
  • test: 23936条记录

许可证

• 许可证: CC-BY-4.0

引用信息

@inproceedings{ushio-etal-2022-generative, title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration", author = "Ushio, Asahi and Alva-Manchego, Fernando and Camacho-Collados, Jose", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", address = "Abu Dhabi, U.A.E.", publisher = "Association for Computational Linguistics", }

搜集汇总

背景与挑战

背景概述

该数据集是QG-Bench的一个子集，专门用于俄语段落级问题生成任务，基于SberQuaD修改而来，包含训练、验证和测试分割，总规模在10K到100K条数据之间。数据集提供了问题、段落、答案和句子等字段，并设计了带高亮标记的变体以支持不同的问题生成模型训练，例如答案感知和句子感知生成。