sidovic/LearningQ-qg

--- license: unknown task_categories: - text-generation language: - en tags: - question generation pretty_name: LeaningQ-qg size_categories: - 100K<n<1M train-eval-index: - config: plain_text task: question-generation task_id: extractive_question_generation splits: train_split: train eval_split: validation test_split: test col_mapping: context: context questionsrc: question source question: question metrics: - type: squad name: SQuAD dataset_info: features: - name: context dtype: string - name: questionsrc dtype: string - name: question dtype: string config_name: plain_text splits: - name: train num_examples: 188660 - name: validation num_examples: 20630 - name: test num_examples: 18227 --- # Dataset Card for LearningQ-qg ## Dataset Description - **Repository:** [GitHub](https://github.com/AngusGLChen/LearningQ#readme) - **Paper:** [LearningQ: A Large-scale Dataset for Educational Question Generation](https://ojs.aaai.org/index.php/ICWSM/article/view/14987/14837) - **Point of Contact:** [e-mail] ### Dataset Summary LearningQ, a challenging educational question generation dataset containing over 230K document-question pairs by [Guanliang Chen, Jie Yang, Claudia Hauff and Geert-Jan Houben]. It includes 7K instructor-designed questions assessing knowledge concepts being taught and 223K learner-generated questions seeking in-depth understanding of the taught concepts. This new version collected and corrected from over than 50000 error and more than 1500 type of error by [Sidali Lamri](https://dz.linkedin.com/in/sidali-lamri) ### Use the dataset ```python from datasets import load_dataset lq_dataset = load_dataset("sidovic/LearningQ-qg") lq_dataset["train"][1] len(lq_dataset["train"]),len(lq_dataset["validation"]),len(lq_dataset["test"]) ``` ### Supported Tasks and Leaderboards [Question generation] ### Languages [English] ## Dataset Structure ### Data Instances An example of example looks as follows. ``` { "context": "This is a test context.", "questionsrc": "test context", "question": "Is this a test?" } ``` ### Data Fields The data fields are the same among all splits. - `context`: a `string` feature. - `questionsrc`: a `string` feature. - `question`: a `string` feature. ### Data Splits | name |train |validation|test | |----------|-----:|---------:|----:| |LearningQ |188660| 20630|18227| ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information [More Information Needed] ### Citation Information ``` { author = {Sidali Lamri}, title = {new LearningQ version for Question generation in transformers}, year = {2023} } @paper{ICWSM18LearningQ, author = {Guanliang Chen, Jie Yang, Claudia Hauff and Geert-Jan Houben}, title = {LearningQ: A Large-scale Dataset for Educational Question Generation}, conference = {International AAAI Conference on Web and Social Media}, year = {2018} } ``` ### Contributions [More Information Needed]--- 许可证：未知 任务类别： - 文本生成 语言： - 英语 标签： - 问题生成 数据集展示名：LearningQ-qg 样本量范围：10万 < 样本量 < 100万 训练评估配置： - 配置：纯文本 任务：问题生成 任务ID：抽取式问题生成（extractive question generation） 数据集拆分： 训练集拆分：train 验证集拆分：validation 测试集拆分：test 列映射： context → 上下文（context） questionsrc → 问题源（questionsrc） question → 问题（question） 评估指标： - 类型：SQuAD 名称：SQuAD 数据集信息： 特征： - 名称：上下文（context），数据类型：字符串 - 名称：问题源（questionsrc），数据类型：字符串 - 名称：问题（question），数据类型：字符串 配置名称：纯文本 数据集拆分： - 拆分名称：train，样本数：188660 - 拆分名称：validation，样本数：20630 - 拆分名称：test，样本数：18227 --- # LearningQ-qg 数据集卡片 ## 数据集描述 - **代码仓库**：[GitHub](https://github.com/AngusGLChen/LearningQ#readme) - **相关论文**：[LearningQ: 大规模教育问题生成数据集](https://ojs.aaai.org/index.php/ICWSM/article/view/14987/14837) - **联系人**：[e-mail] ### 数据集概述 LearningQ是一款具有较高挑战性的教育问题生成数据集，由Guanliang Chen、Jie Yang、Claudia Hauff与Geert-Jan Houben构建，包含超过23万条文档-问题对。其中包含7000条由教师设计的问题，用于评估授课过程中的知识概念；另有22.3万条由学习者生成的问题，用于考察其对授课内容的深度理解。本修订版本由Sidali Lamri从超过5万条错误样本与1500余种错误类型中整理并修正而来。 ### 数据集使用方法 python from datasets import load_dataset lq_dataset = load_dataset("sidovic/LearningQ-qg") lq_dataset["train"][1] len(lq_dataset["train"]),len(lq_dataset["validation"]),len(lq_dataset["test"]) ### 支持任务与基准榜单 [问题生成] ### 语言 [英语] ## 数据集结构 ### 数据样例 一条数据样例如以下所示： { "context": "This is a test context.", "questionsrc": "test context", "question": "Is this a test?" } ### 数据字段 所有数据集拆分的数据字段均保持一致： - `context`（上下文）：字符串类型特征 - `questionsrc`（问题源）：字符串类型特征 - `question`（问题）：字符串类型特征 ### 数据集拆分 | 拆分名称 | 训练集 | 验证集 | 测试集 | |----------|-------:|-------:|-------:| | LearningQ | 188660 | 20630 | 18227 | ## 数据集构建 ### 构建初衷 [需补充更多信息] ### 源数据 #### 初始数据收集与标准化 [需补充更多信息] #### 源数据生产者是谁？ [需补充更多信息] ### 标注信息 #### 标注流程 [需补充更多信息] #### 标注者是谁？ [需补充更多信息] ### 个人与敏感信息 [需补充更多信息] ## 数据使用注意事项 ### 数据集的社会影响 [需补充更多信息] ### 偏差讨论 [需补充更多信息] ### 其他已知局限性 [需补充更多信息] ## 附加信息 ### 数据集管理者 [需补充更多信息] ### 许可信息 [需补充更多信息] ### 引用信息 bibtex { author = {Sidali Lamri}, title = {new LearningQ version for Question generation in transformers}, year = {2023} } @paper{ICWSM18LearningQ, author = {Guanliang Chen, Jie Yang, Claudia Hauff and Geert-Jan Houben}, title = {LearningQ: A Large-scale Dataset for Educational Question Generation}, conference = {International AAAI Conference on Web and Social Media}, year = {2018} } ### 贡献情况 [需补充更多信息]

原始信息汇总

数据集概述

数据集描述

• 名称: LearningQ-qg
• 语言: 英语
• 任务类别: 文本生成
• 标签: 问题生成

数据集详细信息

• 许可证: 未知
• 大小: 100K<n<1M
• 配置名称: plain_text
• 训练-验证-测试分割:
  • 训练集: 188660个样本
  • 验证集: 20630个样本
  • 测试集: 18227个样本
• 特征:
  • context: 字符串类型
  • questionsrc: 字符串类型
  • question: 字符串类型

数据集使用

• 加载数据集: python from datasets import load_dataset lq_dataset = load_dataset("sidovic/LearningQ-qg")

数据集结构

• 数据实例: json { "context": "string", "questionsrc": "string", "question": "string" }

• 数据字段:

  • context: 字符串
  • questionsrc: 字符串
  • question: 字符串

数据集创建

• 数据集概述:
  • 包含230K文档-问题对
  • 包括7K教师设计的问题和223K学生生成的问题
  • 由Sidali Lamri收集并纠正超过50000个错误和1500种错误类型

搜集汇总

背景与挑战

背景概述

LearningQ-qg是一个大规模的教育问题生成数据集，包含超过230K的文档-问题对，支持文本生成任务，适用于英语环境。数据集分为训练、验证和测试集，适用于教育领域的问题生成研究和应用。