lmqg/qa_squadshifts

SQuADShifts数据集是一个英语单语数据集，专门用于问答任务。该数据集包含自定义的训练、验证和测试分割，旨在评估问答模型在不同数据分布下的表现。数据集中的每个样本包括一个唯一的id、文章标题、相关段落、提出的问题以及答案。

license: CC BY 4.0
pretty_name: SQuADShifts
language: en
multilinguality: 单语
size_categories: 1000 < 样本数量 < 10000
source_datasets:
- extended|wikipedia
task_categories:
- 问答（question-answering）
task_ids:
- 抽取式问答（extractive-qa）

# 数据集卡片：lmqg/qa_squadshifts

## 数据集说明
- **代码仓库：** [https://github.com/asahi417/lm-question-generation]
- **相关论文：** [https://arxiv.org/abs/2004.14444]
- **联系人：** [朝日牛男（Asahi Ushio）](http://asahiushio.com/)

### 数据集概述
本数据集为SQuADShifts数据集，参考[lmqg/qg_squadshifts](https://huggingface.co/datasets/lmqg/qg_squadshifts)的划分规则，自定义了训练集、验证集与测试集的拆分方式。

### 支持任务与评测榜单
* `question-answering`

### 语言
英语（en）

## 数据集结构

### 数据字段
所有拆分的数据字段均保持一致。

#### 纯文本格式字段
- `id`：字符串类型的样本标识符
- `title`：字符串类型的段落标题
- `context`：字符串类型的段落文本
- `question`：字符串类型的问题文本
- `answers`：JSON格式的答案字段

### 数据拆分

| 拆分名称 | 训练集 | 验证集 | 测试集 |
|-------------|------:|------:|-----:|
| 默认（全量）| 9209 | 6283 | 18,844 |
| 亚马逊（Amazon）| 3295 | 1648 | 4942 |
| 新维基（new_wiki）| 2646 | 1323 | 3969 |
| 《纽约时报》（nyt）| 3355 | 1678 | 5032 |
| Reddit | 3268 | 1634 | 4901 |

## 引用信息

@inproceedings{miller2020effect,
title={The effect of natural distribution shift on question answering models},
author={Miller, John and Krauth, Karl and Recht, Benjamin and Schmidt, Ludwig},
booktitle={International Conference on Machine Learning},
pages={6905--6916},
year={2020},
organization={PMLR}
}

原始信息汇总

数据集概述

数据集基本信息

• 名称: SQuADShifts
• 许可证: CC-BY-4.0
• 语言: 英语 (en)
• 多语言性: 单语种
• 大小: 1k<n<10k
• 来源数据集: 扩展自维基百科
• 任务类别: 问答
• 任务ID: 抽取式问答 (extractive-qa)

数据集描述

• 概述: SQuADShifts 数据集，包含自定义的训练/验证/测试分割，遵循 lmqg/qg_squadshifts 的分割方式。
• 支持的任务: 问答

数据集结构

数据字段

• id: 字符串类型，标识符
• title: 字符串类型，段落标题
• context: 字符串类型，段落内容
• question: 字符串类型，问题
• answers: JSON 类型，答案

数据分割

• 默认分割:
  • 训练: 9209
  • 验证: 6283
  • 测试: 18844
• 其他分割:
  • amazon: 训练: 3295, 验证: 1648, 测试: 4942
  • new_wiki: 训练: 2646, 验证: 1323, 测试: 3969
  • nyt: 训练: 3355, 验证: 1678, 测试: 5032
  • reddit: 训练: 3268, 验证: 1634, 测试: 4901