lighteval/natural_questions_clean

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
dataset_info:
features:
- name: id
dtype: string
- name: title
dtype: string
- name: document
dtype: string
- name: question
dtype: string
- name: long_answers
sequence: string
- name: short_answers
sequence: string
splits:
- name: train
num_bytes: 4346873866.211105
num_examples: 106926
- name: validation
num_bytes: 175230324.62247765
num_examples: 4289
download_size: 1406784865
dataset_size: 4522104190.833583
---
# Dataset Card for "natural_questions_clean"

Created by @thomwolf on the basis of https://huggingface.co/datasets/lighteval/natural_questions but removing the questions without short answers provided.

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

配置项：
- 配置名称（config_name）：default
数据文件（data_files）：
- 拆分集（split）：train，路径：data/train-*
- 拆分集（split）：validation，路径：data/validation-*
数据集信息（dataset_info）：
特征（features）：
- 字段名：id，数据类型（dtype）：string
- 字段名：title，数据类型（dtype）：string
- 字段名：document，数据类型（dtype）：string
- 字段名：question，数据类型（dtype）：string
- 字段名：long_answers，类型：string序列（sequence: string）
- 字段名：short_answers，类型：string序列（sequence: string）
拆分集详情（splits）：
- 拆分名称：train，占用字节数：4346873866.211105，样本量：106926
- 拆分名称：validation，占用字节数：175230324.62247765，样本量：4289
下载大小（download_size）：1406784865，数据集总大小（dataset_size）：4522104190.833583
---
# 「natural_questions_clean」数据集卡片
本数据集由@thomwolf 基于https://huggingface.co/datasets/lighteval/natural_questions 构建，移除了未提供简短答案的问题。
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置信息

• 配置名称: default
• 数据文件:
  • 训练集: data/train-*
  • 验证集: data/validation-*

数据集信息

• 特征:

  • id: 字符串类型
  • title: 字符串类型
  • document: 字符串类型
  • question: 字符串类型
  • long_answers: 字符串序列
  • short_answers: 字符串序列

• 分割:

  • 训练集:
    • 字节数: 4346873866.211105
    • 样本数: 106926
  • 验证集:
    • 字节数: 175230324.62247765
    • 样本数: 4289

• 下载大小: 1406784865

• 数据集大小: 4522104190.833583