carlosejimenez/wikipedia-20220301.en-block-size-1024

---
dataset_info:
features:
- name: tokens
sequence: string
- name: id
dtype: int64
- name: text
dtype: string
splits:
- name: validation
num_bytes: 301864191
num_examples: 21817
- name: train
num_bytes: 60558566627
num_examples: 4368542
download_size: 20321590769
dataset_size: 60860430818
---
# Dataset Card for "wikipedia-20220301.en-block-size-1024"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征：
- 名称：词元（Token）序列，类型为字符串序列
- 名称：id，数据类型为64位整数（int64）
- 名称：text，数据类型为字符串
数据集划分：
- 划分名称：验证集（validation），占用字节数：301864191，样本数量：21817
- 划分名称：训练集（train），占用字节数：60558566627，样本数量：4368542
下载总大小：20321590769 字节
数据集总占用大小：60860430818 字节

---
# 数据集卡片："wikipedia-20220301.en-block-size-1024"

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: wikipedia-20220301.en-block-size-1024

数据集特征

• tokens: 序列类型为字符串。
• id: 数据类型为int64。
• text: 数据类型为字符串。

数据集分割

• 训练集 (train):
  • 示例数量: 4368542
  • 字节数: 60558566627
• 验证集 (validation):
  • 示例数量: 21817
  • 字节数: 301864191

数据集大小

• 下载大小: 20321590769字节
• 数据集总大小: 60860430818字节