dvruette/openwebtext-tokenized-66k

---
dataset_info:
features:
- name: tokens
sequence: int64
splits:
- name: train
num_bytes: 66704790532
num_examples: 7913769
- name: validation
num_bytes: 844152560
num_examples: 100000
download_size: 16721362332
dataset_size: 67548943092
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

数据集信息：
特征：
- 名称：tokens，序列类型为64位整数（int64）
数据集划分：
- 名称：train（训练集），占用字节数：66704790532，样本数量：7913769
- 名称：validation（验证集），占用字节数：844152560，样本数量：100000
下载大小：16721362332
数据集总大小：67548943092
配置项：
- 配置名称：default（默认配置）
数据文件：
- 划分：train（训练集），路径：data/train-*
- 划分：validation（验证集），路径：data/validation-*