dvruette/openwebtext-tokenized-16k

---
dataset_info:
features:
- name: tokens
sequence: int64
splits:
- name: train
num_bytes: 74419976492
num_examples: 7913769
- name: validation
num_bytes: 941673792
num_examples: 100000
download_size: 16988009059
dataset_size: 75361650284
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

dataset_info:
特征:
- 名称: 词元（tokens）
序列类型: 64位整型（int64）
数据集划分:
- 划分名称: 训练集（train）
占用字节数: 74419976492
样本数量: 7913769
- 划分名称: 验证集（validation）
占用字节数: 941673792
样本数量: 100000
下载大小: 16988009059 字节
数据集总占用大小: 75361650284 字节
configs:
- 配置名称: default
数据文件:
- 对应划分: 训练集（train）
数据路径: data/train-*
- 对应划分: 验证集（validation）
数据路径: data/validation-*