aklein4/fineweb-w-edu-tinyllama

---
dataset_info:
- config_name: length_1024
features:
- name: input_ids
sequence: uint16
splits:
- name: train
num_bytes: 12663164916.0
num_examples: 6171133
download_size: 12025612637
dataset_size: 12663164916.0
- config_name: length_2048
features:
- name: input_ids
sequence: uint16
splits:
- name: train
num_bytes: 8116995500.0
num_examples: 1979755
download_size: 7673148631
dataset_size: 8116995500.0
configs:
- config_name: length_1024
data_files:
- split: train
path: length_1024/train-*
- config_name: length_2048
data_files:
- split: train
path: length_2048/train-*
---

数据集信息：
- 配置名称：长度1024（length_1024）
特征：
- 特征名称：输入标识（input_ids）
序列类型：无符号16位整数（uint16）
数据划分：
- 划分名称：训练集（train）
字节数：12663164916.0
样本数量：6171133
下载大小：12025612637
数据集总大小：12663164916.0
- 配置名称：长度2048（length_2048）
特征：
- 特征名称：输入标识（input_ids）
序列类型：无符号16位整数（uint16）
数据划分：
- 划分名称：训练集（train）
字节数：8116995500.0
样本数量：1979755
下载大小：7673148631
数据集总大小：8116995500.0
配置项：
- 配置名称：长度1024（length_1024）
数据文件：
- 数据划分：训练集（train）
文件路径：length_1024/train-*
- 配置名称：长度2048（length_2048）
数据文件：
- 数据划分：训练集（train）
文件路径：length_2048/train-*