ryanaswift7/fineweb-edu-pythia-kdfp-subsets-100m

---
dataset_info:
config_name: v1
features:
- name: text
dtype: string
- name: token_count
dtype: int64
- name: id
dtype: string
- name: url
dtype: string
- name: edu_score
dtype: float64
- name: version_label
dtype: string
- name: split_name
dtype: string
splits:
- name: train
num_bytes: 489413815
num_examples: 125457
- name: validation
num_bytes: 49045893
num_examples: 12596
- name: test
num_bytes: 48983397
num_examples: 12609
download_size: 355060302
dataset_size: 587443105
configs:
- config_name: v1
data_files:
- split: train
path: v1/train-*
- split: validation
path: v1/validation-*
- split: test
path: v1/test-*
---

数据集信息：
配置名称：v1
特征字段：
- 名称：text，数据类型：字符串
- 名称：token_count，数据类型：int64（该字段用于记录词元（Token）数量）
- 名称：id，数据类型：字符串
- 名称：url，数据类型：字符串
- 名称：edu_score，数据类型：float64
- 名称：version_label，数据类型：字符串
- 名称：split_name，数据类型：字符串
数据拆分：
- 拆分名称：训练集（train），字节大小：489413815，样本数量：125457
- 拆分名称：验证集（validation），字节大小：49045893，样本数量：12596
- 拆分名称：测试集（test），字节大小：48983397，样本数量：12609
下载总大小：355060302
数据集总存储大小：587443105
配置项：
- 配置名称：v1
数据文件：
- 拆分集：训练集（train），文件路径：v1/train-*
- 拆分集：验证集（validation），文件路径：v1/validation-*
- 拆分集：测试集（test），文件路径：v1/test-*