iankur/SlimPajama-100M

---
dataset_info:
features:
- name: text
dtype: string
- name: meta
struct:
- name: redpajama_set_name
dtype: string
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 404287170.9446808
num_examples: 92379
- name: validation
num_bytes: 39109042
num_examples: 9347
- name: test
num_bytes: 40114950
num_examples: 9346
download_size: 285718962
dataset_size: 483511162.9446808
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

数据集信息：
特征字段：
- 名称：text，数据类型：字符串
- 名称：meta，数据类型为结构体，其包含子字段：
- 名称：redpajama_set_name，数据类型：字符串
- 名称：__index_level_0__，数据类型：64位整数
数据集划分：
- 划分名称：train（训练集），字节占用量：404287170.9446808 字节，样本数量：92379
- 划分名称：validation（验证集），字节占用量：39109042 字节，样本数量：9347
- 划分名称：test（测试集），字节占用量：40114950 字节，样本数量：9346
下载总大小：285718962 字节，数据集总存储大小：483511162.9446808 字节
配置方案：
- 配置名称：default（默认配置），对应数据文件映射：
- 训练集：data/train-*
- 验证集：data/validation-*
- 测试集：data/test-*

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• meta：结构化数据，包含子特征
  • redpajama_set_name：字符串类型
• index_level_0：整数类型（int64）

数据集分割

• 训练集：包含92379个样本，总大小为404287170.9446808字节
• 验证集：包含9347个样本，总大小为39109042字节
• 测试集：包含9346个样本，总大小为40114950字节

数据集大小

• 下载大小：285718962字节
• 总大小：483511162.9446808字节

数据文件配置

• 配置名称：default
• 数据文件路径：
  • 训练集：data/train-*
  • 验证集：data/validation-*
  • 测试集：data/test-*