ytzi/the-stack-dedup-gpt2

---
dataset_info:
- config_name: julia
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 4488572639
num_examples: 298672
download_size: 1340259889
dataset_size: 4488572639
- config_name: lua
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 9277991216
num_examples: 558861
download_size: 2761679970
dataset_size: 9277991216
- config_name: scheme
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 907251818
num_examples: 44261
download_size: 216232390
dataset_size: 907251818
configs:
- config_name: julia
data_files:
- split: train
path: julia/train-*
- config_name: lua
data_files:
- split: train
path: lua/train-*
- config_name: scheme
data_files:
- split: train
path: scheme/train-*
---

数据集信息：
- 配置名称：julia
特征字段：
- 内容（content）：数据类型为字符串
- 输入Token序列（input_ids）：序列类型，元素为32位整数
- 字符-Token比率（ratio_char_token）：数据类型为64位浮点数
- Token计数（token_count）：数据类型为64位整数
数据集划分：
- 训练集（train）：字节数为4488572639，样本量为298672
下载大小：1340259889，数据集总大小：4488572639
- 配置名称：lua
特征字段：
- 内容（content）：数据类型为字符串
- 输入Token序列（input_ids）：序列类型，元素为32位整数
- 字符-Token比率（ratio_char_token）：数据类型为64位浮点数
- Token计数（token_count）：数据类型为64位整数
数据集划分：
- 训练集（train）：字节数为9277991216，样本量为558861
下载大小：2761679970，数据集总大小：9277991216
- 配置名称：scheme
特征字段：
- 内容（content）：数据类型为字符串
- 输入Token序列（input_ids）：序列类型，元素为32位整数
- 字符-Token比率（ratio_char_token）：数据类型为64位浮点数
- Token计数（token_count）：数据类型为64位整数
数据集划分：
- 训练集（train）：字节数为907251818，样本量为44261
下载大小：216232390，数据集总大小：907251818
数据集配置：
- 配置名称：julia，数据文件路径为`julia/train-*`，对应训练集划分
- 配置名称：lua，数据文件路径为`lua/train-*`，对应训练集划分
- 配置名称：scheme，数据文件路径为`scheme/train-*`，对应训练集划分

原始信息汇总

数据集概述

配置名称：Julia

• 特征:
  • content: 数据类型为字符串
  • input_ids: 序列类型为32位整数
  • ratio_char_token: 数据类型为64位浮点数
  • token_count: 数据类型为64位整数
• 分割:
  • train:
    • 字节数: 4488572639
    • 示例数: 298672
• 下载大小: 1340259889
• 数据集大小: 4488572639

配置名称：Lua

• 特征:
  • content: 数据类型为字符串
  • input_ids: 序列类型为32位整数
  • ratio_char_token: 数据类型为64位浮点数
  • token_count: 数据类型为64位整数
• 分割:
  • train:
    • 字节数: 9277991216
    • 示例数: 558861
• 下载大小: 2761679970
• 数据集大小: 9277991216

配置名称：Scheme

• 特征:
  • content: 数据类型为字符串
  • input_ids: 序列类型为32位整数
  • ratio_char_token: 数据类型为64位浮点数
  • token_count: 数据类型为64位整数
• 分割:
  • train:
    • 字节数: 907251818
    • 示例数: 44261
• 下载大小: 216232390
• 数据集大小: 907251818