emozilla/yarn-train-tokenized-8k-llama

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 22643813816
num_examples: 212602
download_size: 6260733414
dataset_size: 22643813816
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "yarn-train-tokenized-8k-llama"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

# 「yarn-train-tokenized-8k-llama」数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

## 数据集信息
### 特征
- 输入标识（input_ids）：序列类型特征，元素为32位整数（int32）
- 注意力掩码（attention_mask）：序列类型特征，元素为8位整数（int8）
- 标签（labels）：序列类型特征，元素为64位整数（int64）
### 数据划分
- 训练集（train）：数据字节数为22643813816，样本总量为212602
### 统计信息
下载大小：6260733414 字节
数据集总大小：22643813816 字节
### 配置
- 默认配置（default）：关联数据文件对应训练划分，路径为`data/train-*`

原始信息汇总

数据集概述

特征信息

• input_ids: 序列类型为 int32
• attention_mask: 序列类型为 int8
• labels: 序列类型为 int64

数据分割

• train: 包含 212602 个样本，总字节数为 22643813816

数据集大小

• 下载大小: 6260733414 字节
• 数据集大小: 22643813816 字节

配置信息

• config_name: default
• data_files:
  • split: train
  • path: data/train-*