ZurabDz/tokenized_dataset

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: token_type_ids
sequence: int8
- name: attention_mask
sequence: int8
- name: special_tokens_mask
sequence: int8
splits:
- name: train
num_bytes: 13366678800
num_examples: 55694495
- name: validation
num_bytes: 143604720
num_examples: 598353
download_size: 5542068106
dataset_size: 13510283520
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

数据集信息：
特征字段：
- 名称：input_ids（输入ID），序列类型：int32（32位整数）
- 名称：token_type_ids（令牌类型ID），序列类型：int8（8位整数）
- 名称：attention_mask（注意力掩码），序列类型：int8（8位整数）
- 名称：special_tokens_mask（特殊令牌掩码），序列类型：int8（8位整数）
数据划分：
- 名称：训练集（train），字节数：13366678800，样本数：55694495
- 名称：验证集（validation），字节数：143604720，样本数：598353
下载大小：5542068106，数据集总大小：13510283520
配置项：
- 配置名称：default（默认配置），数据文件：
- 划分：训练集，路径：data/train-*
- 划分：验证集，路径：data/validation-*

原始信息汇总

数据集概述

数据集特征

• input_ids：序列类型为int32。
• token_type_ids：序列类型为int8。
• attention_mask：序列类型为int8。
• special_tokens_mask：序列类型为int8。

数据集分割

• 训练集：
  • 数据量：13366678800字节
  • 示例数量：55694495
• 验证集：
  • 数据量：143604720字节
  • 示例数量：598353

数据集大小

• 下载大小：5542068106字节
• 数据集总大小：13510283520字节

配置文件

• 默认配置：
  • 训练集路径：data/train-*
  • 验证集路径：data/validation-*