emozilla/proofpile-test-tokenized-mistral

---
dataset_info:
features:
- name: text
dtype: string
- name: meta
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: tokenized_len
dtype: int64
splits:
- name: train
num_bytes: 1647980074
num_examples: 46251
download_size: 554081392
dataset_size: 1647980074
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "proofpile-test-tokenized-mistral"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息：
特征字段：
- 字段名称：text，数据类型：字符串型
- 字段名称：meta，数据类型：字符串型
- 字段名称：input_ids（输入ID序列），数据类型：32位整数序列
- 字段名称：attention_mask（注意力掩码），数据类型：8位整数序列
- 字段名称：tokenized_len（分词长度），数据类型：64位整数
数据集划分：
- 划分名称：train（训练集），字节数：1647980074，样本数量：46251
下载大小：554081392
数据集总大小：1647980074
配置项：
- 配置名称：default（默认配置）
数据文件：
- 对应划分：train（训练集），文件路径：data/train-*
---
# "proofpile-test-tokenized-mistral"数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

特征信息

• text: 数据类型为字符串。
• meta: 数据类型为字符串。
• input_ids: 序列类型为int32。
• attention_mask: 序列类型为int8。
• tokenized_len: 数据类型为int64。

数据分割

• train: 包含46251个样本，总字节数为1647980074。

数据大小

• 下载大小: 554081392字节。
• 数据集大小: 1647980074字节。

配置信息

• config_name: default
• data_files:
  • split: train
  • path: data/train-*