emozilla/pg_books-tokenized-bos-eos-chunked-65536
收藏Hugging Face2023-10-07 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/emozilla/pg_books-tokenized-bos-eos-chunked-65536
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是基于pg19数据集，使用LLaMA模型进行tokenized处理，每个块的大小为64k，并在每个块的开头和结尾添加了BOS和EOS标记。数据集包含input_ids、attention_mask和labels等特征，分别使用int32、int8和int64数据类型表示。数据集的总大小为67744337720字节，包含79514个示例，下载大小为1125510240字节。
提供机构：
emozilla原始信息汇总
数据集概述
数据集名称
- pg_books-tokenized-bos-eos-chunked-65536
数据集配置
- 默认配置
- 数据文件路径：data/train-*
- 数据分割：train
数据集特征
- 特征列表
- 名称：input_ids
- 类型：int32序列
- 名称：attention_mask
- 类型：int8序列
- 名称：labels
- 类型：int64序列
- 名称：input_ids
数据集分割
- 训练集
- 字节数：67744337720
- 样本数：79514
数据集大小
- 下载大小：1125510240
- 数据集大小：67744337720
