emozilla/pg19

该数据集是pg19的Paraquet版本，包含短书名、出版日期、链接和文本四个特征。数据集分为训练集、验证集和测试集，分别包含28602、50和100个样本。数据集的下载大小为2257437892字节，总大小为11511573599字节。数据集的统计信息显示，总字符数为11425076324，平均字符数为399450.2595622684。

This dataset is the Parquet version of pg19, which contains four features: short book title, publication date, link and text. The dataset is split into training set, validation set and test set, which contain 28602, 50 and 100 samples respectively. The download size of the dataset is 2257437892 bytes, and the total storage size is 11511573599 bytes. Statistical information of the dataset shows that the total number of characters is 11425076324, and the average number of characters per sample is 399450.2595622684.

原始信息汇总

数据集概述

数据集名称

pg19

数据集特征

• short_book_title: 字符串类型
• publication_date: 整数类型（int32）
• url: 字符串类型
• text: 字符串类型

数据集分割

• 训练集（train）:
  • 示例数量: 28602
  • 数据大小: 11453688452 字节
• 验证集（validation）:
  • 示例数量: 50
  • 数据大小: 17402295 字节
• 测试集（test）:
  • 示例数量: 100
  • 数据大小: 40482852 字节

数据集大小

• 下载大小: 2257437892 字节
• 数据集总大小: 11511573599 字节

统计信息

• 总字符数: 11425076324
• 平均字符长度: 399450.2595622684