redpajama-book-refined-by-data-juicer

A refined version of Book dataset in RedPajama by Data-Juicer. Removing some "bad" samples from the original dataset to make it higher-quality. This dataset is usually used to pretrain a Large Language Model.

本数据集为Data-Juicer针对RedPajama中的图书数据集（Book dataset）优化后的版本。其通过移除原始数据集中的部分低质量样本，以提升整体数据集的品质。该数据集通常用于大语言模型（Large Language Model，LLM）的预训练工作。

搜集汇总

背景与挑战

背景概述

该数据集是RedPajama中Book数据集的精炼版本，由Data-Juicer通过移除低质量样本提升质量，通常用于大语言模型预训练。它包含195,983个样本，保留了原始数据约95.51%的内容。