redpajama-arxiv-refined-by-data-juicer

A refined version of ArXiv dataset in RedPajama by Data-Juicer. Removing some "bad" samples from the original dataset to make it higher-quality. This dataset is usually used to pretrain a Large Language Model.

本数据集是Data-Juicer团队基于RedPajama数据集中的ArXiv数据集（ArXiv dataset）打造的精炼版本。通过从原始数据集中移除部分劣质样本，该数据集的整体质量得到有效提升。此数据集通常用于大语言模型（Large Language Model）的预训练任务。

搜集汇总

背景与挑战

背景概述

该数据集是RedPajama中ArXiv数据集的精炼版本，通过Data-Juicer工具去除低质量样本以提升数据质量，适用于大语言模型的预训练。原始数据集约95.99%的样本被保留，共计约165.5万条数据。