Pile-CC

Pile-CC是一个基于Common Crawl的数据集，用于训练和研究目的。Common Crawl是一个从2008年开始收集的网站抓取数据集，包括网页、元数据和文本提取。然而，由于数据集的原始性质，其中的文本质量参差不齐。 为了改善数据质量，Pile-CC使用了jusText工具对Web Archive文件（包括页面的HTML）进行提取，从而产生了更高质量的文本输出。Pile-CC is a dataset based on Common Crawl, designed for training and research purposes. Common Crawl is a web crawling dataset collected since 2008, covering web pages, metadata, and extracted text. However, owing to the raw nature of the original dataset, the quality of its text varies significantly. To enhance data quality, Pile-CC employs the jusText tool to extract content from Web Archive files (including the HTML of web pages), thereby producing higher-quality text outputs.

搜集汇总

背景与挑战

背景概述

Pile-CC是一个基于Common Crawl的文本数据集，专为训练和研究设计。它通过工具提取和分类过滤，提升了原始数据的质量，为自然语言处理任务提供了可靠的筛选子集。