EssentialAI/essential-web-v1.0

Essential-Web 是一个包含 24 万亿个标记的网页数据集，具有文档级元数据，旨在用于灵活的数据集整理。该数据集为 236 亿个文档提供了包括主题分类、网页类型、内容复杂性和文档质量评分在内的元数据。研究人员可以使用提供的元数据过滤和整理专业数据集，从而减少自定义预处理管道和特定领域分类器的需求。

Essential-Web is a 24-trillion-token web dataset with document-level metadata designed for flexible dataset curation. The dataset provides metadata including subject matter classification, web page type, content complexity, and document quality scores for each of the 23.6 billion documents. Researchers can filter and curate specialized datasets using the provided metadata, reducing the need for custom preprocessing pipelines and domain-specific classifiers.

搜集汇总

数据集介绍

构建方式

Essential-Web数据集构建于Common Crawl数据之上，整合了101个快照，涵盖了从2013年至2024年的广泛网络内容。其处理流水线包括使用xxhash生成唯一文档标识符、跨所有快照的全局哈希去重、基于MinHash LSH的相似性去重（Jaccard阈值为0.7），以及结合统计与模型质量信号的标注流程。最终，通过人工调优的过滤器保留高质量英文文档，并利用EAI-Taxonomy-0.5b分类器（耗费约9万AMD MI300x GPU小时）为每个文档赋予主题、类型、复杂度及质量评分等元数据，形成了包含236亿文档、24万亿词元的大规模语料库。

特点

该数据集的核心特色在于其丰富的文档级元数据体系，特别是采用了创新的自由十进制对应分类法，提供三级层次化主题标签，便于精准的领域过滤。此外，数据集融合了布鲁姆教育目标分类学，从知识域和认知过程两个维度评估文档的教育价值，并细粒度标注了文档类型、推理深度、技术正确性及教育水平。这些多维度的质量信号与分类信息，使得研究者能够灵活过滤低质量内容，聚焦于推理密集型文档，从而在数学、代码、STEM和医学等领域展现出显著的性能优势。

使用方法

研究者可通过SQL风格的元数据过滤器快速定制领域数据集，无需构建复杂的预处理管道。例如，利用FDC分类码筛选数学或代码文档，结合布鲁姆分类标签定位高认知层次的内容，或根据推理深度和技术正确性指标剔除低质样本。数据集以Parquet格式存储，支持通过HuggingFace Datasets库高效加载，并提供了预筛选的领域子集（如数学、医学）作为起点。用户可迭代调整过滤条件，基于训练结果优化语料组成，实现灵活的数据探索与质量控制。

背景与挑战

背景概述

Essential-Web是由Essential AI研究团队于2025年发布的大规模网络文本数据集，包含24万亿个令牌，源自101个Common Crawl快照。该数据集的核心研究问题在于为语言模型预训练提供一种灵活且高质量的语料库，通过引入Free Decimal Correspondence（FDC）分类法，实现对文档主题、类型和质量的细粒度元数据标注。这一创新使得研究人员能够基于元数据快速筛选和定制特定领域（如数学、代码、医学）的训练数据，显著降低了传统预处理管道和领域分类器的定制成本。Essential-Web的影响力体现在其将图书馆分类思想融入网络数据处理的尝试，为大规模语料库的构建与复用树立了新范式。

当前挑战

Essential-Web所面对的领域挑战在于网络文本数据的高度异构性和噪声问题，如广告、机器生成内容和低质量文本干扰，这要求数据集中必须包含精确的质量评估与过滤机制。构建过程中，团队需克服多源快照的全局去重难题，采用哈希与MinHash LSH结合的方法，以0.7的Jaccard阈值实现跨快照的相似文档检测。此外，基于约9万AMD MI300x GPU小时训练的EAI-Taxonomy-0.5b分类模型，需在主题标注、文档类型识别和推理深度评估等多个维度上保持高准确性，同时处理提取过程中常见的HTML残留、截断片段和缺失内容等技术瑕疵，确保元数据的可靠性与实用性。

常用场景

经典使用场景

Essential-Web 数据集以 24 万亿 token 的庞大规模和文档级元数据为核心，为自然语言处理领域提供了一种全新的数据策展范式。其最经典的使用场景在于利用 Free Decimal Correspondence（FDC）分类体系、Bloom 认知分类以及内容质量维度（如推理深度、技术正确性、教育水平）等丰富元数据，通过 SQL 风格的灵活过滤，快速构建面向特定学科领域的高质量训练语料。研究者无需依赖繁琐的自定义预处理流程或领域专用分类器，即可从海量网络文本中精准筛选出数学、代码、STEM 或医学等子集，从而大幅提升领域语言模型的预训练效率与性能。

解决学术问题

该数据集系统性地解决了网络文本语料库构建中长期存在的两大核心学术难题：一是跨领域数据的细粒度分类与可追溯性不足，二是高质量领域子集的定制化成本高昂。通过引入 FDC 三级层次分类和 Bloom 教育目标分类学，Essential-Web 使研究者能够以可复现的方式对文档进行学科归属、认知层次和分析深度的量化标注，从而有效过滤广告、产品列表等低质量内容，保留蕴含丰富推理逻辑的文本。这一突破显著降低了领域预训练数据构建的进入壁垒，推动了语言模型在数学推理、代码生成、科学文献理解等方向上的性能跃升。

衍生相关工作

围绕 Essential-Web 衍生出一系列具有影响力的经典工作。官方发布的 EAI-Taxonomy-0.5b 分类模型（基于约 9 万 AMD MI300X GPU 小时训练）为文档标注提供了高效工具，而基于该数据集过滤出的数学、代码、医学和 STEM 子集（如 eai-taxonomy-math-w-fm）已成为领域预训练的重要基准。此外，该工作与 DCLM 基线、FineWeb 和 NaturalReasoning 等研究脉络紧密交织，其文档级元数据设计理念被后续多项数据集构建工作借鉴，推动了可定制化网络语料库从“一刀切”向“按需策展”范式的根本性转变。