allenai/dolma3_pool

Dolma 3 Pool是一个包含超过9万亿token的数据集，数据来源多样，包括网页内容（Common Crawl）、学术文档（olmOCR Science PDFs）、GitHub代码（StackEdu）、LaTeX论文（arXiv）、数学网页（FineMath 3+）以及百科全书内容（Wikipedia & Wikibooks）。该数据集主要用于训练Olmo 3 7B模型的第一阶段，适用于文本生成任务。数据集语言为英语，采用Open Data Commons Attribution License v1.0 (ODC-By)许可，供研究和教育使用。

The Dolma 3 pool is a dataset of over 9 trillion tokens from a diverse mix of web content (Common Crawl), academic documents (olmOCR Science PDFs), GitHub code (StackEdu), LaTeX papers (arXiv), math web pages (FineMath 3+), and encyclopedic content (Wikipedia & Wikibooks). This dataset is primarily used to train the first stage of the Olmo 3 7B model and is suitable for text-generation tasks. The dataset is in English and is licensed under the Open Data Commons Attribution License v1.0 (ODC-By) for research and educational use.

搜集汇总

数据集介绍

构建方式

Dolma 3 Pool数据集的构建汇聚了来自多种异构数据源的海量文本，涵盖网页内容、学术论文、代码库与数学文献等。其核心构建策略在于对原始语料进行广泛采集与初步筛选，而非直接用于模型训练的最终混合。具体而言，该数据集整合了Common Crawl网页语料、经由olmOCR处理的高质量科学PDF文档、StackEdu代码数据、arXiv论文、FineMath 3+数学网页以及Wikipedia与Wikibooks百科内容，总计超过9.31万亿词元，近100亿文档。这一构建方式旨在为后续的质量上采样与数据混合提供丰富的原始语料池，从而支撑大规模语言模型的预训练需求。

特点

该数据集最显著的特征在于其作为预训练语料‘池’的定位，即未经质量上采样与混合处理的原始数据集合。其规模宏大，总词元数逾9万亿，来源多样且覆盖广泛，从网络文本到学术文献再到代码与数学内容，确保了语义与知识维度的丰富性。值得注意的是，当前发布版本仅包含Common Crawl与olmOCR Science PDFs两类数据，其余来源需通过外部链接获取，这体现了数据管理的模块化与版权合规性。此外，数据集采用ODC-By许可协议，明确面向研究与教育用途，体现了开放与负责任的数据共享理念。

使用方法

用户可通过HuggingFace的datasets库便捷地加载该数据集，基本调用方式为`load_dataset('allenai/dolma3_pool', split='train')`，即可获取全部训练数据。对于需要特定子集的研究场景，支持通过`data_files`参数指定数据路径，例如加载olmOCR科学PDF文档时，可使用通配符模式`data/olmocr_science_pdfs-*/*.jsonl.zst`。为降低本地存储压力，推荐启用`streaming=True`参数实现流式迭代，从而在不完全下载数据集的前提下高效访问数据。这一设计兼顾了大规模数据处理的灵活性与资源效率。

背景与挑战

背景概述

在大型语言模型（LLM）飞速发展的时代，预训练数据的规模与质量直接决定了模型的能力上限。由艾伦人工智能研究所（Allen Institute for AI）团队于2025年发布的Dolma 3 Pool数据集，正是为支撑其旗舰模型Olmo 3系列（7B与32B参数版本）的预训练而构建的庞大数据基石。该数据集汇聚了超过9万亿词元的多样化内容，涵盖网页文本、学术论文、代码、数学资料与百科知识，旨在解决当前LLM预训练中数据来源单一、领域覆盖不足的瓶颈问题。Dolma 3 Pool不仅继承了前代Dolma数据集在数据清洗与去重上的严谨传统，更通过引入olmOCR科学PDF等新型高质量来源，显著提升了模型在学术与专业领域的表现，对推动开放、可复现的大规模语言模型研究具有里程碑式的影响。

当前挑战

Dolma 3 Pool所面临的挑战是多维度的。首先，在领域问题层面，如何从海量、异构的互联网数据中高效筛选并平衡不同来源（如网页、代码、学术文献）的贡献，以避免模型产生领域偏见或知识遗忘，是预训练数据混合的核心难题。其次，构建过程中的挑战尤为突出：处理近100亿文档的规模要求极致的分布式存储与流式加载方案；对Common Crawl等原始数据进行质量过滤、去重与隐私保护，需在计算效率与数据保真度之间取得精妙平衡；此外，跨来源数据的格式统一、元数据对齐以及版权合规（如采用ODC-By许可）进一步增加了工程复杂性，确保最终数据集既能驱动模型性能突破，又符合伦理与法律标准。

常用场景

经典使用场景

Dolma 3 Pool 数据集汇聚了超过 9 万亿词元的多样化文本资源，涵盖网页内容、学术出版物、代码与数学文献等，是训练大规模语言模型（LLM）的经典预训练语料库。研究人员常以此为基础，通过质量过滤与混合采样策略，构建出用于训练 Olmo 3 系列模型的高质量子集。该数据集尤以 Common Crawl 和 olmOCR 科学 PDF 为核心，展现了从海量、异构的原始文本中提炼通用语言表征的典型范式，为后续的模型预训练、领域适配与多任务学习提供了坚实的语料基础。

实际应用

在实际应用中，Dolma 3 Pool 作为 Olmo 3 系列模型的预训练语料，支撑了从 7B 到 32B 参数规模的通用语言模型开发，广泛应用于智能问答、代码生成、科学文献摘要与教育辅助等场景。其多源数据特性使得模型在处理跨领域任务时具备更强的鲁棒性与知识迁移能力，尤其在数学推理与学术文本理解方面表现突出。此外，该数据集遵循 ODC-By 许可协议，降低了学术与工业界在合规使用上的门槛，促进了开放语言模型生态的构建。

衍生相关工作

围绕 Dolma 3 Pool 衍生了多项经典工作，其中最直接的是 Olmo 3 系列模型（7B 与 32B）的发布，其技术报告详细阐述了基于该池进行质量上采样与混合的预训练流程。此外，Dolma 系列数据集本身作为开放预训练语料的标杆，启发了后续如 FineMath 3+ 与 StackEdu 等针对特定领域的数据集构建方法。研究者还基于该池探索了数据质量对模型缩放律的影响，以及多源语料在知识增强与幻觉抑制中的作用，形成了数据驱动语言模型研究的重要分支。