orionweller/dolma_20bn_prop_stratified_sample

--- dataset_info: features: - name: id dtype: string - name: text dtype: string - name: added dtype: string - name: created dtype: string - name: source dtype: string - name: original_shard_dir dtype: string - name: original_shard_idx dtype: int64 - name: num_tokens dtype: int64 splits: - name: shard_0 num_bytes: 10004058054 num_examples: 2891134 - name: shard_1 num_bytes: 10115014699 num_examples: 3107821 - name: shard_2 num_bytes: 10003965839 num_examples: 2767485 - name: shard_3 num_bytes: 10105104758 num_examples: 2780370 - name: shard_4 num_bytes: 10076669237 num_examples: 2703160 - name: shard_5 num_bytes: 10070453626 num_examples: 2801525 - name: shard_6 num_bytes: 10026306308 num_examples: 2894785 - name: shard_7 num_bytes: 10055888005 num_examples: 2961433 - name: shard_8 num_bytes: 10045373058 num_examples: 3773801 download_size: 54067885359 dataset_size: 90502833584 configs: - config_name: default data_files: - split: shard_0 path: data/shard_0-* - split: shard_1 path: data/shard_1-* - split: shard_2 path: data/shard_2-* - split: shard_3 path: data/shard_3-* - split: shard_4 path: data/shard_4-* - split: shard_5 path: data/shard_5-* - split: shard_6 path: data/shard_6-* - split: shard_7 path: data/shard_7-* - split: shard_8 path: data/shard_8-* ---数据集信息： 数据特征： - 字段名：id，数据类型：字符串 - 字段名：text，数据类型：字符串 - 字段名：added，数据类型：字符串 - 字段名：created，数据类型：字符串 - 字段名：source，数据类型：字符串 - 字段名：original_shard_dir，数据类型：字符串 - 字段名：original_shard_idx，数据类型：64位整数 - 字段名：num_tokens，数据类型：64位整数 数据划分： - 分片名称：shard_0，占用字节数：10004058054，样本数量：2891134 - 分片名称：shard_1，占用字节数：10115014699，样本数量：3107821 - 分片名称：shard_2，占用字节数：10003965839，样本数量：2767485 - 分片名称：shard_3，占用字节数：10105104758，样本数量：2780370 - 分片名称：shard_4，占用字节数：10076669237，样本数量：2703160 - 分片名称：shard_5，占用字节数：10070453626，样本数量：2801525 - 分片名称：shard_6，占用字节数：10026306308，样本数量：2894785 - 分片名称：shard_7，占用字节数：10055888005，样本数量：2961433 - 分片名称：shard_8，占用字节数：10045373058，样本数量：3773801 下载总大小：54067885359 字节 数据集总大小：90502833584 字节 配置项： - 配置名称：default，数据文件对应如下： - 分片shard_0：路径为 `data/shard_0-*` - 分片shard_1：路径为 `data/shard_1-*` - 分片shard_2：路径为 `data/shard_2-*` - 分片shard_3：路径为 `data/shard_3-*` - 分片shard_4：路径为 `data/shard_4-*` - 分片shard_5：路径为 `data/shard_5-*` - 分片shard_6：路径为 `data/shard_6-*` - 分片shard_7：路径为 `data/shard_7-*` - 分片shard_8：路径为 `data/shard_8-*`

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• text: 字符串类型
• added: 字符串类型
• created: 字符串类型
• source: 字符串类型
• original_shard_dir: 字符串类型
• original_shard_idx: 整数类型 (int64)
• num_tokens: 整数类型 (int64)

数据集分片

• shard_0:
  • 字节数: 10004058054
  • 样本数: 2891134
• shard_1:
  • 字节数: 10115014699
  • 样本数: 3107821
• shard_2:
  • 字节数: 10003965839
  • 样本数: 2767485
• shard_3:
  • 字节数: 10105104758
  • 样本数: 2780370
• shard_4:
  • 字节数: 10076669237
  • 样本数: 2703160
• shard_5:
  • 字节数: 10070453626
  • 样本数: 2801525
• shard_6:
  • 字节数: 10026306308
  • 样本数: 2894785
• shard_7:
  • 字节数: 10055888005
  • 样本数: 2961433
• shard_8:
  • 字节数: 10045373058
  • 样本数: 3773801

数据集大小

• 下载大小: 54067885359 字节
• 数据集大小: 90502833584 字节

配置

• config_name: default
  • data_files:
    • split: shard_0
      • path: data/shard_0-*
    • split: shard_1
      • path: data/shard_1-*
    • split: shard_2
      • path: data/shard_2-*
    • split: shard_3
      • path: data/shard_3-*
    • split: shard_4
      • path: data/shard_4-*
    • split: shard_5
      • path: data/shard_5-*
    • split: shard_6
      • path: data/shard_6-*
    • split: shard_7
      • path: data/shard_7-*
    • split: shard_8
      • path: data/shard_8-*

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，大规模语料库的构建是预训练语言模型的基础。orionweller/dolma_20bn_prop_stratified_sample数据集源自Dolma语料库，采用比例分层抽样策略，从原始海量文本中精心选取具有代表性的样本。每个样本包含唯一标识符、文本内容、添加时间、创建时间、来源、原始分片目录及索引、以及词元数量等字段，确保了数据的可追溯性与结构化。数据集被划分为9个分片（shard_0至shard_8），每个分片包含约270万至377万个样本，总样本数超过2500万，总数据量约为90.5GB，为模型训练提供了均衡且多样的语料基础。

特点

该数据集的核心特点在于其比例分层抽样设计，有效保留了原始语料库中不同来源文本的分布特性，避免了采样偏差。每个样本均记录了来源与时间戳，便于进行领域分析与时间序列研究。分片结构使得数据加载与分布式处理极为高效，每个分片大小均衡（约10GB），适合在并行计算环境下批量使用。此外，数据集提供了词元数量统计，支持对文本长度的精细控制，有助于优化模型训练时的批次构建与计算资源分配。整体而言，该数据集兼具规模性、代表性与实用性，是大规模语言模型预训练的优质选择。

使用方法

使用该数据集时，可通过HuggingFace Datasets库便捷加载。指定配置名'default'后，利用load_dataset函数即可自动获取所有分片数据。用户可根据训练需求选择加载全部或部分分片，例如仅加载'shard_0'以进行小规模实验。数据集返回的每个样本为字典格式，包含'text'字段用于模型输入，'source'字段用于过滤特定来源的文本。建议结合分词器预先计算样本长度，并利用'num_tokens'字段进行动态批处理，以提升训练效率。对于分布式训练场景，可将不同分片分配给不同计算节点，实现数据并行的无缝集成。

背景与挑战

背景概述

在大型语言模型（LLM）蓬勃发展的时代，高质量、大规模且多样化的文本语料库成为预训练的关键基石。Dolma数据集由艾伦人工智能研究所（AI2）于2024年发布，旨在为开放科学社区提供一个透明、可复现的预训练数据资源。该数据集整合了来自网络爬虫、学术论文、代码、书籍及社交媒体等多种来源的文本，总量超过3万亿token，其构建过程注重数据来源的平衡性与代表性。作为Dolma的一个子集，该20亿token的分层比例抽样样本（prop_stratified_sample）遵循了原始数据集的分布策略，旨在为研究者提供一种轻量级但具有统计代表性的训练或评估数据，从而降低大规模数据处理的资源门槛，推动语言模型研究的可复现性。该样本的发布不仅为数据筛选与采样方法提供了实证基础，也促进了关于预训练数据组成对模型性能影响的深入探讨。

当前挑战

当前该数据集面临的核心挑战包括三个方面。其一，领域问题层面，如何从海量异构文本中有效去除噪声（如低质量网页、重复内容、有害信息）以提升数据质量，仍是预训练数据工程中的持久难题；该样本虽经分层采样，但原始数据源固有的偏差可能被保留，影响下游模型的公平性与泛化能力。其二，构建过程中，大规模数据的分层比例采样需要精确的元数据标注与分布估计，而不同来源数据的格式、编码及时间跨度差异显著，增加了采样策略的设计复杂度。其三，数据版本管理与可复现性方面，该样本仅包含9个分片，其存储与传输效率虽高，但确保不同研究者从同一分布中获取一致子集、并明确与完整Dolma数据集的关系，仍是开放科学实践中的关键挑战。

常用场景

经典使用场景

该数据集作为大规模文本语料库，广泛用于预训练语言模型的构建与评估。在自然语言处理领域，研究者常利用其海量、多源的文本数据对Transformer架构的模型进行自监督学习，通过掩码语言建模或因果语言建模等任务，使模型习得丰富的语义与语法知识。该数据集的规模与多样性使其成为训练通用语言模型（如GPT系列、BERT变体）的理想基础资源，尤其适合探究数据规模对模型能力的影响。

衍生相关工作

该数据集衍生出多项经典工作，包括数据清洗与去重方法的研究、多语言模型训练策略的优化以及模型公平性与偏见分析。例如，研究者基于其开发了高效的文本过滤算法，剔除低质量或重复内容；另一些工作则利用其探索不同采样策略对模型性能的影响，如温度采样与Top-k采样的对比。这些研究推动了数据驱动的自然语言处理领域的理论进展。

数据集最近研究

最新研究方向

在大型语言模型（LLM）预训练数据工程领域，orionweller/dolma_20bn_prop_stratified_sample数据集代表了前沿的比例分层采样策略。该数据集源自Dolma语料库，通过精细化的属性分层采样（如来源、时间戳等），旨在解决预训练数据中分布偏差与领域覆盖不均的痛点。当前研究热点聚焦于如何利用此类结构化采样数据提升模型在下游任务中的泛化能力与鲁棒性，尤其是在多语言、多领域知识融合场景下。该数据集的发布推动了数据质量评估与过滤方法的演进，为构建更公平、高效的LLM训练流程提供了关键基准，其影响已延伸至模型可解释性与伦理对齐等深层议题。