nickypro/minipile-split

该数据集是armelrs数据集的一个较小版本，该数据集是The Pile数据集的一个分割版本。这个版本的特点包括包含训练集和测试集、易于下载（约2.3GB）以及可以选择文本分割。

This dataset is a smaller version of armelrs dataset, which is a split version of the general text dataset, The Pile. Features of this version include having both a train and test set, being easily downloadable in ~2.3GB, and allowing for text split selection.

原始信息汇总

数据集概述

该数据集是"The Pile"的一个分割版本，包含多个子数据集，每个子数据集都有训练集和测试集。以下是各子数据集的详细信息：

子数据集列表

ArXiv

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 105393748 bytes, 2212 examples
  • test: 33002660 bytes, 745 examples
• 下载大小: 128240714 bytes
• 数据集大小: 138396408 bytes

BookCorpus2

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 92009676 bytes, 257 examples
  • test: 2769179 bytes, 8 examples
• 下载大小: 112489690 bytes
• 数据集大小: 94778855 bytes

Books3

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 108880516 bytes, 197 examples
  • test: 41526969 bytes, 87 examples
• 下载大小: 177202552 bytes
• 数据集大小: 150407485 bytes

DM Mathematics

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 104858342 bytes, 12735 examples
  • test: 4941242 bytes, 601 examples
• 下载大小: 55363453 bytes
• 数据集大小: 109799584 bytes

Enron Emails

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 16701351 bytes, 9378 examples
  • test: 541500 bytes, 291 examples
• 下载大小: 19423900 bytes
• 数据集大小: 17242851 bytes

EuroParl

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 94200121 bytes, 1334 examples
  • test: 3629223 bytes, 42 examples
• 下载大小: 106611978 bytes
• 数据集大小: 97829344 bytes

FreeLaw

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 106892914 bytes, 6519 examples
  • test: 25162182 bytes, 1588 examples
• 下载大小: 136641886 bytes
• 数据集大小: 132055096 bytes

Github

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 103649709 bytes, 19216 examples
  • test: 31333794 bytes, 5651 examples
• 下载大小: 100372522 bytes
• 数据集大小: 134983503 bytes

Gutenberg (PG-19)

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 102759663 bytes, 256 examples
  • test: 8678842 bytes, 21 examples
• 下载大小: 137454348 bytes
• 数据集大小: 111438505 bytes

HackerNews

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 79788458 bytes, 15917 examples
  • test: 2540857 bytes, 493 examples
• 下载大小: 103554428 bytes
• 数据集大小: 82329315 bytes

NIH ExPorter

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 39126793 bytes, 18002 examples
  • test: 1222934 bytes, 557 examples
• 下载大小: 43770700 bytes
• 数据集大小: 40349727 bytes

OpenSubtitles

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 104735849 bytes, 3389 examples
  • test: 6108121 bytes, 199 examples
• 下载大小: 130099164 bytes
• 数据集大小: 110843970 bytes

OpenWebText2

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 106039804 bytes, 26421 examples
  • test: 39817479 bytes, 10125 examples
• 下载大小: 178103310 bytes
• 数据集大小: 145857283 bytes

PhilPapers

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 47970203 bytes, 647 examples
  • test: 1538027 bytes, 21 examples
• 下载大小: 52345194 bytes
• 数据集大小: 49508230 bytes

Pile-CC

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 103171504 bytes, 23300 examples
  • test: 72105538 bytes, 16421 examples
• 下载大小: 208522136 bytes
• 数据集大小: 175277042 bytes

PubMed Abstracts

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 104936477 bytes, 76172 examples
  • test: 12600783 bytes, 9185 examples
• 下载大小: 129554148 bytes
• 数据集大小: 117537260 bytes

PubMed Central

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 102994643 bytes, 3273 examples
  • test: 56626731 bytes, 1779 examples
• 下载大小: 148298044 bytes
• 数据集大小: 159621374 bytes

StackExchange

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 103761034 bytes, 46841 examples
  • test: 20466176 bytes, 9247 examples
• 下载大小: 129854838 bytes
• 数据集大小: 124227210 bytes

UPSTO Backgrounds

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 104750819 bytes, 24632 examples
  • test: 14799000 bytes, 3484 examples
• 下载大小: 113457922 bytes
• 数据集大小: 119549819 bytes

USPTO Backgrounds

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 104750819 bytes, 24632 examples
  • test: 14799000 bytes, 3484 examples
• 下载大小: 113457922 bytes
• 数据集大小: 119549819 bytes

Ubuntu IRC

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 105150097 bytes, 203 examples
  • test: 324716 bytes, 7 examples
• 下载大小: 111839542 bytes
• 数据集大小: 105474813 bytes

Wikipedia (en)

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 105309044 bytes, 34309 examples
  • test: 16269639 bytes, 5305 examples
• 下载大小: 140418662 bytes
• 数据集大小: 121578683 bytes

YoutubeSubtitles

• 特征:
  • text: string
  • meta: struct
    • pile_set_name: string
  • domain: string
• 分割:
  • train: 79086408 bytes, 3322 examples
  • test: 1373528 bytes, 103 examples
• 下载大小: 99103806 bytes
• 数据集大小: 80459936 bytes

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，大规模预训练语料库的构建是推动模型性能提升的关键基石。nickypro/minipile-split数据集源自EleutherAI发布的著名通用文本数据集“The Pile”，经由armelr的初步拆分版本进一步精简而来。该数据集以领域细分为导向，将原始语料按来源划分为22个独立子集，涵盖学术文献（如ArXiv、PubMed Central）、书籍（如BookCorpus2、Books3）、代码仓库（Github）、法律文档（FreeLaw）及网络文本（OpenWebText2）等多元范畴。每个子集均被整齐地切分为训练集与测试集，并保留了原始数据中的文本内容、来源元数据及领域标签，从而在保证数据代表性的同时，实现了规模的精简与结构的清晰化。

特点

该数据集最显著的特点在于其精巧的平衡性设计。相较于完整版“The Pile”的庞大体量，minipile-split将总下载大小压缩至约2.3GB，大幅降低了存储与传输门槛，却依然保留了22个领域的多样性。每个子集的训练集与测试集均保持了合理的样本数量分配，例如PubMed Abstracts拥有超过七万条训练样本，而Ubuntu IRC则仅包含两百余条，这种不均等分布真实反映了各领域在原始语料中的自然比例。此外，每条数据均附带“pile_set_name”元信息与“domain”领域标签，为研究者提供了灵活的过滤与组合能力，便于针对特定场景进行语料定制。

使用方法

使用该数据集时，研究者可通过HuggingFace Datasets库按需加载指定子集。每个子集作为独立的配置项（config）存在，调用时需明确指定子集名称，例如加载ArXiv数据即可通过参数config_name='ArXiv'实现。训练集与测试集已预定义分割，可直接用于模型微调与评估。对于需要混合领域语料的场景，建议参考同源数据集minipile；而若追求更丰富的领域覆盖与细粒度控制，minipile-split则提供了按领域独立操作的灵活性，尤其适合进行领域适应或多任务学习的实验设计。

背景与挑战

背景概述

在大规模语言模型预训练领域，数据集的规模、多样性与质量直接影响模型的泛化能力与鲁棒性。nickypro/minipile-split 数据集由研究者于近年创建，源自 EleutherAI 团队构建的经典语料库“The Pile”，并经 armelr 拆分处理后进一步精炼而成。该数据集的核心研究问题在于如何在大幅压缩数据体积的同时，保留原始语料中涵盖学术论文、代码、法律文书、对话记录等 22 个领域的丰富语义结构，从而为资源受限环境下的语言模型训练提供高效且具有代表性的文本样本。通过提供约 2.3GB 的紧凑版本并明确划分训练集与测试集，minipile-split 为小规模实验与快速迭代提供了重要支撑，在推动轻量化预训练研究方面具有显著影响力。

当前挑战

当前 minipile-split 数据集面临的核心挑战包括：其一，领域覆盖的广度与深度之间的平衡难题。尽管数据集整合了从 ArXiv 到 YouTube 字幕等多元来源，但每个子集的数据量极不均衡，如 Ubuntu IRC 仅含 203 条训练样本，可能导致模型对低频领域的语义表征能力不足。其二，构建过程中对原始“The Pile”语料的压缩与拆分策略需兼顾信息完整性与数据规模缩减，如何在移除冗余内容的同时避免关键知识流失，是设计过滤算法时的关键难点。其三，部分子集如 Books3 和 Pile-CC 的样本长度差异悬殊，对统一格式的序列化处理与模型输入适配构成额外技术挑战。

常用场景

经典使用场景

在自然语言处理与大规模语言模型预训练的学术探索中，nickypro/minipile-split数据集以其精炼而多元的特性脱颖而出。它源于著名的'The Pile'语料库，并经过精心拆分，保留了涵盖学术论文、书籍、代码、法律文书、医学文献等22个领域的丰富文本。这一数据集最经典的用途在于为研究人员提供一个轻量级但高度代表性的训练与评估平台，尤其适用于在资源受限的环境下进行语言模型的快速原型验证、领域适应性研究以及跨域迁移学习的探索。其内置的训练与测试拆分，使得模型性能的标准化评估成为可能，从而推动了语言模型在多样化文本分布下的泛化能力研究。

解决学术问题

该数据集的核心价值在于解决了大规模语料库获取与处理的学术瓶颈。传统上，完整的'The Pile'数据集体积庞大，对计算资源与存储空间要求极高，阻碍了众多中小型研究团队的参与。minipile-split通过缩减规模至约2.3GB，同时保持原始语料的领域多样性，有效降低了研究门槛。这解决了两个关键问题：一是为预训练语言模型的对比实验提供了可控的基准数据，使研究者能更公平地比较不同模型架构或训练策略；二是为跨领域文本分布的分析提供了结构化样本，助力理解模型在不同知识域上的表现差异，从而深化了对语言模型知识内化与迁移机制的理解。

衍生相关工作

围绕minipile-split，学术界与工业界衍生了一系列经典工作。研究者基于其子集配置，深入探讨了数据配比对模型偏见的影响，并开发了领域自适应预训练策略。该数据集也被用于复现和验证大型语言模型的缩放定律，为'数据质量优于数量'的理论提供了实证支持。在模型压缩领域，minipile-split成为知识蒸馏与剪枝技术的测试床，催生了多个高效小模型的训练范式。此外，它作为'minipile'系列的补充，与原始数据集共同构成了从微型到全规模的研究谱系，推动了开放科学背景下可复现语言模型研究的标准化进程。