BEE-spoke-data/wikipedia-20230901.en-deduped

数据集名为wikipedia - 20230901.en - deduped，目的是在减少数据量的同时保持（大部分）质量。数据集包含两个配置：default和text-only。default配置包含id、url、title和text四个特征，而text-only配置仅包含text特征。数据集主要用于文本生成、填充掩码和特征提取任务，语言为英语，标签包括wiki、wikipedia和pretrain，大小类别为1M<n<10M，来源数据集为graelo/wikipedia。

The dataset is named wikipedia - 20230901.en - deduped, which aims to reduce the dataset size while retaining most of its quality. It includes two configurations: default and text-only. The default configuration contains four features: id, url, title, and text, while the text-only configuration only includes the text feature. This dataset is mainly used for text generation, mask filling, and feature extraction tasks. It is in English, with tags including wiki, wikipedia, and pretrain. Its size falls into the category 1M < n < 10M, and the source dataset is graelo/wikipedia.

原始信息汇总

数据集概述

数据集配置

default

• 数据文件路径:
  • 训练集: data/train-*
  • 验证集: data/validation-*
  • 测试集: data/test-*
• 特征:
  • id: 字符串类型
  • url: 字符串类型
  • title: 字符串类型
  • text: 字符串类型
• 分割信息:
  • 训练集: 15368746858.779654 字节, 5673373 个样本
  • 验证集: 404439922.64724064 字节, 149299 个样本
  • 测试集: 404442631.57310516 字节, 149300 个样本
• 下载大小: 9703633440 字节
• 数据集大小: 16177629413 字节

text-only

• 数据文件路径:
  • 训练集: text-only/train-*
  • 验证集: text-only/validation-*
  • 测试集: text-only/test-*
• 特征:
  • text: 字符串类型
• 分割信息:
  • 训练集: 14834731398.280304 字节, 5673373 个样本
  • 验证集: 390386911.46022856 字节, 149299 个样本
  • 测试集: 390389526.2594667 字节, 149300 个样本
• 下载大小: 9374463601 字节
• 数据集大小: 15615507835.999998 字节

许可证

• 许可证: cc-by-sa-3.0

任务类别

• 任务类别:
  • 文本生成
  • 填充掩码
  • 特征提取

语言

• 语言: 英语

标签

• 标签:
  • wiki
  • wikipedia
  • pretrain

大小类别

• 大小类别: 1M<n<10M

来源数据集

• 来源数据集: graelo/wikipedia

搜集汇总

数据集介绍

构建方式

该数据集源于对2023年9月1日英文维基百科快照的精炼处理，旨在以更少的训练数据保留大部分原始质量。构建过程中，首先从graelo/wikipedia源数据集获取原始文本，随后采用MinHash去重技术，通过设置4-gram、相似度阈值0.6、64个排列及xxh3哈希函数等参数，对约670万条样本进行指纹计算、聚类与过滤，最终筛选出约597万条去重后的高质量样本。数据集划分为训练集（567万条）、验证集（14.9万条）和测试集（14.9万条），并提供default和text-only两种配置，后者仅保留文本列以简化使用。

特点

数据集的核心特点在于其“高质量多样本采样”而非简单去重，通过MinHash算法有效降低冗余，同时保持维基百科内容的广泛覆盖与信息密度。default配置保留id、url、title和text四个字段，便于溯源与上下文理解；text-only配置则专注于纯文本，适用于预训练或特征提取任务。使用GPT-4分词器统计显示，训练集平均每样本约612个token，总token数达34.7亿，分布呈现右偏特征，其中75%的样本不超过761个token，确保了数据在长度上的多样性。数据集采用CC-BY-SA-3.0许可，支持文本生成、掩码填充等自然语言处理任务。

使用方法

用户可通过HuggingFace的datasets库便捷加载该数据集，例如使用load_dataset("BEE-spoke-data/wikipedia-20230901.en-deduped", config_name="default")获取完整字段版本，或指定config_name="text-only"仅获取文本列。数据集已预分为train、validation和test三个子集，可直接用于模型训练、验证与评估。在应用场景中，其适合作为大规模语言模型的预训练语料、掩码语言模型的输入数据，或作为特征提取的源材料。对于需要自定义处理的研究者，建议结合tiktoken等分词工具进行token计数与长度过滤，以适配特定模型的输入要求。

背景与挑战

背景概述

在自然语言处理领域，大规模预训练语言模型的性能高度依赖于训练数据的质量与多样性。维基百科作为结构化、多语言且内容严谨的百科全书，长期以来是预训练语料库的核心组成部分。然而，原始维基百科数据中普遍存在内容冗余、近似重复文档等问题，这些冗余不仅增加了训练成本，还可能引入偏差，降低模型泛化能力。针对这一挑战，BEE-spoke-data团队于2023年基于graelo/wikipedia数据集，通过MinHash算法对英文维基百科（2023年9月1日快照）进行去重处理，构建了wikipedia-20230901.en-deduped数据集。该数据集包含约567万条训练样本，并提供了default（保留元数据）与text-only（仅保留文本）两种配置，旨在以更少的数据量维持甚至提升预训练质量，为高效语言模型研究提供了重要资源。

当前挑战

该数据集面临的核心挑战首先在于领域问题层面：尽管维基百科文本质量较高，但其内容分布存在主题偏差（如科技、历史条目丰富，而小众领域稀疏），且文章长度差异悬殊，直接用于预训练可能导致模型对长文本或特定领域建模能力不足。去重虽能降低冗余，但过度去重可能丢失语义多样性，如何在保持数据代表性的同时有效过滤近似重复是一个精细的平衡问题。其次，构建过程中的技术挑战包括：MinHash算法的阈值选择（本项目采用0.6）直接影响去重效果，阈值过低会误删语义相似但内容不同的文档，过高则无法充分去重；此外，处理超过670万条文档的计算开销巨大，需要高效的分布式指纹计算与聚类策略，同时确保去重后数据集的完整性，避免因分片处理导致的数据断裂或统计偏差。

常用场景

经典使用场景

在自然语言处理领域，大规模预训练语言模型的成功高度依赖于海量、高质量的训练语料。BEE-spoke-data/wikipedia-20230901.en-deduped数据集正是为此而生，它通过对2023年9月1日版本的英文维基百科进行基于MinHash的近似去重处理，在保留语料多样性与知识覆盖度的前提下，大幅削减冗余样本。该数据集最经典的使用场景是作为语言模型预训练的语料库，研究者可直接加载其text-only配置，利用超过567万篇高质量文档进行从零开始的模型训练或领域自适应预训练，从而在更少的计算资源下获得与使用完整维基百科相近的模型性能。

实际应用

在实际应用中，该数据集为各类自然语言处理系统的构建提供了坚实的数据基石。例如，在智能问答系统中，开发者可利用其丰富的百科知识训练检索增强生成模型，使模型能够更准确地回答事实性问题；在文本摘要与机器翻译任务中，去重后的语料减少了噪声，有助于模型学习更清晰的语义映射关系。此外，由于数据集提供了标准的train/validation/test划分，它也被广泛用于学术竞赛和工业级基准测试，作为评估文本生成、掩码语言建模等任务模型性能的通用语料。其高效的数据结构还支持快速加载与迭代，适配从学术研究到商业产品落地的多种开发需求。

衍生相关工作

围绕该数据集已衍生出一系列具有影响力的研究工作。例如，基于其去重流程，研究者进一步探索了不同哈希函数与相似度阈值对语料质量的影响，提出了更精细的多层次去重策略。在模型层面，该数据集被用作预训练语料，训练了多个参数规模从数百万到数十亿的语言模型，并验证了去重数据在同等计算量下能带来更优的下游任务表现。此外，该数据集还催生了针对维基百科语料的结构化知识提取任务，如利用其id与url字段构建实体链接基准，推动了知识增强型语言模型的发展。这些工作共同验证了高质量去重语料在自然语言处理研究中的核心地位。