opencsg/chinese-fineweb-edu-v2

Chinese Fineweb Edu v2 是Chinese Fineweb Edu的全新升级版，专为教育领域的自然语言处理（NLP）任务设计和优化的高质量中文预训练数据集。该数据集在前一版本的基础上进行了大规模的改进和扩展，致力于为研究人员和开发者提供更加多样化、广泛适用的教育类语料资源。Fineweb Edu v2 不仅数据量达到188M条数据，约420B tokens，还优化了数据的筛选方式和打分模型，以确保其在教育领域的有效性和实用性。

The Chinese Fineweb Edu Dataset V2 is a comprehensive upgrade of the original Chinese Fineweb Edu, designed and optimized for natural language processing (NLP) tasks in the education sector. This high-quality Chinese pretraining dataset has undergone significant improvements and expansions, with a dataset size of 188 million entries (approximately 420 billion tokens). The dataset has optimized data filtering methods and scoring models, utilizing the OpenCSG csg-wukong-enterprise V2 model, which excels in text comprehension and processing. The construction process of the dataset includes meticulous optimization of the prompt design for data filtering, ensuring the selection of text with educational value and practicality. The data sources have also been further extended, covering multiple high-quality datasets from various fields and sources, enhancing the diversity and applicability of the dataset.

搜集汇总

数据集介绍

构建方式

Chinese Fineweb Edu Dataset V2 的构建围绕教育领域的高质量中文预训练数据展开，在初代版本基础上进行了全面升级。数据筛选环节采用了更为强大的 OpenCSG csg-wukong-enterprise V2 打分模型，其训练数据扩充至百万级别，涵盖书籍、新闻、博客及25%英文文本，显著提升了语义理解能力。同时，精心优化了筛选提示词，以五分量表从教育价值、写作水平和实用性三方面评估网页内容，最终选取得分在3分及以上的高质量文本。数据来源进一步扩展，整合了 Industry2、CCI3、michao、wanjuan1.0、wudao 和 ChineseWebText 等多个领域的高质量数据集，经过严格筛选与去重处理，形成了包含1.88亿条数据、约4200亿词元的庞大规模。

特点

该数据集的核心特点在于其卓越的质量与多样性。通过升级后的打分模型，数据筛选的精准度大幅提高，能够深入捕捉文本的语义和情感信息，确保入选内容具备真实的教育价值与实用性。优化的提示词明确界定了评分标准，强调写作风格的连贯性和主题深度，使得数据集中的文本更接近教科书或高质量教程。数据来源的广泛性覆盖了工业、学术、文学等多个领域，增强了语料的丰富度和适用性。最终，数据集不仅规模庞大，且经过严格去重，保证了每一条数据的独特性与高质量，为训练大规模语言模型提供了坚实支撑。

使用方法

该数据集主要用于自然语言处理领域中的中文文本生成任务，尤其是教育相关的模型训练。研究者可直接通过 Hugging Face 平台访问 opencsg/chinese-fineweb-edu-v2 仓库获取数据，其采用 Apache 2.0 许可协议，支持商业用途。使用前，建议查阅随附的技术报告以深入了解评分标准和筛选逻辑。数据以标准格式存储，便于直接加载到深度学习框架中。若需用于商业目的，须遵循 OpenCSG 社区许可证，并联系社区获取授权。推荐将数据集与常见的预训练流程结合，利用其高质量的教育类语料来提升模型在中文理解与生成任务上的表现。

背景与挑战

背景概述

Chinese Fineweb Edu V2是由OpenCSG社区于2025年发布的高质量中文预训练数据集，专注于教育领域的自然语言处理任务。该数据集由Yijiong Yu、Ziyun Dai等研究人员主导构建，旨在为大规模语言模型提供优质的教育类语料资源。其核心研究问题在于如何通过精细化的数据筛选和评分机制，从海量网络文本中提取具有教育价值和实用性的内容，以提升模型在中文教育场景下的表现。数据集规模达到188M条数据（约420B tokens），覆盖书籍、新闻、博客及25%英文数据，显著扩展了数据来源的多样性与广泛性。该数据集在中文NLP领域具有重要影响力，为后续模型训练提供了坚实的数据基础，并推动了教育智能化的发展。

当前挑战

该数据集面临的核心挑战包括：首先，在领域问题层面，如何从混杂广告、宣传等无关信息的网络文本中精准识别并筛选出真正具有教育价值的内容，避免低质量数据对模型训练造成负面影响。其次，在构建过程中，评分模型的优化是关键挑战，需确保csg-wukong-enterprise V2模型能够准确评估文本的教育价值、写作质量及实用性，同时兼顾中文文本的语义复杂性和情感细微差异。此外，数据来源的扩展带来了多样性管理难题，需平衡不同领域（如工业、学术、新闻）的数据分布，避免偏差。最后，Prompt设计的精细化要求评分标准既全面又可操作，以应对教育内容的多维度评估需求，确保筛选结果的高质量与一致性。

常用场景

经典使用场景

Chinese Fineweb Edu Dataset V2作为专为教育领域自然语言处理任务设计的高质量中文预训练语料库，其最为经典的使用场景在于为大规模语言模型提供精细化的教育类文本训练素材。通过采用升级后的csg-wukong-enterprise V2打分模型和优化的提示词过滤机制，该数据集精选了188M条、约420B tokens的文本，涵盖书籍、新闻、博客等多类型内容，并融合了Industry2、CCI3、wanjuan1.0等多元数据源。这一特性使其成为训练具备深度语义理解能力和教育价值判别能力的语言模型的核心基础，广泛应用于文本生成、知识问答及教育内容自动评估等任务中。

衍生相关工作

Chinese Fineweb Edu V2衍生了一系列重要的相关工作，包括基于其打分模型csg-wukong-enterprise V2的进一步优化研究，以及利用该数据集训练的多个中文语言模型。这些工作不仅探索了教育文本过滤的自动化方法，还催生了如Fineweb-Edu-Chinese-V2.1等迭代版本，以及相关的技术报告（arXiv:2501.08197）。此外，该数据集还激发了跨领域数据融合的研究，推动了中文NLP在教育和工业界的应用拓展。

数据集最近研究

最新研究方向

当前，高质量中文预训练语料库的构建正成为大语言模型发展的关键瓶颈。Chinese Fineweb Edu V2数据集在此背景下应运而生，它通过对打分模型与数据筛选流程的深度革新，精准捕捉文本的教育价值与语义层次，从而显著提升语料质量。该研究前沿聚焦于如何利用升级后的csg-wukong-enterprise V2模型，结合精细化的Prompt评分标准，从海量多源数据中高效筛选出具有真正教育意义的文本，并融合Industry2、CCI3等多个高质量子集以增强数据多样性。这一方向不仅回应了教育领域对专业化、高纯净度训练数据的迫切需求，也为推动中文NLP模型在复杂语义理解与知识传递任务上的突破提供了坚实的数据基础，具有深远的学术与应用影响。