HF FineWeb 2 Dataset

kaggle2026-01-29 更新2025-02-22 收录

下载链接：

https://www.kaggle.com/datasets/umerhaddii/fineweb-2-dataset

下载链接

链接失效反馈

官方服务：

资源简介：

Hugging Face FineWeb 2 Dataset

Hugging Face FineWeb 2 数据集

创建时间：

2025-01-28

FineWeb 2

FineWeb 2是受欢迎的FineWeb数据集的第二版，为超过1000种语言提供高质量的预训练数据。该数据集经过多语言设置的复杂处理管道，包括语言识别、去重和过滤等步骤。

github2024-12-08 更新1210

fineweb-2

FineWeb 2 数据集是一个用于文本生成任务的大型数据集，包含多种语言的文本数据。每种语言都有其对应的配置，包括测试和训练数据文件的路径，以及一个用于训练数据的'removed'配置。数据集的大小超过1TB，涵盖了多种语言和脚本。

Hugging Face2024-12-08 更新540

fineweb2-heb

该数据集包含五个不同的配置，分别是base、extended、part_0_stop_words_removed、part_0_tokenized和short。base和extended配置用于处理停用词，part_0_stop_words_removed配置用于去除文本中的停用词，part_0_tokenized配置用于对文本进行分词处理，short配置则是针对停用词的简短配置。每个配置都有对应

Hugging Face2025-03-21 更新00

Tony068/hf-fineweb-edu-10M

该数据集包含了文本内容、唯一标识符、语言类型、语言分数、词计数、分数等字段的信息。数据集被划分为训练集，其中包含大量的文本数据。数据集的总大小约为53,125,980,643字节。

Hugging Face2025-03-14 更新90

fineweb-2-et

这是一个爱沙尼亚语的数据集，是fineweb-2数据集的爱沙尼亚子集。数据集包含了文本内容、ID、URL、日期等字段，分为测试集和训练集，适用于文本生成任务。数据集整体大小为46.38GB，下载大小为28.32GB。

Hugging Face2025-09-11 更新20