CC100 EN

kaggle2023-03-02 更新2024-04-26 收录

下载链接：

https://www.kaggle.com/datasets/krishbaisoya/cc100-en

下载链接

链接失效反馈

官方服务：

资源简介：

创建时间：

2023-03-02

CC100

This corpus is an attempt to recreate the dataset used for training XLM-R. This corpus comprises of monolingual data for 100+ languages and also includes data for romanized languages (indicated by *_r

OpenXLab10

SEACrowd/cc100

Cc100数据集是一个包含超过100种语言单语数据的大型语料库，旨在重现XLM-R模型的训练数据。该数据集通过处理2018年全年的CommonCrawl快照构建，使用CC-Net存储库提供的URL和段落索引。数据集支持多种语言，包括罗马化语言，文件格式为文档间双换行，段落间单换行。此外，数据集提供了使用`datasets`和`seacrowd`库加载数据集的详细指南。

Hugging Face2024-06-24 更新460

statmt/cc100

CC-100数据集是一个多语言文本数据集，包含了100多种语言的单语数据，并且还包括了一些罗马化语言的数据。该数据集是通过处理2018年1月至12月的Commoncrawl快照构建的，旨在用于训练XLM-R模型。数据集的主要用途是预训练语言模型和词表示。数据集的结构包括每个数据点的ID和文本内容，数据以段落形式呈现，文档之间用单个换行符分隔。

Hugging Face2024-03-05 更新4480

CC100

该数据集名为CC100语料库，涵盖了116种语言的母语数据，其中包括5种罗马化语言。此外，该数据集被用于训练ERNIE-M Extra模型，任务是对多语言语言模型进行预训练。

arXiv70

CC100 English

kaggle2022-11-23 更新00