English CC-100

kaggle2022-10-04 更新2024-03-11 收录

下载链接：

https://www.kaggle.com/datasets/krishbaisoya/english-cc100

下载链接

链接失效反馈

官方服务：

资源简介：

Contains a slice of English corpus from CC-100

包含源自CC-100的英语语料子集

创建时间：

2022-08-21

CC-100

CC-100是一个多语言文本数据集，包含了来自Common Crawl项目的超过100种语言的文本数据。该数据集主要用于自然语言处理任务，如语言模型训练和跨语言研究。

data.statmt.org1190

CC-100:CCNet-KANNADA

Kannada Monolingual Text Corpus for NLP

kaggle2020-11-15 更新40

CC100

该数据集名为CC100语料库，涵盖了116种语言的母语数据，其中包括5种罗马化语言。此外，该数据集被用于训练ERNIE-M Extra模型，任务是对多语言语言模型进行预训练。

arXiv70

CC-100 monolingual dataset

CC-100单语数据集由Zoom视频通信公司创建，旨在通过利用英语为中心的大型语言模型和单语语料库，生成高质量、多样化的多语言指令微调数据集。数据集包含约500,000条指令-响应对，涵盖泰卢固语、印地语、日语和西班牙语。创建过程中，通过筛选高质量文本片段并利用评分函数确保数据质量。该数据集主要应用于提升大型语言模型在非英语环境下的理解和生成能力，特别是在多语言摘要和机器翻译任务中。

arXiv2024-07-02 更新720

CC100 English

kaggle2022-11-23 更新00