CC-100:CCNet-KANNADA

kaggle2020-11-15 更新2024-03-11 收录

下载链接：

https://www.kaggle.com/datasets/darshanadiga/cc100ccnetkannada

下载链接

链接失效反馈

官方服务：

资源简介：

Kannada Monolingual Text Corpus for NLP

创建时间：

2020-11-15

CC-100

CC-100是一个多语言文本数据集，包含了来自Common Crawl项目的超过100种语言的文本数据。该数据集主要用于自然语言处理任务，如语言模型训练和跨语言研究。

data.statmt.org1190

CC-100 monolingual dataset

CC-100单语数据集由Zoom视频通信公司创建，旨在通过利用英语为中心的大型语言模型和单语语料库，生成高质量、多样化的多语言指令微调数据集。数据集包含约500,000条指令-响应对，涵盖泰卢固语、印地语、日语和西班牙语。创建过程中，通过筛选高质量文本片段并利用评分函数确保数据质量。该数据集主要应用于提升大型语言模型在非英语环境下的理解和生成能力，特别是在多语言摘要和机器翻译任务中。

arXiv2024-07-02 更新710

CCNet

CCNet 是从 Common Crawl 中提取的数据集，其过滤过程与 OSCAR 不同。它是使用在 Wikipedia 上训练的语言模型构建的，以过滤掉质量差的文本，例如代码或表格。与 OSCAR 相比，CCNet 平均包含更长的文档，而 OSCAR 则淘汰了更小（通常更嘈杂）的文档。

OpenDataLab2026-07-12 更新650

English CC-100

Contains a slice of English corpus from CC-100

kaggle2022-10-04 更新90

CCNet

CCNet是由Facebook AI创建的一个大规模单语数据集，旨在从Common Crawl中提取高质量文本数据。该数据集包含15亿文档，覆盖174种语言，其中英语文档达到7亿，总Tokens数为5320亿。创建过程中，采用了文档去重和语言识别技术，并通过与高质量数据源如Wikipedia的相似度筛选文档。CCNet主要用于训练文本表示模型，特别是在低资源语言上，以提高自然语言处理任务的性能。

arXiv2019-11-15 更新390