Languages

kaggle2024-04-17 更新2024-04-26 收录

语言识别

多语言文本处理

数据链接：

https://www.kaggle.com/datasets/devbachani/languages 数据链接链接失效反馈

官方服务：

资源简介：

1000 train files and 450 test files for each language

针对每种语言，提供1000个训练文件和450个测试文件。

创建时间：

2024-04-17

CATIE-AQ/mtop_domain_intent_fr_prompt_intent_classification

意图分类

多语言文本处理

该数据集是法语提示数据集（DFP）的一个子集，专门用于意图文本分类任务。它包含497,100行数据，原始数据来自mtop_domain数据集，仅保留了法语部分。通过应用一系列提示，构建了输入和目标列，使其格式与xP3数据集一致。数据集分为训练集、验证集和测试集，分别包含354,000、47,300和95,800个样本。

Hugging Face2025-02-10 更新320

Michielo/Merged-LID-20

语言识别

自然语言处理

Merged-LID-20数据集是一个优化用于构建和训练语言识别模型的数据集集合，包含20种语言的特定数据集。每种语言的数据集包括文本数据和对应的语言标签，适用于多语言自然语言处理任务中的语言识别。

Hugging Face2025-01-17 更新120

anirudhlakhotia/roots_indic-hi_iitb_english_hindi_corpus

机器翻译

多语言文本处理

--- dataset_info: features: - name: text dtype: string splits: - name: train num_bytes: 4017420782 num_examples: 8388176 download_size: 1741728890 dataset_size: 4017420782 conf

Hugging Face2024-01-25 更新100

sawalni-ai/fw-darija

语言识别

低资源语言

该数据集是一个多语言文本数据集，包含超过5000万句子，涵盖100多种语言。数据来源于Common Crawl语料库，并通过GlotLID模型进行语言分类。为了优化低资源语言的识别，使用了Gherbal语言识别模型，特别是针对摩洛哥阿拉伯语。数据集包含多个配置，每个配置对应不同的语言。处理过程包括文本清理、句子分割、语言检测和过滤。最终的数据集可用于训练和评估摩洛哥阿拉伯语的模型。

Hugging Face2024-12-08 更新160

BEE-spoke-data/TxT360-500k-sample-no_cc

多语言文本处理

文本去重

--- language: - en - de - ja - fr - es - it - cs - ar - pl - ru license: odc-by size_categories: - 100K<n<1M task_categories: - text-generation - feature-extraction dataset_info: features: - name:

Hugging Face2024-10-11 更新100

Languages

资源简介：

相关数据集