💬 WiLI-2018

kaggle2023-09-11 更新2024-03-07 收录

语言识别

维基百科

数据链接：

https://www.kaggle.com/datasets/mexwell/wili-2018 数据链接链接失效反馈

官方服务：

资源简介：

Wikipedia language identification benchmark dataset with 235000 paragraphs

维基百科（Wikipedia）语言识别（language identification）基准数据集，共包含235000段文本

创建时间：

2023-09-11

OpenLID-v3

语言识别

多语言处理

OpenLID-v3是由奥斯陆大学语言技术组开发的语言识别数据集，旨在解决网络数据中相近语言区分和噪声过滤的难题。该数据集覆盖194种语言及一个‘非语言’类别，通过整合GlotLID的开放许可数据和最新维基百科语料进行扩展，特别优化了拉丁语、塞尔维亚语拉丁字母变体等易混淆语言的训练样本。数据来源包括多语言网页文档、平行语料库及人工标注的噪声样本，主要应用于大规模多语言预训练数据清洗，可有效提升低资

arXiv2026-02-14 更新430

rasdani/cohere-wikipedia-2023-11-de-positives-debug

维基百科

数据分析

--- dataset_info: features: - name: _id dtype: string - name: url dtype: string - name: title dtype: string - name: text dtype: string - name: views dtype: float64 -

Hugging Face2024-05-13 更新170

AsphyXIA/wikipedia-kn

维基百科

文本数据

--- dataset_info: features: - name: text dtype: string splits: - name: train num_bytes: 389760422 num_examples: 31437 download_size: 139254937 dataset_size: 389760422 configs:

Hugging Face2024-02-18 更新120

babs/language_classification

语言识别

音频处理

该数据集包含多个特征，包括客户端ID、路径、音频数据、句子、年龄、性别和语言等。音频数据的采样率为48000。语言特征是一个分类标签，涵盖了从阿拉伯语到威尔士语的多种语言。数据集分为训练集、验证集和测试集，分别包含22194、5888和5963个示例，总下载大小为4661574412字节，数据集总大小为4989805421.245字节。

Hugging Face2024-06-25 更新250

wikimedia_filtered

维基百科

文本数据

# Wikimedia ## Description Official Wikimedia wikis are released under a CC BY-SA license. We downloaded the official database dumps from March 2025 of the English-language wikis that are directly m

魔搭社区2025-08-01 更新150

💬 WiLI-2018

资源简介：

相关数据集