cis-lmu/udhr-lid

UDHR-LID数据集是基于《世界人权宣言》（UDHR）构建的语言识别数据集。该数据集经过清理和筛选，去除了无关的语言文本和错误数据，保留了具有丰富语言内容的段落。数据集主要用于语言识别任务，建议作为测试集而非训练集使用。数据集包含多种语言，每个数据行都属于确定的语言，并且经过清理，具有丰富的语言内容。

The UDHR-LID dataset is a language identification dataset constructed based on the Universal Declaration of Human Rights (UDHR). This dataset has been cleaned and filtered, removing irrelevant linguistic texts and erroneous data while preserving paragraphs with rich linguistic content. It is primarily designed for language identification tasks, and it is recommended to use it as a test set rather than a training set. The dataset includes multiple languages, where each data row belongs to a confirmed language, and has been cleaned to contain rich linguistic content.

原始信息汇总

UDHR-LID 数据集概述

数据集信息

许可证

• 数据集遵循 cc0-1.0 许可证。

配置

• 默认配置包含一个数据文件：
  • 分割：测试
  • 路径：udhr-lid.csv

多语言性

• 数据集支持多语言。

语言列表

• 数据集包含以下语言：
  • tir, rmn, arb, mxv, mal, fij, som, cot, fur, vie, zlm, bam, chr, maz, yad, ztu, ykg, ccp, alt, ayr, njo, bci, gyr, run, haw, rgn, cak, kwi, fra, agr, duu, ilo, nhn, kdh, cnh, bod, mya, ady, pol, ydd, cos, lot, arl, glv, gag, bfa, afr, lij, zlm, ibb, toi, tzm, ron, ojb, san, eng, bum, pam, kqs, dje, auc, smo, por, fry, lad, pov, tyv, guc, huu, ese, kbp, eve, yrk, lin, tdt, qvc, top, nav, twi, oss, lia, ame, hun, lit, que, qug, nku, csa, lao, knc, kjh, jav, mam, ita, ppl, aar, tbz, ssw, bug, srp, kaz, min, mad, orh, tgk, kat, uig, tzo, hat, shn, kbd, niv, idu, krl, abk, mto, gla, ijs, cri, uzn, tah, tob, kir, quy, hnj, srr, lvs, nan, hns, snk, swh, ekk, guu, div, dzo, spa, hms, ell, ace, war, ind, cjy, cfm, nds, ewe, tel, src, fuf, vmw, zro, men, kqn, nzi, taj, khk, ddn, nso, mxi, pon, fvr, hau, ktu, tem, yor, pnb, ltz, evn, cjs, nba, niu, dan, acu, zgh, chj, heb, lua, quz, uig, cbi, jav, cpu, wuu, mah, kmb, mcd, ben, lus, ajg, azj, tha, dga, isl, sus, fuf, fkv, jiv, mor, nio, als, buc, kde, nbl, ceb, ven, sun, cbt, swb, tur, dyo, sin, pbu, ada, pap, qvh, loz, pan, qva, sme, bax, tuk, hsb, hus, qvn, ban, cha, zyb, hin, tat, uzn, qxu, gej, quc, mnw, bho, udu, kha, kbr, tsz, pau, mkd, shp, ike, lue, tgl, yap, yua, koi, hrv, emk, tet, ndo, cbu, vep, cmn, sag, nym, rus, gjn, guk, kri, ote, lun, vai, bis, arn, tsn, gle, hak, gkp, ura, tca, xho, wln, amc, mos, lld, bul, qxn, bcl, ctd, dip, dag, kek, bre, mri, fin, sah, cym, kan, fao, gsw, sey, bem, bos, bin, chv, tpi, ami, oaa, lob, ast, nno, sco, tuk, khm, pes, pbb, tam, ibo, san, sid, plt, guj, hsn, kin, lug, slr, koo, xsm, jpn, oki, deu, rar, pcm, hni, vec, gld, sot, crs, fuv, srp, npi, nya, kea, blt, roh, cbr, chk, kal, mfq, quh, kor, slv, cof, shk, zul, qwh, fon, mic, prs, mag, bel, iii, mar, dyu, boa, swe, pis, mlt, amh, umb, cnr, mai, toj, csw, ina, bba, cbs, kng, oci, pcd, miq, lat, qvm, wwa, bos, urd, kmr, ido, gaa, epo, gaz, cat, hye, cni, suk, gug, gan, cjk, tzh, zam, ces, cic, mcf, not, kaa, tso, piu, fat, mzi, snn, tly, eus, nld, nob, wol, hlt, sna, tiv, ton, hea, skr, lns, rup, cab, glg, tgl, yao, nyn, aii, tzm, slk, ukr, kkh, zdj, amr, yue, crh, hil, tags: UDHR, udhr, language identification, LID, glot, GlotLID, pretty_name: UDHR-LID

数据集清理

• 数据集从 XML 文件中清理并筛选出段落。
• 移除了无关语言文本和不正确的案例。
• 删除的文件包括：
  • ckb_Latn (阿拉伯语在使用)
  • azb_Latn (阿拉伯语在使用)
  • khk_Mong (西里尔字母在使用，但内蒙古的其他蒙古语方言使用蒙古文书写系统)
  • vie_Hani (拉丁字母在使用)

数据集用途

• 数据集适用于语言识别评估任务。
• 建议将 UDHR 作为测试或验证集，而不是训练集。

下载方式

• 可通过 Hugging Face 数据加载器下载： python from datasets import load_dataset dataset = load_dataset(cis-lmu/udhr-lid, split=test) print(dataset[0]) # 第一行数据

• 也可直接下载 CSV 文件或克隆整个仓库。

引用

• 如果使用该数据集，请引用相关文献和 UDHR 来源。

搜集汇总

数据集介绍

构建方式

在语言识别研究领域，构建高质量的多语言数据集是评估模型性能的关键。UDHR-LID数据集基于《世界人权宣言》的多语言文本构建，原始数据来源于Unicode联盟的UDHR档案。构建过程中，研究团队对原始XML文件进行了系统清洗，剔除了缺失文本的占位符、重复条目以及仅包含条款编号的非实质性内容。针对语言标注不一致的问题，如库尔德语（ckb）和北库尔德语（kmr）的文本重复，团队依据实际使用文字体系进行了去重和校正，移除了已不再使用的文字变体（如ckb_Latn、azb_Latn等），确保每个语言条目在文字识别任务中具有唯一性。最终，数据集保留了纯净的段落级文本，每条数据均对应明确的语言标签，为语言识别任务提供了结构清晰的测试语料。

特点

UDHR-LID数据集在语言资源领域展现出鲜明的特色。其覆盖范围极为广泛，囊括了从提格里尼亚语、罗姆语到阿拉伯语、马来语等数百种语言，尤其包含诸多低资源语言，为语言识别模型的泛化能力评估提供了宝贵资源。文本内容均源自《世界人权宣言》的翻译版本，具有丰富的语言学结构和正式文体特征，句子长度适中且语义完整。数据集经过严格清洗，去除了非语言文本和标注噪声，确保了语言标签的准确性和一致性。此外，数据以非平行、非顺序的形式呈现，每条文本独立对应单一语言，避免了跨语言对齐带来的偏差，使其成为语言识别任务中理想的标准测试集。

使用方法

该数据集主要应用于自然语言处理中的语言识别任务，尤其适合作为模型性能的测试或验证基准。使用者可通过Hugging Face的datasets库直接加载，指定数据集名称与测试分割即可获取结构化数据。每条数据包含文本内容及对应的语言标签，可直接用于预测与评估。研究建议将UDHR-LID严格用作测试语料，而非训练数据，以避免因训练数据污染导致评估偏差。若训练数据可能包含UDHR文本（如来自维基百科、新闻网站或翻译社区），需预先排除相关句子以确保测试的独立性。数据集以CSV格式提供，支持直接下载或克隆仓库，方便本地集成与批量处理。

背景与挑战

背景概述

在自然语言处理领域，语言识别任务对于多语言技术发展至关重要。由慕尼黑大学计算语言学研究所（CIS-LMU）于2023年创建的UDHR-LID数据集，基于《世界人权宣言》多语言文本构建，旨在为低资源语言识别研究提供高质量的评估基准。该数据集覆盖了全球超过500种语言及方言，通过严谨的数据清洗流程，剔除了重复、错误标注及非活跃书写系统的文本，确保了语料的纯净性与代表性。其核心研究问题聚焦于解决低资源语言在自动化识别中的技术瓶颈，为语言多样性保护及跨语言信息处理提供了关键的数据支撑。

当前挑战

UDHR-LID数据集面临的挑战主要体现在两个方面：在领域问题层面，语言识别任务需应对低资源语言标注数据稀缺、语言变体复杂以及书写系统多样化的难题，例如同一语言存在多种文字形式（如库尔德语的阿拉伯文与拉丁文变体）导致模型混淆。在构建过程中，数据清洗面临原始UDHR文本存在大量缺失段落、重复内容及非标准标注的干扰，例如需人工甄别并移除‘ckb’与‘kmr’这类重复条目，并依据现代书写使用情况筛选有效文本，确保数据集的准确性与实用性。

常用场景

经典使用场景

在语言识别研究领域，UDHR-LID数据集凭借其覆盖全球数百种语言的广泛性，成为评估语言识别模型性能的基准测试集。该数据集精心清理了《世界人权宣言》多语言文本中的冗余和错误标注，确保每个段落都对应准确的语言标签，为研究者提供了纯净且具有代表性的多语言语料。其经典应用场景在于为语言识别算法提供跨语言、跨脚本的标准化测试环境，尤其适用于检验模型在低资源语言上的泛化能力。

解决学术问题

该数据集有效解决了多语言自然语言处理中语言识别任务的两大核心挑战：一是低资源语言标注数据稀缺导致的模型评估困难，二是跨脚本语言识别中因文字系统混杂引发的标注噪声问题。通过提供经过严格校验的平行语料，UDHR-LID为学术界建立了可复现的评估基准，推动了对语言识别模型鲁棒性和公平性的量化研究，尤其促进了针对语言多样性保护的算法创新。

衍生相关工作

基于UDHR-LID数据集衍生的经典工作包括GlotLID语言识别框架，该框架利用数据集的多样性特征构建了面向低资源语言的识别系统。同时，该数据集启发了GlotScript文字系统检测工具的开发，推动了多模态语言识别研究。此外，诸多跨语言预训练模型如mBERT、XLM-R等均采用该数据集作为评估基准，促进了多语言表示学习领域的算法比较与性能突破。