nwu-ctext/isixhosa_ner_corpus

IsiXhosa Ner Corpus是由南非西北大学文本技术中心（CTexT）开发的Xhosa语言数据集，数据来源于南非政府网站（gov.za），旨在支持Xhosa语言的命名实体识别（NER）任务。数据集遵循CoNLL共享任务的标注标准，包含句子、分词和NER标签。数据集未进行分割，所有数据均用于训练。

The IsiXhosa NER Corpus is a Xhosa-language dataset developed by the Centre for Text Technology (CTexT) at North-West University, South Africa. The dataset is sourced from South African government websites (gov.za), and is designed to support named entity recognition (NER) tasks for the IsiXhosa language. It follows the annotation standards of the CoNLL Shared Task, and includes sentences, tokenized text and NER tags. The dataset has not been split into subsets, and all data is used for training.

原始信息汇总

数据集概述

数据集描述

数据集摘要

IsixhosaNerCorpus 是一个由 The Centre for Text Technology (CTexT), North-West University, South Africa 开发的 Xhosa 语数据集。该数据集基于南非政府领域的文档，从 gov.za 网站爬取，旨在支持 Xhosa 语的命名实体识别（NER）任务。数据集采用 CoNLL 共享任务的标注标准。

支持的任务和排行榜

[更多信息需补充]

语言

支持的语言是 Xhosa。

数据集结构

数据实例

一个数据点由空行分隔的句子组成，每个句子包含制表符分隔的词和标签。

示例： json { id: 0, ner_tags: [7, 8, 5, 6, 0], tokens: [Injongo, ye-website, yaseMzantsi, Afrika, kukuvelisa] }

数据字段

• id: 样本的ID
• tokens: 示例文本的词
• ner_tags: 每个词的NER标签

NER标签对应以下列表：

"OUT", "B-PERS", "I-PERS", "B-ORG", "I-ORG", "B-LOC", "I-LOC", "B-MISC", "I-MISC"

NER标签格式与CoNLL共享任务相同：B表示短语的第一个词，I表示非初始词。有四种短语类型：人名（PER）、组织（ORG）、地点（LOC）和其他（MISC）。（OUT）用于标记不属于任何命名实体的词。

数据分割

数据未进行分割。

数据集创建

策划理由

数据集的创建旨在帮助引入新的语言资源——Xhosa语。

[更多信息需补充]

源数据

初始数据收集和规范化

数据基于南非政府领域的文档，从 gov.za 网站爬取。

[更多信息需补充]

源语言生产者

数据由南非政府网站（gov.za）的作者生产。

[更多信息需补充]

标注

标注过程

[更多信息需补充]

标注者

数据在NCHLT文本资源开发项目期间进行标注。

[更多信息需补充]

个人和敏感信息

[更多信息需补充]

使用数据的注意事项

数据集的社会影响

[更多信息需补充]

偏见的讨论

[更多信息需补充]

其他已知限制

[更多信息需补充]

附加信息

数据集策展人

标注数据集由 Centre for Text Technology (CTexT, North-West University, South Africa) 开发。

更多信息

许可信息

数据集使用 Creative Commons Attribution 2.5 South Africa License 许可。

引用信息

@inproceedings{isixhosa_ner_corpus, author = { K. Podile and Roald Eiselen}, title = {NCHLT isiXhosa Named Entity Annotated Corpus}, booktitle = {Eiselen, R. 2016. Government domain named entity recognition for South African languages. Proceedings of the 10th Language Resource and Evaluation Conference, Portorož, Slovenia.}, year = {2016}, url = {https://repo.sadilar.org/handle/20.500.12185/312}, }

贡献

感谢 @yvonnegitau 添加此数据集。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，命名实体识别（NER）是信息抽取的关键任务。IsiXhosa NER Corpus由南非西北大学文本技术中心（CTexT）精心构建，旨在为科萨语这一低资源语言提供高质量的NER资源。该数据集以南非政府领域的文档为数据来源，通过爬取gov.za网站获取原始语料。随后，专家依据CoNLL共享任务的标注标准，对文本进行了精细的实体标注，涵盖人名（PER）、组织（ORG）、地名（LOC）和杂项（MISC）四类实体，采用BIO标注体系，其中B表示实体起始词，I表示实体内部词，OUT表示非实体词。最终形成了包含6284个训练样本的标注语料库。

特点

该数据集具有鲜明的特点。首先，它专注于科萨语这一南非官方语言，填补了该语言在NER任务中的资源空白。其次，数据来源聚焦于南非政府领域，使得语料具有高度的领域专业性和规范性，能够有效支持政务文本的实体识别需求。此外，数据集严格遵循CoNLL共享任务的标注格式，每个样本由句子ID、分词后的令牌序列及对应的NER标签组成，标签体系简洁清晰，便于与主流NER模型对接。数据集中实体类型分布均衡，涵盖多种实体类别，为模型训练提供了丰富的语义信息。

使用方法

在模型训练与评估中，该数据集可通过HuggingFace Datasets库便捷加载。用户可直接使用`load_dataset('nwu-ctext/isixhosa_ner_corpus')`获取数据，其结构包含`id`、`tokens`和`ner_tags`三个字段。`tokens`为分词后的文本序列，`ner_tags`为对应的整数标签序列，标签映射为：0（OUT）、1（B-PERS）、2（I-PERS）、3（B-ORG）、4（I-ORG）、5（B-LOC）、6（I-LOC）、7（B-MISC）、8（I-MISC）。数据集当前仅提供训练集（train），共6284个样本，适用于微调基于Transformer的序列标注模型，如BERT、RoBERTa等。用户需将标签索引转换为模型所需的格式，并采用标准的NER评估指标（如精确率、召回率和F1分数）进行性能评测。

背景与挑战

背景概述

科萨语（isiXhosa）作为南非十一种官方语言之一，在自然语言处理领域长期面临资源匮乏的困境，尤其是命名实体识别（NER）任务缺乏高质量标注语料。为弥合这一鸿沟，南非西北大学文本技术中心（CTexT）于2016年发布了IsiXhosa NER Corpus，由K. Podile与Roald Eiselen主导构建，依托NCHLT文本资源开发项目。该数据集聚焦南非政府领域，通过爬取gov.za网站文档，采用CoNLL共享任务标注标准，对6284条样本进行了人物、组织、地点及杂项四类实体的精细标注。其问世不仅为科萨语NER研究提供了首个标准化基准资源，更推动了低资源语言在信息抽取领域的探索，对促进南非多语言技术生态建设具有里程碑意义。

当前挑战

该数据集面临的核心挑战在于领域局限性与规模制约。一方面，数据源仅覆盖南非政府网站文档，导致模型泛化能力受限——当应用于新闻、社交媒体等非正式文本时，实体分布与语言风格差异可能引发性能骤降。另一方面，不足万条的标注样本在深度学习范式下难以支撑复杂神经网络的训练，易引发过拟合问题。构建过程中亦存在显著挑战：科萨语丰富的黏着形态（如前缀、后缀系统）增加了实体边界界定难度；政府文档中混合的英语专有名词与科萨语形态变化（如'ye-website'）要求标注者具备双语语感；此外，基于CoNLL格式的BIO标注模式对嵌套实体（如组织名中包含地名）的处理能力不足，进一步加剧了标注一致性维护的复杂性。

常用场景

经典使用场景

在自然语言处理领域，命名实体识别（NER）是信息抽取的核心任务之一，尤其对于低资源语言而言，高质量标注语料的匮乏是制约技术发展的瓶颈。该数据集专为南非科萨语（isiXhosa）设计，基于CoNLL共享任务标注标准，涵盖人名、组织、地点及杂项四类实体。其经典使用场景在于为科萨语NER模型提供监督学习训练基准，研究人员可借此构建序列标注模型，如基于BiLSTM-CRF或Transformer架构的实体识别系统，从而弥补该语言在结构化信息提取方面的空白。

实际应用

实际应用中，该数据集支撑了南非政府部门对科萨语政务文本的自动化信息处理。通过训练NER模型，可高效提取政府网站文档中的关键实体，如政策文件中涉及的组织机构、地理位置及人物信息，进而服务于智能问答系统、文档摘要生成及知识图谱构建。例如，在公共服务领域，模型可自动识别公民咨询中的地点与部门名称，辅助构建多语言政务助手，提升信息检索效率，促进南非官方语言的数字化包容性发展。

衍生相关工作

该数据集衍生了一系列低资源语言NER领域的经典工作。例如，研究者将其与南非其他11种官方语言的NER语料联合，构建跨语言实体识别模型，探索多任务学习与对抗训练在语言家族内部的知识迁移效果。此外，基于该数据集的预训练语言模型（如AfriBERTa）微调工作，验证了在极低资源场景下，大规模无监督预训练结合小样本标注的有效性。这些工作不仅推动了科萨语NLP研究，也为全球低资源语言资源建设提供了方法论参考。