PNLPhub/PEYMA

该数据集名为PEYMA，包含两个主要特征：tokens和tags。tokens是一个字符串序列，而tags是一个包含多个类标签的序列，如B_DAT、B_LOC、B_MON等。数据集被分为训练集、测试集和验证集，分别包含8028、1026和925个示例，总大小为6069859字节。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 配置名称: PEYMA

数据集特征

• tokens: 字符串序列
• tags: 标签序列
  • 类别标签名称:
    • 0: O
    • 1: B_DAT
    • 2: B_LOC
    • 3: B_MON
    • 4: B_ORG
    • 5: B_PCT
    • 6: B_PER
    • 7: B_TIM
    • 8: I_DAT
    • 9: I_LOC
    • 10: I_MON
    • 11: I_ORG
    • 12: I_PCT
    • 13: I_PER
    • 14: I_TIM

数据集划分

• train:
  • 字节数: 4885030
  • 示例数: 8028
• test:
  • 字节数: 648919
  • 示例数: 1026
• validation:
  • 字节数: 535910
  • 示例数: 925

数据集大小

• 下载大小: 0
• 数据集总大小: 6069859字节

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，命名实体识别（NER）是信息抽取的关键任务之一，尤其对于低资源语言如波斯语而言，高质量标注数据集的构建显得尤为重要。PNLPhub/PEYMA数据集正是为此而生，其构建过程严格遵循了序列标注的规范。该数据集包含三个标准划分：训练集（8028个样本）、测试集（1026个样本）和验证集（925个样本），总计9979个样本。每个样本由tokens序列及其对应的tags序列组成，tags采用BIO标注体系，涵盖DAT（日期）、LOC（地点）、MON（货币）、ORG（组织）、PCT（百分比）、PER（人物）和TIM（时间）七类实体，每类实体细分为开始标记（B-）和内部标记（I-），外加非实体标记（O），共计15个类别，确保了实体边界的精确标注。

特点

该数据集的核心特点在于其面向波斯语的命名实体识别任务，填补了该语言在NER领域高质量资源的空白。PEYMA数据集的标签体系设计精巧，不仅覆盖了常见的实体类型如地点、组织和人物，还特别包含了货币和百分比等金融领域相关的实体，增强了其在多样化应用场景中的实用性。此外，数据集采用Apache-2.0许可证发布，鼓励学术和商业用途的广泛使用。其规模适中，训练集与测试集的比例约为8:1，配合独立的验证集，为模型训练、调优和评估提供了完整的数据支持，有利于研究者在波斯语NER任务上进行公平的性能对比。

使用方法

使用PEYMA数据集时，研究者可借助HuggingFace的datasets库轻松加载。通过调用`load_dataset('PNLPhub/PEYMA')`即可获取预划分的训练、测试和验证集。每个样本以字典形式呈现，包含'tokens'字段（字符串列表）和'tags'字段（整数列表），其中tags的整数值对应于预定义的15个类别标签。该数据集适用于token-classification任务，可直接用于训练序列标注模型（如BiLSTM-CRF或Transformer-based模型）。在预处理阶段，建议将tokens和tags对齐为相同长度，并利用datasets库的`map`函数进行分词和标签映射，以适配不同模型的输入格式。

背景与挑战

背景概述

在自然语言处理领域，命名实体识别（NER）作为信息抽取的核心任务，旨在从非结构化文本中识别出具有特定意义的实体，如人名、地名、组织名等。然而，低资源语言（如波斯语）的NER研究长期受限于高质量标注数据的匮乏。为填补这一空白，PEYMA数据集应运而生，由PNLPhub团队创建，其研究聚焦于为波斯语提供细粒度的实体标注体系。该数据集包含约1万个标注样本，涵盖14种实体类别，包括日期、地点、货币、组织、百分比、人物及时间等，显著提升了波斯语NER任务的基准能力。自发布以来，PEYMA已成为波斯语信息抽取领域的重要资源，推动了相关模型在低资源场景下的泛化性能研究。

当前挑战

PEYMA数据集所面临的挑战主要源于其低资源语言属性。首先，波斯语的形态复杂性（如丰富的词缀和连写形式）增加了实体边界识别的难度，传统序列标注模型易受词法歧义干扰。其次，数据集规模有限（训练集仅8028例），导致深度神经网络在训练时易陷入过拟合，难以捕获长尾实体的分布规律。此外，标注类别的不均衡性（如B_PER与B_PCT频次悬殊）加剧了模型对稀有实体的漏检风险。在构建过程中，团队需解决波斯语特有实体（如波斯历日期格式）的标准化标注难题，同时需确保跨领域文本（如新闻与社交媒体）的标签一致性，这些因素共同构成了PEYMA在应用与扩展中的核心瓶颈。

常用场景

经典使用场景

在自然语言处理领域，命名实体识别（NER）是信息抽取的核心任务之一，尤其对于资源匮乏的语言如波斯语而言，高质量标注语料库的缺乏长期制约着相关研究的进展。PEYMA数据集作为波斯语命名实体识别的标杆性资源，其经典使用场景在于为基于深度学习的序列标注模型提供标准化的训练与评估平台。研究人员通常利用该数据集的token和标签序列，构建诸如BiLSTM-CRF、Transformer等架构的NER系统，以精准识别文本中的人名、地名、组织、日期等七类实体边界与类别。该数据集划分明确的训练、验证与测试集，确保了模型性能的可复现性与可比性，成为波斯语NER领域不可或缺的基准测试工具。

实际应用

在实际应用层面，PEYMA数据集为波斯语智能信息处理系统提供了底层技术支撑。例如，在波斯语新闻聚合平台中，基于该数据集训练的NER模型可自动提取事件相关的组织机构、人物与地理位置，进而实现新闻的智能分类与热点追踪。在金融领域，该数据集助力开发从波斯语财经文本中识别百分比、日期等关键信息的工具，辅助风险评估与市场分析。此外，针对波斯语社交媒体监控，PEYMA训练的模型能够有效识别用户生成内容中的地点与组织实体，服务于舆情分析、公共安全预警等场景，显著提升了波斯语非结构化文本的自动化处理能力。

衍生相关工作

PEYMA数据集的发布催生了一系列具有影响力的衍生研究工作。一方面，研究者基于该数据集提出了针对波斯语形态复杂性的改进NER架构，如融合字符级卷积与词级注意力机制的混合模型，显著提升了罕见实体的识别准确率。另一方面，该数据集被用作预训练语言模型（如ParsBERT）微调的标准下游任务，推动了波斯语大规模语言模型的评估与优化。此外，PEYMA还启发了跨语言NER研究中关于标注迁移策略的探讨，例如通过对抗训练对齐波斯语与英语的实体表示空间。这些工作共同构建了以PEYMA为核心的波斯语NLP研究生态，持续推动着该领域的技术演进。