ekaterinatao/nerel_bio_ner_unnested

该数据集是NEREL-BIO的预处理版本，主要用于命名实体识别（NER）任务。数据集包含俄语文本，并标注了多种实体类别，如活动、解剖结构、化学物质、设备、疾病、发现、食物、基因、伤害、医疗活动、实验室程序、生物体、医疗程序、心理过程、物理实体、科学程序、年龄、城市、国家、日期、地区、事件、家庭、设施、位置、货币、国籍、数字、序数、组织、百分比、人物、产品、职业、州或省、时间、奖项、犯罪、意识形态、语言、法律、惩罚、宗教和艺术作品等。数据集分为训练集、验证集和测试集，分别包含612、77和77个样本。

原始信息汇总

数据集概述

语言

• 俄语（ru）

许可证

• MIT许可证

任务类别

• 标记分类（token-classification）

数据集信息

特征

• id: 字符串类型
• words: 字符串序列
• ner_tags: 整数序列（int64）

分割

• 训练集（train）
  • 字节数: 2079430
  • 样本数: 612
• 验证集（valid）
  • 字节数: 237125
  • 样本数: 77
• 测试集（test）
  • 字节数: 224036
  • 样本数: 77

下载大小

• 750018字节

数据集大小

• 2540591字节

配置

• 默认配置（default）
  • 数据文件路径:
    • 训练集: data/train-*
    • 验证集: data/valid-*
    • 测试集: data/test-*

数据集详情

实体标签

• 0: ACTIVITY
• 1: ADMINISTRATION_ROUTE
• 2: ANATOMY
• 3: CHEM
• 4: DEVICE
• 5: DISO
• 6: FINDING
• 7: FOOD
• 8: GENE
• 9: INJURY_POISONING
• 10: HEALTH_CARE_ACTIVITY
• 11: LABPROC
• 12: LIVB
• 13: MEDPROC
• 14: MENTALPROC
• 15: PHYS
• 16: SCIPROC
• 17: AGE
• 18: CITY
• 19: COUNTRY
• 20: DATE
• 21: DISTRICT
• 22: EVENT
• 23: FAMILY
• 24: FACILITY
• 25: LOCATION
• 26: MONEY
• 27: NATIONALITY
• 28: NUMBER
• 29: ORDINAL
• 30: ORGANIZATION
• 31: PERCENT
• 32: PERSON
• 33: PRODUCT
• 34: PROFESSION
• 35: STATE_OR_PROVINCE
• 36: TIME
• 37: AWARD
• 38: CRIME
• 39: IDEOLOGY
• 40: LANGUAGE
• 41: LAW
• 42: PENALTY
• 43: RELIGION
• 44: WORK_OF_ART

搜集汇总

数据集介绍

构建方式

该数据集基于NEREL-BIO语料库进行预处理，专为俄语生物医学领域的命名实体识别任务而设计。原始语料库经过系统性的清洗与格式化，将实体标签映射为44个细粒度类别，涵盖生物医学实体（如解剖结构、化学物质、疾病、基因）以及通用实体（如人名、地名、日期）。数据被划分为训练集（612例）、验证集（77例）和测试集（77例），以支持模型的训练、调优与评估。

使用方法

数据集适用于基于Transformer的序列标注模型，如BERT、RoBERTa等，可通过HuggingFace的datasets库直接加载。使用时需将ner_tags整数标签映射回对应的实体类别，并采用标准的token化与对齐策略。训练过程中，建议使用交叉熵损失函数，并关注标签不平衡问题。评估指标可选用精确率、召回率和F1分数，尤其关注生物医学实体的识别性能。

背景与挑战

背景概述

在自然语言处理领域，命名实体识别（NER）是信息抽取的核心任务之一，尤其在生物医学文本中，精准识别疾病、药物、基因等实体对于临床决策支持与知识图谱构建至关重要。由NREL团队于近年创建的NEREL-BIO数据集，经ekaterinatao预处理后形成ekaterinatao/nerel_bio_ner_unnested版本，专注于俄语生物医学文本的扁平化实体标注。该数据集涵盖45种细粒度实体类型，包括解剖结构、化学物质、疾病、基因等生物医学专有类别，以及日期、人物等通用类别，为多领域交叉的NER研究提供了丰富的标注资源。其影响力体现在推动了俄语生物医学信息抽取的标准化进程，并为低资源语言中的复杂实体识别任务奠定了基准。

当前挑战

当前数据集面临的核心挑战包括：其一，生物医学领域实体类型高度细粒度且存在嵌套结构，如“疾病”与“解剖部位”常交织出现，而扁平化标注可能丢失上下文层级关系，导致模型难以捕捉实体间的语义关联；其二，俄语形态学复杂性加剧了实体边界模糊问题，尤其是化学物质与基因名称的变体形式增加了标注歧义性；其三，数据集规模有限（训练集仅612条样本），在少样本场景下，模型泛化能力易受限于罕见实体类型（如刑罚、意识形态等），且类别分布不均可能引发预测偏差。这些挑战要求研究者探索跨任务迁移学习或数据增强策略以提升鲁棒性。

常用场景

经典使用场景

在自然语言处理与生物医学文本挖掘的交叉领域，ekaterinatao/nerel_bio_ner_unnested 数据集以其精细的命名实体识别标注体系脱颖而出。该数据集涵盖44种实体类型，既包括生物医学领域特有的解剖结构、化学物质、基因与疾病等专业术语，也融入了通用命名实体如人名、地名与组织机构，为跨领域实体识别研究提供了丰富而均衡的语料资源。其经典使用场景聚焦于构建与评估面向俄语生物医学文献的嵌套实体识别模型，研究者可借此探索多层级实体边界与类型判定的算法效能。

解决学术问题

该数据集的核心学术贡献在于破解了俄语生物医学文本中实体标注稀疏与类型失衡的难题。通过整合卫生保健活动、医疗程序、精神过程等细粒度类别，它有效支撑了面向复杂医学概念识别与消歧的算法研究，推动了多标签分类与序列标注模型在专业语料上的泛化能力提升。此外，其非嵌套标注设计降低了数据冗余，使得学者能够更专注于实体间语义关系的建模，进而深化对生物医学知识图谱自动构建机制的理解。

实际应用

在实际应用层面，该数据集赋能了俄语临床决策支持系统的智能升级。基于其标注的解剖部位、药物剂量与不良反应实体，可开发自动化病历解析工具，辅助医生快速提取患者关键信息。同时，在公共卫生监测场景中，通过识别疾病暴发、地理区域与时间实体，能够构建实时疫情追踪系统。其对于医疗设备、实验室流程等实体的覆盖，也为医疗资源调度与科研文献知识库的搭建提供了底层数据支撑。

数据集最近研究

最新研究方向

在生物医学自然语言处理领域，命名实体识别（NER）是信息抽取的核心任务之一。ekaterinatao/nerel_bio_ner_unnested数据集基于NEREL-BIO语料库，聚焦于俄语生物医学文本的扁平化实体识别，覆盖了从解剖结构、化学物质到疾病、基因等44种细粒度实体类型，并融入了日期、地点等通用类别。该数据集的前沿研究方向在于推动多语言生物医学NER的鲁棒性与可迁移性，尤其针对俄语这一资源相对稀缺的语言。近期研究热点包括利用预训练语言模型（如RuBERT）在该数据集上进行微调，探索嵌套实体与非嵌套实体的性能差异，以及评估模型在临床记录、科学论文等不同子领域的泛化能力。这一工作对于构建跨语言生物医学知识图谱、辅助临床决策系统以及促进东欧地区的精准医疗研究具有重要影响与深远意义。