Babelscape/cner

概念和命名实体识别（CNER）是一项新颖的任务，旨在联合处理概念和命名实体的识别和分类。该数据集包含多个字段，如`tokens`、`pos`、`c_vs_ne`、`cner_tags`和`cner_tags_ids`，并提供了完整的标签集及其对应的索引。数据集的使用受限于非商业研究目的，遵循CC BY-NC-SA 4.0许可证。

原始信息汇总

数据集概述

基本信息

• 数据集名称: cner-dataset
• 任务类别: token-classification
• 任务ID: named-entity-recognition
• 语言: en
• 许可证: cc-by-nc-sa-4.0
• 数据来源: original
• 标签: structure-prediction
• 数据集大小: 100K<n<1M
• 注释创建者: machine-generated, human-generated

数据集描述

• 摘要: Concept and Named Entity Recognition (CNER) 是一个新颖的任务，它联合处理概念和命名实体的识别和分类。

数据集结构

• 数据字段:
  • tokens: 一个 string 特征的 list。
  • pos: 一个 string 特征的 list（词性标签）。
  • c_vs_ne: 一个 string 特征的 list，标识一个词元是概念还是命名实体。
  • cner_tags: 一个 cner 分类标签的 list (str)。
  • cner_tags_ids: 一个 cner 分类标签 ID 的 list (int)。完整标签集及其索引如下： python { "O": 0, "B-ANIMAL": 1, "I-ANIMAL": 2, "B-DISEASE": 3, "I-DISEASE": 4, "B-DISCIPLINE": 5, "I-DISCIPLINE": 6, "B-LANGUAGE": 7, "I-LANGUAGE": 8, "B-EVENT": 9, "I-EVENT": 10, "B-FOOD": 11, "I-FOOD": 12, "B-ARTIFACT": 13, "I-ARTIFACT": 14, "B-MEDIA": 15, "I-MEDIA": 16, "B-GROUP": 17, "I-GROUP": 18, "B-ORG": 19, "I-ORG": 20, "B-PER": 21, "I-PER": 22, "B-STRUCT": 23, "I-STRUCT": 24, "B-LOC": 25, "I-LOC": 26, "B-PLANT": 27, "I-PLANT": 28, "B-MONEY": 29, "I-MONEY": 30, "B-BIOLOGY": 31, "I-BIOLOGY": 32, "B-MEASURE": 33, "I-MEASURE": 34, "B-SUPER": 35, "I-SUPER": 36, "B-CELESTIAL": 37, "I-CELESTIAL": 38, "B-LAW": 39, "I-LAW": 40, "B-SUBSTANCE": 41, "I-SUBSTANCE": 42, "B-PART": 43, "I-PART": 44, "B-CULTURE": 45, "I-CULTURE": 46, "B-PROPERTY": 47, "I-PROPERTY": 48, "B-FEELING": 49, "I-FEELING": 50, "B-PSYCH": 51, "I-PSYCH": 52, "B-RELATION": 53, "I-RELATION": 54, "B-DATETIME": 55, "I-DATETIME": 56, "B-ASSET": 57, "I-ASSET": 58 }

附加信息

• 许可证信息: 该数据集内容仅限于非商业研究用途，遵循 Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0)。数据集内容的版权属于 Babelscape。
• 引用信息: bibtex @inproceedings{martinelli-etal-2024-cner, title = "{CNER}: Concept and Named Entity Recognition", author = "Martinelli, Giuliano and Molfese, Francesco and Tedeschi, Simone and Fern{a}ndez-Castro, Alberte and Navigli, Roberto", editor = "Duh, Kevin and Gomez, Helena and Bethard, Steven", booktitle = "Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)", month = jun, year = "2024", address = "Mexico City, Mexico", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2024.naacl-long.461", pages = "8329--8344" }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，命名实体识别（NER）与概念识别长期以来被视为两个独立的研究分支。Babelscape/cner数据集应运而生，旨在打破这一界限，提出概念与命名实体联合识别（CNER）这一创新任务。该数据集由机器自动生成与人工标注相结合的方式构建，原始数据经过精心的预处理流程，确保每个样本均包含分词（tokens）、词性标注（pos）、概念与实体类型标识（c_vs_ne）以及完整的CNER标签序列（cner_tags）。标签体系涵盖58个细粒度类别，从生物、动物到法律、天体等，体现了对现实世界知识体系的全面覆盖。数据集规模介于10万至100万之间，为模型训练提供了充足的样本基础。

特点

Babelscape/cner数据集的核心特色在于其开创性的联合标注范式。传统NER仅关注人名、地名等实体，而该数据集同时纳入了ANIMAL、PLANT、FEELING等概念类别，使得模型能够同时捕获语言中的实体性与概念性知识。其标签体系采用BIO编码，包含58个细粒度标签，覆盖从具体物体（如ARTIFACT）到抽象属性（如PROPERTY）的广泛语义范畴。此外，数据集提供了词性标注信息，为序列建模提供了额外的句法线索。这种多维度、多层次的结构化标注，使得CNER任务能够更全面地理解文本中的语义内涵，为知识图谱构建、语义解析等下游应用奠定了坚实基础。

使用方法

该数据集专为token分类任务设计，可直接用于训练和评估序列标注模型。用户可通过HuggingFace Datasets库加载数据，每个样本以字典形式呈现，包含tokens、pos、c_vs_ne、cner_tags及cner_tags_ids字段。训练时，推荐使用基于Transformer的编码器模型（如BERT、RoBERTa），将tokens作为输入，cner_tags_ids作为监督目标。值得注意的是，标签ID从0（O标签）到58连续编码，便于直接与分类层输出对齐。评估时可采用标准的精确率、召回率与F1指标，分别计算概念识别、实体识别及联合识别的性能。该数据集仅限非商业研究使用，引用时需注明原始论文。

背景与挑战

背景概述

概念与命名实体识别（CNER）是自然语言处理领域的一项新兴任务，旨在同时识别和分类文本中的概念与命名实体，突破了传统命名实体识别仅关注专有名词的局限。该数据集由Babelscape研究团队于2024年创建，核心成员包括Giuliano Martinelli、Francesco Molfese、Simone Tedeschi等，相关论文发表于NAACL 2024。研究问题聚焦于如何构建一个统一的标注体系，将概念（如“疾病”、“食物”）与命名实体（如“人物”、“组织”）无缝整合，以提升机器对文本语义的深层理解。CNER数据集包含超过10万条样本，覆盖58种细粒度标签，为语义解析、知识图谱构建等下游任务提供了关键资源，推动了信息抽取领域从实体识别向广义概念理解的范式演进。

当前挑战

CNER数据集面临的核心挑战源于其任务本身的复杂性。在领域问题层面，传统NER模型难以区分概念与命名实体的边界，例如“苹果”既可指水果概念也可指公司实体，要求模型具备跨层次语义推理能力；同时，数据集定义了58种细粒度标签（如“天体”、“生物”等），类别间存在语义重叠，加剧了分类歧义。在构建过程中，团队需解决标注一致性问题：概念与命名实体的判断依赖上下文，人工标注员易产生主观分歧，而机器辅助生成的标注则可能引入噪声。此外，数据集的CC BY-NC-SA 4.0许可限制了商业应用，且其英文单语特性尚未覆盖多语言场景，对跨语言泛化构成潜在障碍。

常用场景

经典使用场景

在自然语言处理领域，概念与命名实体识别（CNER）任务应运而生，旨在统一处理文本中概念和命名实体的联合识别与分类。Babelscape/cner数据集正是为此任务量身打造，其经典使用场景聚焦于训练和评估能够同时捕捉抽象概念（如疾病、学科、情感）与具象实体（如人名、组织、地点）的序列标注模型。该数据集通过精细的标签体系（涵盖58种细粒度类别）和丰富的标注实例，为研究者提供了构建多任务学习框架的基准平台，尤其适用于探索概念与实体在上下文中的交互关系，推动从简单实体抽取向深层语义理解的范式演进。

实际应用

在实际应用中，该数据集支撑的模型可赋能多种智能系统。在医疗领域，模型可同时识别疾病名称（实体）与‘症状’‘治疗’等医学概念，辅助临床决策支持；在金融场景中，能联合抽取公司名（实体）与‘资产’‘负债’等财务概念，优化风险分析流程。此外，面向社交媒体文本的情感分析可从中受益，因为模型能区分‘愤怒’（情感概念）与具体事件实体，提升舆情监控的精准度。该数据集还支持跨语言迁移学习，其多粒度标签体系为构建通用语义理解引擎奠定了基础，推动人机交互系统从关键词匹配迈向语义级理解。

衍生相关工作

该数据集衍生了多项开创性研究。其提出团队在NAACL 2024发表的同名论文中，首次定义了CNER任务并验证了联合建模的有效性。后续工作围绕标签层次结构优化展开，例如引入层级注意力机制以捕捉概念与实体间的语义关联。此外，有研究借鉴其标签体系，构建了面向低资源语言的跨语言CNER模型，验证了知识迁移的可能性。另一方向将CNER与关系抽取结合，利用联合标注结果增强三元组提取的鲁棒性。这些衍生工作共同推动了信息抽取技术从扁平化标注向结构化语义理解的关键跃迁。