levow/msra_ner

--- annotations_creators: - crowdsourced language_creators: - found language: - zh license: - unknown multilinguality: - monolingual size_categories: - 10K<n<100K source_datasets: - original task_categories: - token-classification task_ids: - named-entity-recognition pretty_name: MSRA NER dataset_info: features: - name: id dtype: string - name: tokens sequence: string - name: ner_tags sequence: class_label: names: '0': O '1': B-PER '2': I-PER '3': B-ORG '4': I-ORG '5': B-LOC '6': I-LOC config_name: msra_ner splits: - name: train num_bytes: 33323074 num_examples: 45001 - name: test num_bytes: 2642934 num_examples: 3443 download_size: 15156606 dataset_size: 35966008 train-eval-index: - config: msra_ner task: token-classification task_id: entity_extraction splits: train_split: train eval_split: test col_mapping: tokens: tokens ner_tags: tags metrics: - type: seqeval name: seqeval --- # Dataset Card for MSRA NER ## Table of Contents - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** [Github](https://github.com/OYE93/Chinese-NLP-Corpus/tree/master/NER/MSRA) - **Repository:** [Github](https://github.com/OYE93/Chinese-NLP-Corpus) - **Paper:** - **Leaderboard:** - **Point of Contact:** ### Dataset Summary [More Information Needed] ### Supported Tasks and Leaderboards [More Information Needed] ### Languages [More Information Needed] ## Dataset Structure ### Data Instances [More Information Needed] ### Data Fields [More Information Needed] ### Data Splits [More Information Needed] ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information [More Information Needed] ### Citation Information [More Information Needed] ### Contributions Thanks to [@JetRunner](https://github.com/JetRunner) for adding this dataset.annotations_creators: - 众包（crowdsourced) language_creators: - 公开获取（found) language: - 中文（zh) license: - 未知（unknown) multilinguality: - 单语言（monolingual) size_categories: - 样本量介于10000到100000之间 source_datasets: - 原创数据集（original) task_categories: - Token分类（token-classification) task_ids: - 命名实体识别（named-entity-recognition) pretty_name: MSRA NER dataset_info: features: - name: id dtype: 字符串（string) - name: tokens sequence: 字符串序列 - name: ner_tags sequence: 类别标签（class_label): 标签名称: '0': 非实体标记（O) '1': 人名实体开头（B-PER) '2': 人名实体延续/结尾（I-PER) '3': 机构实体开头（B-ORG) '4': 机构实体延续/结尾（I-ORG) '5': 地点实体开头（B-LOC) '6': 地点实体延续/结尾（I-LOC) config_name: msra_ner splits: - name: 训练集（train) 字节大小: 33323074 样本数量: 45001 - name: 测试集（test) 字节大小: 2642934 样本数量: 3443 download_size: 15156606 dataset_size: 35966008 train-eval-index: - config: msra_ner task: Token分类（token-classification) task_id: 实体抽取（entity_extraction) splits: train_split: train eval_split: test col_mapping: tokens: tokens ner_tags: 标签（tags) metrics: - 类型: 序列评估指标（seqeval) name: 序列评估指标（seqeval) # MSRA 命名实体识别数据集卡片（Dataset Card for MSRA NER) ## 目录 - [数据集描述](#dataset-description) - [数据集概述](#dataset-summary) - [支持任务与排行榜](#supported-tasks-and-leaderboards) - [语言说明](#languages) - [数据集结构](#dataset-structure) - [数据样例](#data-instances) - [数据字段](#data-fields) - [数据划分](#data-splits) - [数据集创建](#dataset-creation) - [数据集构建初衷](#curation-rationale) - [源数据](#source-data) - [标注信息](#annotations) - [个人与敏感信息说明](#personal-and-sensitive-information) - [数据集使用注意事项](#considerations-for-using-the-data) - [数据集的社会影响](#social-impact-of-dataset) - [偏差讨论](#discussion-of-biases) - [其他已知局限性](#other-known-limitations) - [附加信息](#additional-information) - [数据集整理者](#dataset-curators) - [授权信息](#licensing-information) - [引用信息](#citation-information) - [贡献者](#contributions) ## 数据集描述 - **项目主页**: [GitHub](https://github.com/OYE93/Chinese-NLP-Corpus/tree/master/NER/MSRA) - **代码仓库**: [GitHub](https://github.com/OYE93/Chinese-NLP-Corpus) - **论文**: 无 - **排行榜**: 无 - **联系人**: 无 ### 数据集概述 【需补充更多信息】 ### 支持任务与排行榜 【需补充更多信息】 ### 语言说明 【需补充更多信息】 ## 数据集结构 ### 数据样例 【需补充更多信息】 ### 数据字段 【需补充更多信息】 ### 数据划分 【需补充更多信息】 ## 数据集创建 ### 数据集构建初衷 【需补充更多信息】 ### 源数据 #### 初始数据采集与标准化 【需补充更多信息】 #### 源语言数据生产者是谁？ 【需补充更多信息】 ### 标注信息 #### 标注流程 【需补充更多信息】 #### 标注者是谁？ 【需补充更多信息】 ### 个人与敏感信息说明 【需补充更多信息】 ## 数据集使用注意事项 ### 数据集的社会影响 【需补充更多信息】 ### 偏差讨论 【需补充更多信息】 ### 其他已知局限性 【需补充更多信息】 ## 附加信息 ### 数据集整理者 【需补充更多信息】 ### 授权信息 【需补充更多信息】 ### 引用信息 【需补充更多信息】 ### 贡献者 感谢[@JetRunner](https://github.com/JetRunner) 为本数据集的录入提供贡献。

原始信息汇总

数据集概述

基本信息

• 数据集名称: MSRA NER
• 语言: 中文 (zh)
• 许可证: 未知
• 多语言性: 单语
• 大小: 10K<n<100K
• 来源: 原创
• 任务类别: 词元分类
• 任务ID: 命名实体识别

数据集结构

• 特征:
  • id: 字符串类型
  • tokens: 字符串序列
  • ner_tags: 标签序列，包括：
    • 0: O
    • 1: B-PER
    • 2: I-PER
    • 3: B-ORG
    • 4: I-ORG
    • 5: B-LOC
    • 6: I-LOC
• 配置名称: msra_ner
• 分割:
  • 训练集: 45001个样本，33323074字节
  • 测试集: 3443个样本，2642934字节
  • 下载大小: 15156606字节
  • 数据集大小: 35966008字节

训练与评估索引

• 配置: msra_ner
• 任务: 词元分类
• 任务ID: 实体提取
• 分割:
  • 训练分割: train
  • 评估分割: test
• 列映射:
  • tokens: tokens
  • ner_tags: tags
• 指标:
  • 类型: seqeval
  • 名称: seqeval

搜集汇总

数据集介绍

构建方式

MSRA NER数据集的构建基于众包方式，通过汇集大量标注者的努力，对中文文本进行了详尽的命名实体识别（NER）标注。该数据集的原始数据来源于真实世界的中文文本，经过标准化处理后，形成了结构化的数据集。标注过程遵循了严格的命名实体分类标准，涵盖了人名（PER）、组织名（ORG）和地名（LOC）等常见实体类型。

特点

MSRA NER数据集的主要特点在于其高质量的标注和广泛的应用场景。数据集包含了超过45,000个训练样本和3,443个测试样本，覆盖了多种中文文本类型。其标注的实体标签系统清晰，便于模型训练和评估。此外，数据集的单语特性使其特别适合于中文自然语言处理任务的研究和应用。

使用方法

MSRA NER数据集适用于命名实体识别任务，用户可以通过加载数据集的训练和测试分割来进行模型训练和评估。数据集提供了标准的字段映射，如'tokens'对应文本序列，'ner_tags'对应命名实体标签序列，便于直接应用于各种基于序列标注的模型。通过使用如seqeval等评估指标，用户可以有效地衡量模型在命名实体识别任务上的性能。

背景与挑战

背景概述

MSRA NER数据集，由微软亚洲研究院（MSRA）创建，专注于中文命名实体识别（Named Entity Recognition, NER）任务。该数据集的构建旨在推动中文自然语言处理领域的发展，特别是为实体识别提供高质量的标注数据。数据集包含了超过45,000个训练样本和3,443个测试样本，涵盖了人名、组织名和地名等常见实体类别。尽管具体创建时间和主要研究人员信息未明确，但其对中文NER领域的贡献不容忽视，为后续研究提供了坚实的基础。

当前挑战

MSRA NER数据集在构建过程中面临多重挑战。首先，中文语言的复杂性使得实体边界识别尤为困难，尤其是在处理歧义和多义词时。其次，数据集的标注过程依赖于众包，这可能导致标注一致性问题，影响模型训练的准确性。此外，数据集的规模虽适中，但仍需进一步扩展以应对日益复杂的NER任务。最后，数据集的许可信息不明确，可能对未来的研究和应用带来法律和伦理上的不确定性。

常用场景

经典使用场景

在自然语言处理领域，MSRA NER数据集的经典使用场景主要集中在命名实体识别（Named Entity Recognition, NER）任务上。该数据集通过提供丰富的中文文本标注，帮助研究者和开发者训练和评估NER模型，特别是在识别人名、组织名和地名等实体方面表现出色。其标注的精细性和广泛性使得该数据集成为中文NER研究的重要基准。

实际应用

在实际应用中，MSRA NER数据集被广泛应用于信息抽取、文本分析、智能搜索等领域。例如，在新闻自动化处理中，该数据集帮助系统自动识别和分类新闻中的关键实体，提升信息处理的效率和准确性。此外，在智能客服和法律文书分析等场景中，该数据集也为实体识别提供了重要的技术支持，增强了系统的智能化水平。

衍生相关工作

基于MSRA NER数据集，研究者们开发了多种先进的NER模型和算法，推动了中文NER技术的快速发展。例如，一些研究工作通过引入深度学习技术，显著提升了实体识别的准确率。此外，该数据集还被用于多任务学习、跨语言学习等领域的研究，衍生出了一系列创新性的工作，进一步拓展了中文NER的应用范围和研究深度。