mteb/nfcorpus

NFCorpus是一个用于医疗信息检索的全文本学习排名数据集，包含训练、开发和测试数据集，以及语料库和查询信息。该数据集适用于医疗和学术领域。

NFCorpus is a full-text learning to rank dataset for medical information retrieval, containing training, development, and test datasets, as well as corpus and query information. It is suitable for the medical and academic fields.

原始信息汇总

数据集概述

语言和多语言性

• 语言: 英语
• 多语言性: 单语种

任务类别和ID

• 任务类别: 文本检索
• 任务ID: 文档检索

源数据集

• 源数据集: nfcorpus

配置名称

• 配置名称: corpus

标签

• 标签: 文本检索

数据集信息

配置名称: default

• 特征:
  • 名称: query-id dtype: string
  • 名称: corpus-id dtype: string
  • 名称: score dtype: float64
• 分割:
  • 名称: train num_bytes: 3720942 num_examples: 110575
  • 名称: dev num_bytes: 383427 num_examples: 11385
  • 名称: test num_bytes: 415220 num_examples: 12334

配置名称: corpus

• 特征:
  • 名称: _id dtype: string
  • 名称: title dtype: string
  • 名称: text dtype: string
• 分割:
  • 名称: corpus num_bytes: 5856698 num_examples: 3633

配置名称: queries

• 特征:
  • 名称: _id dtype: string
  • 名称: text dtype: string
• 分割:
  • 名称: queries num_bytes: 128355 num_examples: 3237

配置

配置名称: default

• 数据文件:
  • 分割: train 路径: qrels/train.jsonl
  • 分割: dev 路径: qrels/dev.jsonl
  • 分割: test 路径: qrels/test.jsonl

配置名称: corpus

• 数据文件:
  • 分割: corpus 路径: corpus.jsonl

配置名称: queries

• 数据文件:
  • 分割: queries 路径: queries.jsonl

搜集汇总

数据集介绍

构建方式

NFCorpus是一个专为医学信息检索设计的全文学习排序数据集，源自德国海德堡大学计算语言学与统计自然语言处理小组的研究成果。该数据集以PubMed Central开放获取文献库为基础，精心筛选了3,633篇医学领域的学术文献全文作为语料库，覆盖了广泛的医学主题。查询集则包含3,237个由医学专家构建的信息需求，每个查询均与语料库中的相关文档建立了详尽的关联标注。数据集被划分为训练、验证和测试三个子集，分别包含110,575、11,385和12,334个查询-文档相关性判断对，确保了模型评估的严谨性与可复现性。

使用方法

NFCorpus数据集已集成至大规模文本嵌入基准（MTEB）框架中，用户可通过简洁的Python接口直接调用。利用mteb库，研究人员首先通过get_tasks函数加载NFCorpus任务，随后实例化MTEB评估器与目标嵌入模型，最后调用run方法即可完成全自动评估流程。该数据集支持文本到文本（t2t）的检索任务范式，开发者无需手动处理数据分片或相关性判断文件，MTEB框架会自动管理corpus、queries和default三个配置下的数据加载与评估逻辑，从而大幅降低模型评测的技术门槛。

背景与挑战

背景概述

在信息检索领域，针对医学文献的检索任务长期面临专业术语复杂、语义理解要求高等难题。NFCorpus数据集由海德堡大学计算语言学团队的Vera Boteva、Demian Gholipour、Artem Sokolov和Stefan Riezler于2016年创建，旨在为医学信息检索提供全文本排序基准。该数据集聚焦于生物医学文献的检索与相关性排序，包含3633篇医学文献全文、3237条查询及超过11万条相关性标注，覆盖医学、学术与书面文本领域。作为Massive Text Embedding Benchmark（MTEB）的重要组成，NFCorpus推动了文本嵌入模型在专业领域的效果评估，成为检验模型对医学语义理解能力的关键基准。

当前挑战

NFCorpus所解决的领域核心挑战在于医学信息检索中查询与文档间复杂的语义匹配问题，尤其是专业术语的同义表达与上下文依赖性。构建过程中面临三大难点：一是医学文献全文本的获取与清洗，需从异构学术源中提取结构化内容；二是相关性标注的精细化，需专家对每篇文献与查询的关联程度进行多维判断，确保标注一致性；三是数据集规模与覆盖面的平衡，在有限资源下需兼顾文献的代表性与查询的多样性，以支撑模型泛化能力评估。这些挑战使得NFCorpus成为验证医学检索模型鲁棒性的严苛测试集。

常用场景

经典使用场景

NFCorpus作为面向医学信息检索的全文本学习排序数据集，其经典使用场景集中于评估和训练文本嵌入模型在医疗领域的检索性能。该数据集包含3633篇医学文献全文作为语料库，搭配3237条查询及对应的相关性判断，为模型提供了细粒度的相关性标注。研究者利用此数据集可系统性地测试模型在医学专业术语理解、长文本语义匹配以及稀疏相关性信号捕捉等方面的能力，从而推动信息检索技术在垂直医疗领域的深度应用。

解决学术问题

该数据集有效解决了医学信息检索领域长期面临的学术研究难题，即缺乏大规模、高质量的全文本学习排序基准。传统数据集多局限于标题或摘要级别的检索，难以反映临床实践中对全文内容检索的真实需求。NFCorpus通过提供完整的医学论文全文及专家标注的相关性判断，使研究者能够深入探索文档级语义匹配、细粒度相关性排序以及跨句子推理等核心问题，为构建更精准的医学知识检索系统奠定了坚实的实验基础。

实际应用

在实际应用层面，NFCorpus驱动的检索模型可广泛赋能临床决策支持系统、医学知识库构建及科研文献挖掘等场景。例如，医生在诊疗过程中需要快速从海量医学文献中定位与患者症状高度相关的治疗指南或病例报告，基于该数据集训练的嵌入模型能够显著提升检索的召回率与精准度。此外，该数据集还可用于优化医学搜索引擎的排序算法，助力科研人员高效筛选相关文献，加速生物医学领域的知识发现与转化。

数据集最近研究

最新研究方向

在信息检索领域，NFCorpus作为首个面向医学文献的全文本学习排序基准数据集，其研究前沿正聚焦于深度融合大规模语言模型与领域特定语义理解。当前热点方向包括利用预训练嵌入模型在零样本或小样本场景下精准捕捉医学术语与长文档间的复杂关联，以及通过对比学习和多任务微调提升检索系统对罕见病或跨模态信息（如临床文本与生物医学图谱）的泛化能力。该数据集的独特价值在于其全文本特性促使研究者从传统基于标题或摘要的检索范式转向更细粒度的段落级相关性建模，显著推动了医疗问答、循证医学决策支持系统的发展，并为评估嵌入模型在专业领域中的鲁棒性提供了关键验证平台。