mteb/nq

NQ数据集是一个用于文本检索任务的英文数据集，包含人类标注的注释。它提供了大量的查询和文档，可用于评估嵌入模型在自然语言处理任务上的表现。

The NQ dataset is an English dataset for text retrieval tasks, which includes human-annotated annotations. It provides a large number of queries and documents for evaluating the performance of embedding models on natural language processing tasks.

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 多语言性: 单语种
• 任务类别: 文本检索
• 源数据集: nq
• 任务ID: 文档检索
• 配置名称: corpus
• 标签: 文本检索

数据集配置

默认配置

• 配置名称: default
• 特征:
  • query-id: 字符串
  • corpus-id: 字符串
  • score: 浮点数 (float64)
• 分割:
  • test:
    • 字节数: 133323
    • 示例数: 4201

语料库配置

• 配置名称: corpus
• 特征:
  • _id: 字符串
  • title: 字符串
  • text: 字符串
• 分割:
  • corpus:
    • 字节数: 1381417863
    • 示例数: 2681468

查询配置

• 配置名称: queries
• 特征:
  • _id: 字符串
  • text: 字符串
• 分割:
  • queries:
    • 字节数: 220472
    • 示例数: 3452

数据文件

默认配置

• 配置名称: default
• 数据文件:
  • 分割: test
  • 路径: qrels/test.jsonl

语料库配置

• 配置名称: corpus
• 数据文件:
  • 分割: corpus
  • 路径: corpus.jsonl

查询配置

• 配置名称: queries
• 数据文件:
  • 分割: queries
  • 路径: queries.jsonl

搜集汇总

数据集介绍

构建方式

Natural Questions (NQ) 数据集源自谷歌研究，最初是为问答研究设计的基准。在 MTEB 框架下，该数据集被重构为文本检索任务，包含三个核心配置：corpus、queries 和 default。corpus 配置存储了约 268 万篇文档，每篇包含标题和正文；queries 配置提供 3452 条查询文本；default 配置则通过 qrels 文件记录查询与文档的相关性评分，形成标准的检索评估体系。数据构建过程中，所有标注均由人工完成，确保了标注质量的高度可靠性。

使用方法

使用该数据集时，可借助 MTEB 库进行高效评估。用户通过调用 `mteb.get_tasks` 获取 NQ 任务，再利用 `mteb.MTEB` 实例化评估器，最后运行 `evaluator.run` 方法即可在模型上完成测试。数据集以 JSONL 格式存储，分为 corpus、queries 和 qrels 三个文件，便于开发者灵活加载与处理。这种集成化的评估流程显著降低了基准测试的复杂度，使研究者能专注于模型性能的优化与比较。

背景与挑战

背景概述

自然问题（Natural Questions, NQ）数据集由Google AI于2019年发布，由Tom Kwiatkowski、Jennimaria Palomaki等研究人员共同构建，旨在为开放域问答研究提供高标准的评测基准。该数据集的核心研究问题聚焦于从真实用户与Google搜索引擎的交互中抽取自然语言问题，并标注对应的维基百科段落作为答案，从而推动机器阅读理解与信息检索领域的深度融合。作为文本嵌入基准（MTEB）的重要组成部分，NQ数据集凭借其大规模、高质量的人工标注语料，在评估文本检索与问答系统的语义理解能力方面具有广泛影响力，成为衡量模型在复杂查询中定位精准信息的关键工具。

当前挑战

NQ数据集所解决的领域问题在于提升开放域问答系统在真实场景中的检索与推理能力，尤其挑战模型从海量文档中精准定位答案的鲁棒性。其构建过程中面临多重挑战：首先，需处理用户查询与维基百科段落之间的语义差异，确保标注的答案片段具有高相关性；其次，数据集涵盖超过268万篇文档与3452条查询，需平衡语料的多样性与标注一致性，避免噪声干扰；此外，每个查询平均仅对应1.2个相关文档，稀疏的标注分布对模型的细粒度理解提出了严苛要求，进一步考验检索算法在低资源信号下的泛化能力。

常用场景

经典使用场景

在信息检索与文本嵌入领域，mteb/nq（Natural Questions）数据集被广泛用作标准化的检索基准。该数据集源自Google真实用户查询，包含约270万篇维基百科文档与3452个问题对，其查询与文档的语义匹配任务构成了文本嵌入模型性能评估的黄金标准。研究者通常利用该数据集在Massive Text Embedding Benchmark（MTEB）框架下对模型进行零样本评估，通过计算查询与候选文档的嵌入相似度，衡量模型在开放域问答检索中的表现。该场景的核心价值在于提供了一个兼具规模与真实噪声的测试环境，使不同架构的嵌入模型能够在统一的检索任务上展开公平竞争。

解决学术问题

该数据集的核心贡献在于解决了开放域问答中检索与推理的协同难题。传统问答系统依赖封闭域知识库，难以应对真实用户查询的多样性与模糊性。Natural Questions通过提供自然语言形式的真实用户问题与维基百科全文段落，迫使模型在无结构化知识约束的条件下完成从海量文档中定位答案的任务。这一设计推动了以下学术问题的突破：如何将检索模块的召回能力与阅读理解模块的精确推理进行端到端融合。该数据集的发布直接催生了密集检索（Dense Retrieval）技术的爆发式发展，研究者得以系统性地对比稀疏检索（如BM25）与基于预训练模型（如BERT）的嵌入方法在真实场景下的性能差异。

实际应用

在实际部署中，该数据集衍生的嵌入技术已深度融入搜索引擎与智能问答系统。基于其构建的检索模型能够有效处理用户用自然语言提出的复杂信息需求，例如在医疗咨询、法律条文检索等专业领域，系统可先利用嵌入模型从大规模文档库中召回候选内容，再通过排序模型精化结果。Google搜索引擎的某些问答特性即受益于此类研究范式。此外，该数据集训练出的嵌入模型还常被用于企业知识库的语义检索场景，帮助员工通过自然语言查询快速定位内部文档。在内容推荐系统中，其技术路线也被借鉴用于实现查询与内容之间的语义关联匹配。

数据集最近研究

最新研究方向

在信息检索与自然语言处理交叉领域中，基于大规模真实用户查询的开放域问答数据集NQ（Natural Questions）正成为评估文本嵌入模型性能的标杆性基准。该数据集以谷歌搜索日志中的真实问题为锚点，结合维基百科全文文档构建检索语料库，其单语言英文特性与人工标注的问答对为语义匹配研究提供了高信噪比的测试环境。当前前沿方向聚焦于将NQ纳入MTEB（大规模文本嵌入基准）体系，用于衡量模型在细粒度多跳推理与长文本语义对齐上的表现。随着MMTEB（多语言大规模文本嵌入基准）的提出，研究者开始利用NQ的查询-文档相关性标注，探索跨语言知识迁移与零样本检索能力，这一趋势与RAG（检索增强生成）技术的工业级应用热潮紧密呼应。该数据集不仅推动了嵌入模型从浅层向量匹配向深层语义理解的范式转型，更通过标准化评估框架加速了搜索引擎、智能问答系统等实际部署场景的迭代优化。