BeIR/hotpotqa

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，涵盖了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引文预测、推文检索和实体检索。所有数据集均为英文，并且已经过预处理，可以直接用于实验。数据集的结构包括corpus、queries和qrels文件，分别用于存储文档、查询和查询与文档的相关性判断。

The BEIR Benchmark is a heterogeneous benchmark composed of 18 distinct datasets, covering 9 information retrieval tasks including fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval and entity retrieval. All datasets are in English and have been preprocessed, enabling direct use in experiments. The dataset structure includes corpus, queries and qrels files, which are respectively used to store documents, queries and relevance judgments between queries and documents.

原始信息汇总

BEIR Benchmark 数据集概述

数据集描述

数据集摘要

BEIR是一个异构基准，由18个不同数据集组成，涵盖9种信息检索任务，包括事实检查、问答、生物医学信息检索等。

支持的任务和排行榜

数据集支持多种任务，如文本检索、零样本检索、信息检索等，并设有排行榜评估模型性能。

语言

数据集所有任务均使用英语。

数据集结构

数据实例

数据集包含文档、查询和相关性判断文件，格式包括.jsonl和.tsv。

数据字段

• 文档：包含唯一ID、标题和文本。
• 查询：包含唯一ID和查询文本。
• 相关性判断：包含查询ID、文档ID和相关性分数。

数据分割

数据集根据不同任务和数据集进行分割，如训练集、开发集和测试集。

数据集创建

数据集来源

数据集由多个现有数据集组成，每个数据集都有其特定的任务和格式。

许可证信息

数据集遵循CC-BY-SA-4.0许可证。

引用信息

引用此数据集时，应使用提供的引用格式。

贡献者

感谢@Nthakur20为数据集的贡献。

搜集汇总

数据集介绍

构建方式

HotpotQA源自BEIR基准测试中的问答检索子任务，旨在评估模型在多跳推理场景下对维基百科文档的检索能力。该数据集以BEIR标准格式构建，包含语料库（corpus）与查询集（queries）两大核心组件。语料库涵盖超过523万篇维基百科文章，每条记录均由唯一标识符、标题及正文组成；查询集则包含约9.8万个多跳问题，每个问题同样以标识符、标题和文本形式呈现。数据集通过将原始HotpotQA的问答对与维基百科语料进行对齐，并依据BEIR统一框架完成清洗与格式化，从而支撑零样本信息检索模型的评估。

特点

该数据集最显著的特点在于其多跳问答检索的挑战性，要求模型不仅理解单一文档内容，还需跨文档整合信息以回答复杂问题。作为BEIR基准的一部分，HotpotQA涵盖近10万条查询与逾500万篇文档，规模宏大且语义丰富。其语料库与查询集均采用统一的`_id`、`title`和`text`字段结构，便于与各类检索模型无缝集成。此外，数据集的构建严格遵循零样本评估原则，确保训练与测试阶段的任务领域相互独立，从而真实反映模型的泛化能力与鲁棒性。

使用方法

使用HotpotQA数据集时，研究者可通过Hugging Face Datasets库直接加载`corpus`与`queries`两个配置项，分别获取文档语料与查询集合。典型应用流程包括：首先利用语料库构建索引，而后针对查询集中的多跳问题执行检索，最后依据官方提供的相关性标签（qrels）评估模型性能。该数据集兼容BEIR基准的标准化评估脚本，支持多种信息检索模型（如稀疏检索、稠密检索）的零样本测试，并可通过直接下载链接获取原始数据进行离线处理。

背景与挑战

背景概述

在信息检索与自然语言处理领域，多跳问答任务要求模型具备跨越多个文档进行推理的能力，这对传统的单跳检索范式构成了严峻挑战。HotpotQA数据集由斯坦福大学与华盛顿大学等机构的研究人员于2018年创建，旨在评估模型在复杂、多步推理场景下的检索与问答性能。该数据集基于维基百科构建，包含约11.3万个问题，每个问题均需模型从多个文档中整合信息方能得出答案。作为BEIR基准的核心组成部分，HotpotQA被广泛用于零样本信息检索模型的评测，推动了多跳推理与开放域问答技术的进步，成为衡量检索系统泛化能力的重要标尺。

当前挑战

HotpotQA所解决的领域问题聚焦于多跳推理检索，即模型需在缺乏显式中间步骤监督的情况下，自主规划检索路径并融合分散于多篇文档中的证据。这一任务对传统稠密检索与稀疏检索方法均构成挑战，因其难以建模跨文档的语义依赖与逻辑链条。在数据集构建过程中，挑战同样显著：人工标注者需设计需多步推理才能回答的问题，并确保答案严格基于维基百科事实，这要求标注流程具备高度一致性；同时，从5.23百万篇文档构成的语料库中精准关联问题与相关段落，需处理噪声数据与信息冗余，增加了标注难度与质量控制成本。

常用场景

经典使用场景

HotpotQA作为BEIR基准测试中面向多跳问答的检索子集，其核心使用场景在于评估和推动信息检索模型对复杂、多步推理查询的理解能力。在该场景下，模型需要从包含超过500万篇维基百科文档的语料库中，精准定位并整合多个分散的文档片段，以回答诸如“谁提出了相对论并获得了诺贝尔奖？”这类需要跨文档推理的问题。这一设定不仅考验检索系统的相关性排序能力，更检验其对隐含逻辑链条的捕捉与重构水平，成为零样本信息检索领域衡量模型泛化性能的经典标尺。

实际应用

在实际应用中，HotpotQA所代表的复杂检索能力直接赋能智能问答系统、企业知识库及学术文献挖掘等场景。例如，在医疗诊断辅助中，系统需同时检索患者症状描述与药物相互作用信息；在法律文书分析中，需关联不同条款以形成完整论证。该数据集训练的模型能够提升此类跨源信息聚合的准确率，减少人工筛选成本。此外，其零样本特性使得模型无需微调即可适配新兴领域，如突发事件舆情分析或跨语言技术文档检索，显著增强了信息系统的自适应性与鲁棒性。

衍生相关工作

围绕HotpotQA衍生出一系列开创性工作，其中最具代表性的是基于密集向量检索的跨文档推理框架，如ColBERTv2与SPLADE等模型在此基准上验证了其稀疏-稠密混合表示的有效性。此外，多步检索的级联策略（如REALM与RAG）借鉴了该数据集的评估范式，将检索与生成阶段耦合以提升答案忠实度。近期研究更将其拓展至多模态场景，探索图文混合检索在复杂查询下的潜力。这些工作共同构筑了从检索到推理的完整技术谱系，深刻影响了信息检索与自然语言处理的交叉演进方向。