BeIR/climate-fever-generated-queries

BEIR Benchmark是一个异构的基准数据集，由18个不同的数据集组成，涵盖了9种信息检索任务，包括事实核查、问答、生物医学信息检索等。所有数据集均为英文，并且已经过预处理，可以直接用于实验。数据集的结构包括corpus、queries和qrels文件，分别存储文档、查询和相关性判断。

BEIR Benchmark is a heterogeneous benchmark dataset consisting of 18 distinct datasets, covering 9 information retrieval tasks including fact checking, question answering, biomedical information retrieval, etc. All datasets are in English and have been preprocessed, allowing direct experimental use. The dataset structure comprises corpus, queries and qrels files, which respectively store documents, queries and relevance judgments.

原始信息汇总

BEIR Benchmark 数据集概述

数据集描述

数据集摘要

BEIR是一个异构基准，由18个不同数据集组成，代表9种信息检索任务，包括事实检查、问答、生物医学信息检索、新闻检索等。

支持的任务和排行榜

BEIR支持多种任务，包括文本检索、零样本检索、信息检索等，并设有排行榜评估模型性能。

语言

所有任务均使用英语。

数据集结构

数据实例

BEIR数据集包含文档、查询和相关性判断文件，格式分别为.jsonl和.tsv。

数据字段

• 文档：包含唯一文档标识符、标题和文本。
• 查询：包含唯一查询标识符和查询文本。
• 相关性判断：包含查询标识符、文档标识符和相关性分数。

数据分割

数据集按不同任务和类型分割，如训练集、验证集和测试集，具体大小和相关性分数因数据集而异。

数据集创建

来源数据

数据集由多个来源组成，每个来源的数据集都有详细的下载链接和MD5校验和。

许可证信息

数据集遵循CC-BY-SA-4.0许可证。

引用信息

引用此数据集时，应使用提供的引用格式。

贡献者

感谢@Nthakur20为数据集的贡献。

搜集汇总

数据集介绍

构建方式

BeIR/climate-fever-generated-queries数据集源自BEIR基准测试框架，该框架整合了18个涵盖9类信息检索任务的多样化数据集。具体而言，Climate-FEVER数据集专注于事实核查领域，其语料库从维基百科中抽取了约542万篇文档。在构建过程中，研究者首先从Climate-FEVER的原始标注数据中提取1,535个查询，每个查询对应一个关于气候变化的事实声明。随后，通过人工标注与自动化的相关性判断流程，为每个查询分配了平均3.0个相关文档，形成了查询-文档对的黄金标准。整个数据集遵循BEIR的统一格式，将语料、查询和相关性判断文件分别以JSONL和TSV格式存储，确保了跨任务的可比性与易用性。

特点

该数据集的核心特点在于其零样本信息检索评估的适配性，专为测试模型在未见任务上的泛化能力而设计。Climate-FEVER子集聚焦于气候变化这一特定领域，查询均为事实性声明，要求模型从海量维基百科文档中检索支持或反驳的证据。数据集规模适中，包含1,535个查询和542万篇文档，兼具挑战性与可管理性。此外，它继承了BEIR基准的异质性优势，与其他17个数据集（如FEVER、SciFact）共同构成多任务评估体系，覆盖事实核查、问答、生物医学检索等场景，为模型鲁棒性的全面衡量提供了标准化平台。

使用方法

使用该数据集时，研究者需遵循BEIR的标准化接口。首先，通过HuggingFace Datasets库加载数据，其中包含三个核心组件：corpus（文档集合，含_id、title、text字段）、queries（查询集合，含_id、text字段）和qrels（相关性判断，以TSV格式记录查询-文档对及得分）。典型应用流程为：利用预训练检索模型（如DPR、ColBERT）对语料库进行编码，计算查询与文档的相似度得分，再基于qrels中的黄金标签评估检索性能，常用指标包括NDCG@10、Recall@100等。数据集已预分割为训练、验证和测试集，可直接用于零样本评估或微调实验。

背景与挑战

背景概述

信息检索（Information Retrieval, IR）是自然语言处理领域的核心任务之一，其目标是从大规模语料库中高效、准确地找到与用户查询相关的信息。然而，传统IR系统往往针对特定任务和领域进行优化，导致其在零样本（zero-shot）场景下的泛化能力不足。为解决这一瓶颈，由滑铁卢大学的Nandan Thakur、UKP Lab的Nils Reimers等研究人员于2021年提出的BEIR（Benchmark for Zero-shot Evaluation of Information Retrieval）基准应运而生。该基准整合了18个多样化数据集，覆盖事实核查、问答、生物医学检索、新闻检索等9项IR任务，旨在系统评估模型在未见任务上的迁移能力。Climate-FEVER作为其子集，专注于气候变化相关事实的验证，为检验模型在特定领域中的证据检索与推理能力提供了关键测试平台。BEIR的发布极大推动了零样本IR研究的发展，成为评估现代检索模型（如密集检索、稀疏检索）性能的权威标杆。

当前挑战

BEIR基准所面临的挑战主要体现在两个层面。在领域问题层面，零样本信息检索的核心难题是模型如何从异构任务中学习通用表示，以应对分布外（out-of-distribution）查询。例如，Climate-FEVER要求模型从海量维基百科文本中检索支持或反驳气候变化主张的证据，这对模型在长尾实体、复杂逻辑推理以及领域特定术语上的理解能力提出了严苛要求。在构建过程中，挑战同样显著：整合18个来源各异的数据集需要统一格式（如.jsonl的语料和查询文件、.tsv的相关性判断文件），同时确保各子集间的评估指标（如F1、EM）可比。此外，部分数据集（如BioASQ）因版权或规模限制无法直接提供，需通过复现流程获取，这增加了基准的维护复杂性和可复现性的难度。

常用场景

经典使用场景

在信息检索与自然语言处理领域，BeIR/climate-fever-generated-queries数据集作为BEIR基准测试中气候事实核查任务的核心组件，被广泛用于评估模型在零样本场景下的检索性能。该数据集基于Climate-FEVER构建，包含大量关于气候变化主张的查询及其对应的维基百科证据段落，经典用途是测试检索系统能否从海量文档中精准定位支持或反驳某一气候声明的文本片段，从而衡量模型在复杂、跨领域知识检索任务中的泛化能力。

实际应用

在实际应用中，该数据集驱动的检索模型可被集成到气候新闻验证平台、社交媒体虚假信息检测系统以及学术文献综述工具中。例如，当用户提出‘全球变暖导致极端天气增加’这一主张时，系统能自动从权威来源（如科学报告或新闻文章）中检索出相关证据，辅助人工核查或自动生成反驳依据，从而提升公众对气候议题的认知准确性。

衍生相关工作

该数据集衍生了一系列经典研究工作，包括基于稠密检索的DPR（Dense Passage Retrieval）在零样本场景下的改进版本，以及结合对比学习的跨编码器模型如ColBERT-v2。此外，BEIR基准本身催生了多个后续研究，如SPLADE和ANCE等稀疏-稠密混合检索方法，这些工作均以climate-fever子集作为关键评估指标，推动了检索系统在领域迁移和效率优化方面的创新。