BeIR/climate-fever

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，代表了9种信息检索任务。这些数据集已经过预处理，可以用于实验。支持的任务包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。所有任务均为英文。数据集的结构包括语料库、查询和相关性判断文件，格式为JSONL和TSV。

The BEIR Benchmark is a heterogeneous benchmark composed of 18 distinct datasets covering 9 information retrieval tasks. All these datasets have been preprocessed and are ready for experimental use. Supported tasks include fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. All tasks are in English. The datasets are structured with corpus, query, and relevance judgment files available in both JSONL and TSV formats.

原始信息汇总

数据集卡片 for BEIR Benchmark

数据集描述

数据集摘要

BEIR 是一个异构基准，由 18 个不同的数据集组成，代表 9 种信息检索任务：

• 事实检查：FEVER、Climate-FEVER、SciFact
• 问答：NQ、HotpotQA、FiQA-2018
• 生物医学信息检索：TREC-COVID、BioASQ、NFCorpus
• 新闻检索：TREC-NEWS、Robust04
• 论点检索：Touche-2020、ArguAna
• 重复问题检索：Quora、CqaDupstack
• 引用预测：SCIDOCS
• 推文检索：Signal-1M
• 实体检索：DBPedia

所有这些数据集都已预处理，可供实验使用。

支持的任务和排行榜

该数据集支持一个排行榜，评估模型在任务特定指标（如 F1 或 EM）上的表现，以及它们从维基百科检索支持信息的能力。

当前最佳表现的模型可以在此处找到：Leaderboard。

语言

所有任务均为英语（en）。

数据集结构

所有 BEIR 数据集必须包含语料库、查询和 qrels（相关性判断文件）。它们必须采用以下格式：

• corpus 文件：一个 .jsonl 文件（jsonlines），包含一个字典列表，每个字典有三个字段 _id（唯一文档标识符）、title（文档标题，可选）和 text（文档段落或段落）。例如：{"_id": "doc1", "title": "Albert Einstein", "text": "Albert Einstein was a German-born...."}
• queries 文件：一个 .jsonl 文件（jsonlines），包含一个字典列表，每个字典有两个字段 _id（唯一查询标识符）和 text（查询文本）。例如：{"_id": "q1", "text": "Who developed the mass-energy equivalence formula?"}
• qrels 文件：一个 .tsv 文件（制表符分隔），包含三列，即 query-id、corpus-id 和 score（相关性判断分数）。第一行应为标题。例如：q1 doc1 1

数据实例

一个高层次的 BEIR 数据集示例：

python corpus = { "doc1" : { "title": "Albert Einstein", "text": "Albert Einstein was a German-born theoretical physicist. who developed the theory of relativity, one of the two pillars of modern physics (alongside quantum mechanics). His work is also known for its influence on the philosophy of science. He is best known to the general public for his mass–energy equivalence formula E = mc2, which has been dubbed the worlds most famous equation. He received the 1921 Nobel Prize in Physics for his services to theoretical physics, and especially for his discovery of the law of the photoelectric effect, a pivotal step in the development of quantum theory." }, "doc2" : { "title": "", # 如果标题不存在，保持为空字符串 "text": "Wheat beer is a top-fermented beer which is brewed with a large proportion of wheat relative to the amount of malted barley. The two main varieties are German Weißbier and Belgian witbier; other types include Lambic (made with wild yeast), Berliner Weisse (a cloudy, sour beer), and Gose (a sour, salty beer)." }, }

queries = { "q1" : "Who developed the mass-energy equivalence formula?", "q2" : "Which beer is brewed with a large proportion of wheat?" }

qrels = { "q1" : {"doc1": 1}, "q2" : {"doc2": 1}, }

数据字段

所有配置的示例具有以下特征：

语料库

• corpus：一个 dict 特征，表示文档标题和段落文本，由以下部分组成：
  • _id：一个 string 特征，表示唯一文档 ID
    • title：一个 string 特征，表示文档标题。
    • text：一个 string 特征，表示文档文本。

查询

• queries：一个 dict 特征，表示查询，由以下部分组成：
  • _id：一个 string 特征，表示唯一查询 ID
  • text：一个 string 特征，表示查询文本。

Qrels

• qrels：一个 dict 特征，表示查询文档相关性判断，由以下部分组成：
  • _id：一个 string 特征，表示查询 ID
    • _id：一个 string 特征，表示文档 ID。
    • score：一个 int32 特征，表示查询和文档的相关性判断。

数据分割

数据集	网站	BEIR 名称	类型	查询数量	语料库大小	相关文档/查询	下载链接	md5
MSMARCO	Homepage	msmarco	train<br>dev<br>test	6,980	8.84M	1.1	Link	444067daf65d982533ea17ebd59501e4
TREC-COVID	Homepage	trec-covid	test	50	171K	493.5	Link	ce62140cb23feb9becf6270d0d1fe6d1
NFCorpus	Homepage	nfcorpus	train<br>dev<br>test	323	3.6K	38.2	Link	a89dba18a62ef92f7d323ec890a0d38d
BioASQ	Homepage	bioasq	train<br>test	500	14.91M	8.05	No	How to Reproduce?
NQ	Homepage	nq	train<br>test	3,452	2.68M	1.2	Link	d4d3d2e48787a744b6f6e691ff534307
HotpotQA	Homepage	hotpotqa	train<br>dev<br>test	7,405	5.23M	2.0	Link	f412724f78b0d91183a0e86805e16114
FiQA-2018	Homepage	fiqa	train<br>dev<br>test	648	57K	2.6	Link	17918ed23cd04fb15047f73e6c3bd9d9
Signal-1M(RT)	Homepage	signal1m	test	97	2.86M	19.6	No	How to Reproduce?
TREC-NEWS	Homepage	trec-news	test	57	595K	19.6	No	How to Reproduce?
ArguAna	Homepage	arguana	test	1,406	8.67K	1.0	Link	8ad3e3c2a5867cdced806d6503f29b99
Touche-2020	Homepage	webis-touche2020	test	49	382K	19.0	Link	46f650ba5a527fc69e0a6521c5a23563
CQADupstack	Homepage	cqadupstack	test	13,145	457K	1.4	Link	4e41456d7df8ee7760a7f866133bda78
Quora	Homepage	quora	dev<br>test	10,000	523K	1.6	Link	18fb154900ba42a600f84b839c173167
DBPedia	Homepage	dbpedia-entity	dev<br>test	400	4.63M	38.2	Link	c2a39eb420a3164af735795df012ac2c
SCIDOCS	Homepage	scidocs	test	1,000	25K	4.9	Link	38121350fc3a4d2f48850f6aff52e4a9
FEVER	Homepage	fever	train<br>dev<br>test	6,666	5.42M	1.2	Link	5a818580227bfb4b35bb6fa46d9b6c03
Climate-FEVER	Homepage	climate-fever	test	1,535	5.42M	3.0	Link	8b66f0a9126c521bae2bde127b4dc99d
SciFact	Homepage	scifact	train<br>test	300	5K	1.1	Link	5f7d1de60b170fc8027bb7898e2efca1
Robust04	Homepage	robust04	test	249	528K	69.9	No	How to Reproduce?

数据集创建

策划理由

[需要更多信息]

源数据

初始数据收集和规范化

[需要更多信息]

源语言生产者是谁？

[需要更多信息]

注释

注释过程

[需要更多信息]

注释者是谁？

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据

搜集汇总

数据集介绍

构建方式

在气候变化议题日益受到全球关注的背景下，Climate-FEVER数据集作为BEIR基准测试中事实核查任务的重要组成部分，旨在评估信息检索模型对气候相关主张的Wikipedia摘要检索能力。该数据集源自Climate-FEVER项目，其构建方式遵循BEIR标准检索布局：语料库（corpus）包含约541万个Wikipedia文档，每条记录以唯一标识符、标题和文本字段存储；查询集（queries）则包含1535条关于气候的主张，每条查询同样包含标识符、标题和文本。数据集的划分明确，语料库与查询集独立存放，便于研究者直接用于零样本检索评估。这种结构化的设计确保了数据集在事实核查场景中的高效复用与标准化评测。

特点

Climate-FEVER数据集以其鲜明的领域专属性与规模性脱颖而出。作为针对气候事实核查的专用资源，它聚焦于气候变化这一高度争议且信息密集的主题，语料库囊括了超过540万条Wikipedia摘要，覆盖了从科学共识到政策争论的广泛内容。查询集精心设计为1535条气候主张，每条主张均需模型从海量文档中检索出相关证据，这模拟了真实世界中对气候信息进行甄别的复杂挑战。数据集采用零样本评估范式，无需额外训练即可直接测试检索模型的泛化能力，其特点在于高相关性文档密度（平均每个查询对应3.0个相关文档）与大规模语料库的结合，为衡量模型在专业领域中的检索精度提供了严苛的基准。

使用方法

使用Climate-FEVER数据集时，研究者可通过Hugging Face Datasets库便捷加载，或直接从BEIR官网下载压缩包。加载时需指定两个配置：corpus用于获取文档语料，queries用于获取查询集合，每条数据均包含_id、title和text字段。典型应用流程包括：首先将语料库索引化，随后对每条查询执行检索，生成候选文档排序列表；最后利用提供的qrels（相关性判断）文件计算NDCG、MAP等标准指标。该数据集特别适合用于零样本检索模型的评估，无需针对气候领域进行微调，即可测试模型在事实核查任务上的迁移能力。开发者可参考BEIR官方示例代码快速上手，通过简单的API调用实现完整的检索与评测流程。

背景与挑战

背景概述

气候变化作为全球性议题，其相关信息的真实性与可靠性对社会决策具有深远影响。在此背景下，Climate-FEVER数据集应运而生，作为BEIR基准测试框架中事实核查任务的核心组成部分，由加拿大滑铁卢大学Nandan Thakur等人于2021年创建。该数据集聚焦于从维基百科中检索与气候变化相关主张的摘要证据，旨在评估信息检索模型在零样本场景下对复杂事实性问题的处理能力。Climate-FEVER源自FEVER数据集，但专门针对气候变化领域，包含超过540万篇文档和1535条查询，每条查询平均对应3.0条相关文档，为模型提供了丰富的证据基础。作为BEIR基准的一部分，该数据集推动了信息检索与事实核查交叉领域的研究，尤其在评估模型对科学主张的检索与验证能力方面具有重要影响，为构建可信赖的气候信息生态系统奠定了基础。

当前挑战

Climate-FEVER数据集面临的挑战主要体现在两个层面。在领域问题层面，气候变化议题涉及大量科学术语、争议性主张和不断演化的知识，模型需精准理解复杂概念并检索权威证据，同时应对事实核查中证据与主张间微妙的逻辑关系，这远超传统信息检索任务。在构建过程层面，数据集面临证据覆盖与噪声控制的平衡难题：维基百科文档虽广泛但包含不完整或过时信息，且气候变化领域存在观点分歧，需确保检索结果的客观性。此外，零样本评估要求模型在未见任务上泛化，但Climate-FEVER的领域特异性与有限查询规模（1535条）限制了模型对多样化气候主张的适应能力，同时大规模语料（540万文档）导致检索效率与精度的权衡，对模型鲁棒性提出严苛考验。

常用场景

经典使用场景

Climate-FEVER作为BEIR基准测试中事实核查任务的核心数据集，其经典使用场景在于评估信息检索模型对气候变化相关主张的维基百科摘要检索能力。该数据集包含超过540万篇文档和1535条查询，每条查询对应一个关于气候变化的声明，模型需从海量语料中精准定位支持或反驳该声明的证据片段。这一设定使得Climate-FEVER成为检验检索系统在特定领域零样本泛化性能的标尺，尤其适用于衡量模型理解气候科学术语、区分事实与谬误的语义匹配能力。研究者常将其与FEVER、SciFact等数据集联合使用，构建跨领域的事实核查检索评估体系。

解决学术问题

Climate-FEVER的构建旨在解决信息检索领域零样本评估中缺乏领域特异性事实核查基准的学术困境。传统检索模型多依赖监督学习，面对气候变化这一知识密集型且争议性强的领域时，常因训练数据与目标领域分布偏移而性能骤降。该数据集通过提供大规模、高质量的气候主张-证据对，使得研究者能够系统评估模型在不经领域微调的情况下，从维基百科这一开放知识库中检索相关证据的能力。其意义在于揭示了现有检索模型在处理涉及复杂科学推理、多义术语和隐含逻辑关系的事实核查任务时的局限性，推动了面向鲁棒性和可迁移性的检索架构创新。

衍生相关工作

Climate-FEVER的发布催生了一系列具有影响力的衍生研究工作。在模型层面，SPLADE、ColBERT等稀疏与密集检索架构均将其作为零样本评估的关键基准，推动了可解释检索与延迟交互机制的发展。在方法论上，研究者基于该数据集提出了跨领域知识蒸馏策略，通过迁移学习增强模型在低资源事实核查场景下的表现。此外，Climate-FEVER还促使了多模态检索的探索，如将文本证据与气候图表、卫星图像结合，形成更全面的验证体系。这些工作不仅深化了对检索模型泛化边界的理解，也为构建应对复杂社会议题的智能信息生态奠定了方法论基础。