BeIR/climate-fever-qrels

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，代表了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索等。所有数据集均为英文，并且已经过预处理，可以直接用于实验。数据集的结构包括corpus、queries和qrels三个部分，分别存储文档、查询和查询与文档的相关性判断。

BEIR Benchmark is a heterogeneous benchmark composed of 18 distinct datasets, covering 9 types of information retrieval tasks including fact checking, question answering, biomedical information retrieval, news retrieval and more. All datasets are in English and have been preprocessed for direct use in experiments. The datasets follow a unified structure consisting of three parts: corpus, queries and qrels, which respectively store documents, search queries, and relevance judgments between queries and documents.

原始信息汇总

BEIR Benchmark 数据集概述

数据集描述

数据集摘要

BEIR 是一个异构基准，由18个不同数据集组成，代表9种信息检索任务。这些任务包括事实检查、问答、生物医学信息检索、新闻检索、论点检索等。所有这些数据集都已预处理，可供实验使用。

支持的任务和排行榜

数据集支持排行榜，评估模型在特定任务上的表现，如F1或EM，以及从维基百科检索支持信息的能力。当前最佳模型可在排行榜上找到。

语言

所有任务均使用英语。

数据集结构

数据实例

BEIR数据集包含三个主要部分：corpus（文档库）、queries（查询）和qrels（相关性判断文件）。每个部分都有特定的格式和内容。

数据字段

• Corpus: 包含文档的唯一标识符、标题和文本内容。
• Queries: 包含查询的唯一标识符和文本内容。
• Qrels: 包含查询标识符、文档标识符和相关性评分。

数据分割

数据集根据不同任务和数据源进行分割，每个分割都有其特定的查询数量、文档数量和相关性判断。

数据集创建

来源数据

数据集由多个不同的源数据集组成，每个源数据集都有其特定的任务和数据格式。

许可信息

数据集遵循CC-BY-SA-4.0许可协议。

引用信息

引用此数据集时，应使用提供的引用格式。

贡献者

感谢@Nthakur20为数据集的贡献。