BeIR/cqadupstack-generated-queries

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，涵盖了9种信息检索任务，包括事实核查、问答、生物医学信息检索等。所有数据集都是英文的，并且已经过预处理，可以直接用于实验。数据集的结构包括corpus、queries和qrels三个部分，分别存储文档、查询和查询与文档的相关性判断。

The BEIR Benchmark is a heterogeneous benchmark composed of 18 distinct datasets, covering 9 types of information retrieval tasks including fact checking, question answering, biomedical information retrieval and so on. All datasets are in English and have been preprocessed, enabling direct use in experiments. The structure of the datasets includes three components: corpus, queries and qrels, which respectively store documents, queries, and relevance judgments between queries and documents.

原始信息汇总

BEIR Benchmark 数据集概述

数据集描述

数据集总结

BEIR是一个异构基准，由18个不同数据集组成，代表9种信息检索任务，包括事实检查、问答、生物医学信息检索、新闻检索等。

支持的任务和排行榜

数据集支持排行榜，评估模型在特定任务上的表现，如F1或EM，以及从维基百科检索支持信息的能力。

语言

所有任务均使用英语。

数据集结构

数据实例

BEIR数据集包含三个主要部分：文档库、查询和相关性判断（qrels）。文档库和查询以.jsonl格式存储，qrels以.tsv格式存储。

数据字段

• 文档库: 包含文档ID、标题和文本。
• 查询: 包含查询ID和查询文本。
• qrels: 包含查询ID、文档ID和相关性评分。

数据分割

数据集根据不同任务被分割为训练、开发和测试集。每个数据集的大小和相关性判断数量各不相同。

数据集创建

来源数据

数据集由多个来源的数据组成，包括公开可用的数据集和特定的任务数据。

注释

数据集中的注释过程和注释者信息未详细说明。

个人和敏感信息

数据集中是否包含个人和敏感信息未详细说明。

使用数据的考虑

社会影响

数据集的社会影响未详细说明。

偏见讨论

数据集中的潜在偏见未详细说明。

其他已知限制

数据集的其他已知限制未详细说明。

附加信息

数据集管理员

数据集的管理员信息未详细说明。

许可信息

数据集遵循CC-BY-SA-4.0许可。

引用信息

引用此数据集时，应使用提供的引用格式。

贡献

感谢@Nthakur20为数据集的贡献。