income/webis-touche2020-top-20-gen-queries
收藏资源简介：
BEIR基准数据集是一个异构基准，由18个不同的数据集组成，代表了9个信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。该数据集是单语（英语）的，采用CC-BY-SA-4.0许可证。数据集结构包括语料库、查询和相关性判断文件，每个文件都有特定的格式。README还提到了使用DocT5query模型为NFCorpus数据集生成合成查询。
The BEIR benchmark dataset is a heterogeneous benchmark composed of 18 distinct datasets, covering 9 information retrieval tasks including fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. This dataset is monolingual (English) and licensed under CC-BY-SA-4.0. Its structure includes corpus, query, and relevance judgment files, each with a specific format. The README also mentions that the DocT5query model was used to generate synthetic queries for the NFCorpus dataset.
数据集概述
名称: BEIR Benchmark
描述: BEIR是一个异构基准，由18个多样化的数据集构建，涵盖9种信息检索任务。
语言: 英语 (en)
许可证: CC-BY-SA-4.0
多语言性: 单语种
数据集大小分类:
- msmarco: 1M<n<10M
- trec-covid: 100k<n<1M
- nfcorpus: 1K<n<10K
- nq: 1M<n<10M
- hotpotqa: 1M<n<10M
- fiqa: 10K<n<100K
- arguana: 1K<n<10K
- touche-2020: 100K<n<1M
- cqadupstack: 100K<n<1M
- quora: 100K<n<1M
- dbpedia: 1M<n<10M
- scidocs: 10K<n<100K
- fever: 1M<n<10M
- climate-fever: 1M<n<10M
- scifact: 1K<n<10K
数据集结构
数据格式:
corpus文件:.jsonl文件，包含文档的唯一标识符、标题和文本。queries文件:.jsonl文件，包含查询的唯一标识符和文本。qrels文件:.tsv文件，包含查询标识符、文档标识符和相关性分数。
数据实例:
corpus: 文档的标题和文本。queries: 查询文本。qrels: 查询与文档的相关性判断。
数据集创建
数据来源: 18个不同的数据集，用于评估信息检索模型。
任务类别: 文本检索
数据集支持的任务和排行榜: 支持基于任务特定指标（如F1或EM）的模型评估，以及从维基百科检索支持信息的能力。
附加信息
数据集引用:
@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }
