BeIR/cqadupstack
收藏Hugging Face2026-04-09 更新2026-04-12 收录
下载链接：
https://hf-mirror.com/datasets/BeIR/cqadupstack
下载链接
链接失效反馈官方服务：
资源简介：
---
language:
- en
license:
- cc-by-sa-4.0
multilinguality:
- monolingual
paperswithcode_id: beir
pretty_name: BEIR Benchmark
task_categories:
- zero-shot-classification
- text-retrieval
task_ids:
- document-retrieval
- entity-linking-retrieval
- fact-checking-retrieval
tags:
- biomedical-information-retrieval
- citation-prediction-retrieval
- passage-retrieval
- news-retrieval
- argument-retrieval
- zero-shot-information-retrieval
- tweet-retrieval
- question-answering-retrieval
- duplication-question-retrieval
- zero-shot-retrieval
configs:
- config_name: android
data_files:
- split: corpus
path: android/corpus/corpus-*
- split: queries
path: android/queries/queries-*
- config_name: english
data_files:
- split: corpus
path: english/corpus/corpus-*
- split: queries
path: english/queries/queries-*
- config_name: gaming
data_files:
- split: corpus
path: gaming/corpus/corpus-*
- split: queries
path: gaming/queries/queries-*
- config_name: gis
data_files:
- split: corpus
path: gis/corpus/corpus-*
- split: queries
path: gis/queries/queries-*
- config_name: mathematica
data_files:
- split: corpus
path: mathematica/corpus/corpus-*
- split: queries
path: mathematica/queries/queries-*
- config_name: physics
data_files:
- split: corpus
path: physics/corpus/corpus-*
- split: queries
path: physics/queries/queries-*
- config_name: programmers
data_files:
- split: corpus
path: programmers/corpus/corpus-*
- split: queries
path: programmers/queries/queries-*
- config_name: stats
data_files:
- split: corpus
path: stats/corpus/corpus-*
- split: queries
path: stats/queries/queries-*
- config_name: tex
data_files:
- split: corpus
path: tex/corpus/corpus-*
- split: queries
path: tex/queries/queries-*
- config_name: unix
data_files:
- split: corpus
path: unix/corpus/corpus-*
- split: queries
path: unix/queries/queries-*
- config_name: webmasters
data_files:
- split: corpus
path: webmasters/corpus/corpus-*
- split: queries
path: webmasters/queries/queries-*
- config_name: wordpress
data_files:
- split: corpus
path: wordpress/corpus/corpus-*
- split: queries
path: wordpress/queries/queries-*
dataset_info:
- config_name: android
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 8255816
num_examples: 22998
- name: queries
num_bytes: 31997
num_examples: 699
download_size: 8287813
dataset_size: 8287813
- config_name: english
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 12417951
num_examples: 40221
- name: queries
num_bytes: 68095
num_examples: 1570
download_size: 12486046
dataset_size: 12486046
- config_name: gaming
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 14156689
num_examples: 45301
- name: queries
num_bytes: 70040
num_examples: 1595
download_size: 14226729
dataset_size: 14226729
- config_name: gis
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 21024580
num_examples: 37637
- name: queries
num_bytes: 39653
num_examples: 885
download_size: 21064233
dataset_size: 21064233
- config_name: mathematica
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 10765498
num_examples: 16705
- name: queries
num_bytes: 34583
num_examples: 804
download_size: 10800081
dataset_size: 10800081
- config_name: physics
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 18811650
num_examples: 38316
- name: queries
num_bytes: 47465
num_examples: 1039
download_size: 18859115
dataset_size: 18859115
- config_name: programmers
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 20111039
num_examples: 32176
- name: queries
num_bytes: 41633
num_examples: 876
download_size: 20152672
dataset_size: 20152672
- config_name: stats
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 25668372
num_examples: 42269
- name: queries
num_bytes: 30347
num_examples: 652
download_size: 25698719
dataset_size: 25698719
- config_name: tex
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 44756206
num_examples: 68184
- name: queries
num_bytes: 117655
num_examples: 2906
download_size: 44873861
dataset_size: 44873861
- config_name: unix
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 25746785
num_examples: 47382
- name: queries
num_bytes: 47358
num_examples: 1072
download_size: 25794143
dataset_size: 25794143
- config_name: webmasters
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 7353229
num_examples: 17405
- name: queries
num_bytes: 24033
num_examples: 506
download_size: 7377262
dataset_size: 7377262
- config_name: wordpress
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 27597725
num_examples: 48605
- name: queries
num_bytes: 24475
num_examples: 541
download_size: 27622200
dataset_size: 27622200
---
# Dataset Card for BEIR Benchmark
## Dataset Description
- **Homepage:** https://beir.ai
- **Repository:** https://beir.ai
- **Paper:** https://openreview.net/forum?id=wCu6T5xFjeJ
- **Leaderboard:** https://docs.google.com/spreadsheets/d/1L8aACyPaXrL8iEelJLGqlMqXKPX2oSP_R10pZoy77Ns
- **Point of Contact:** nandan.thakur@uwaterloo.ca
### Dataset Summary
BEIR is a heterogeneous benchmark built from 18 diverse datasets representing 9 information retrieval tasks.
- Fact-checking: [FEVER](http://fever.ai), [Climate-FEVER](http://climatefever.ai), [SciFact](https://github.com/allenai/scifact)
- Question-Answering: [NQ](https://ai.google.com/research/NaturalQuestions), [HotpotQA](https://hotpotqa.github.io), [FiQA-2018](https://sites.google.com/view/fiqa/)
- Bio-Medical IR: [TREC-COVID](https://ir.nist.gov/covidSubmit/index.html), [BioASQ](http://bioasq.org), [NFCorpus](https://www.cl.uni-heidelberg.de/statnlpgroup/nfcorpus/)
- News Retrieval: [TREC-NEWS](https://trec.nist.gov/data/news2019.html), [Robust04](https://trec.nist.gov/data/robust/04.guidelines.html)
- Argument Retrieval: [Touche-2020](https://webis.de/events/touche-20/shared-task-1.html), [ArguAna](tp://argumentation.bplaced.net/arguana/data)
- Duplicate Question Retrieval: [Quora](https://www.quora.com/q/quoradata/First-Quora-Dataset-Release-Question-Pairs), [CqaDupstack](http://nlp.cis.unimelb.edu.au/resources/cqadupstack/)
- Citation-Prediction: [SCIDOCS](https://allenai.org/data/scidocs)
- Tweet Retrieval: [Signal-1M](https://research.signal-ai.com/datasets/signal1m-tweetir.html)
- Entity Retrieval: [DBPedia](https://github.com/iai-group/DBpedia-Entity/)
> **This `cqadupstack` subset is the Duplicate Question Retrieval task within BEIR, with 12 domains.**
### Languages
All tasks are in English (`en`).
## Dataset Structure
This dataset uses the standard BEIR retrieval layout with 12 domain configs:
`android`, `english`, `gaming`, `gis`, `mathematica`, `physics`, `programmers`, `stats`, `tex`, `unix`, `webmasters`, `wordpress`.
Each config includes:
- `corpus`: one row per document with `_id`, `title`, `text`
- `queries`: one row per query with `_id`, `title`, `text`
### Data Fields
- `_id` (`string`): unique identifier
- `title` (`string`): title (empty string when unavailable)
- `text` (`string`): document/query text
### CQADupstack Data Splits
| Domain | Split | Rows |
| --- | --- | ---: |
| `android` | corpus | 22,998 |
| `android` | queries | 699 |
| `english` | corpus | 40,221 |
| `english` | queries | 1,570 |
| `gaming` | corpus | 45,301 |
| `gaming` | queries | 1,595 |
| `gis` | corpus | 37,637 |
| `gis` | queries | 885 |
| `mathematica` | corpus | 16,705 |
| `mathematica` | queries | 804 |
| `physics` | corpus | 38,316 |
| `physics` | queries | 1,039 |
| `programmers` | corpus | 32,176 |
| `programmers` | queries | 876 |
| `stats` | corpus | 42,269 |
| `stats` | queries | 652 |
| `tex` | corpus | 68,184 |
| `tex` | queries | 2,906 |
| `unix` | corpus | 47,382 |
| `unix` | queries | 1,072 |
| `webmasters` | corpus | 17,405 |
| `webmasters` | queries | 506 |
| `wordpress` | corpus | 48,605 |
| `wordpress` | queries | 541 |
## Citation Information
```bibtex
@inproceedings{
thakur2021beir,
title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Nandan Thakur and Nils Reimers and Andreas R{\"u}ckl{\'e} and Abhishek Srivastava and Iryna Gurevych},
booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
year={2021},
url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}
```
语言：
- en
许可协议：
- cc-by-sa-4.0
多语言属性：
- 单语言
paperswithcode_id: beir
展示名称：BEIR基准测试集
任务类别：
- 零样本（zero-shot）分类
- 文本检索
任务子类型：
- 文档检索
- 实体链接检索
- 事实核查检索
标签：
- 生物医学信息检索
- 引文预测检索
- 段落检索
- 新闻检索
- 论点检索
- 零样本（zero-shot）信息检索
- 推文检索
- 问答检索
- 重复问题检索
- 零样本（zero-shot）检索
配置项：
- 配置名称：android
数据文件：
- 拆分：语料库
路径：android/corpus/corpus-*
- 拆分：查询集
路径：android/queries/queries-*
- 配置名称：english
数据文件：
- 拆分：语料库
路径：english/corpus/corpus-*
- 拆分：查询集
路径：english/queries/queries-*
- 配置名称：gaming
数据文件：
- 拆分：语料库
路径：gaming/corpus/corpus-*
- 拆分：查询集
路径：gaming/queries/queries-*
- 配置名称：gis
数据文件：
- 拆分：语料库
路径：gis/corpus/corpus-*
- 拆分：查询集
路径：gis/queries/queries-*
- 配置名称：mathematica
数据文件：
- 拆分：语料库
路径：mathematica/corpus/corpus-*
- 拆分：查询集
路径：mathematica/queries/queries-*
- 配置名称：physics
数据文件：
- 拆分：语料库
路径：physics/corpus/corpus-*
- 拆分：查询集
路径：physics/queries/queries-*
- 配置名称：programmers
数据文件：
- 拆分：语料库
路径：programmers/corpus/corpus-*
- 拆分：查询集
路径：programmers/queries/queries-*
- 配置名称：stats
数据文件：
- 拆分：语料库
路径：stats/corpus/corpus-*
- 拆分：查询集
路径：stats/queries/queries-*
- 配置名称：tex
数据文件：
- 拆分：语料库
路径：tex/corpus/corpus-*
- 拆分：查询集
路径：tex/queries/queries-*
- 配置名称：unix
数据文件：
- 拆分：语料库
路径：unix/corpus/corpus-*
- 拆分：查询集
路径：unix/queries/queries-*
- 配置名称：webmasters
数据文件：
- 拆分：语料库
路径：webmasters/corpus/corpus-*
- 拆分：查询集
路径：webmasters/queries/queries-*
- 配置名称：wordpress
数据文件：
- 拆分：语料库
路径：wordpress/corpus/corpus-*
- 拆分：查询集
路径：wordpress/queries/queries-*
数据集信息：
- 配置名称：android
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：8255816
样本数：22998
- 拆分名称：查询集
字节数：31997
样本数：699
下载大小：8287813
数据集总大小：8287813
- 配置名称：english
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：12417951
样本数：40221
- 拆分名称：查询集
字节数：68095
样本数：1570
下载大小：12486046
数据集总大小：12486046
- 配置名称：gaming
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：14156689
样本数：45301
- 拆分名称：查询集
字节数：70040
样本数：1595
下载大小：14226729
数据集总大小：14226729
- 配置名称：gis
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：21024580
样本数：37637
- 拆分名称：查询集
字节数：39653
样本数：885
下载大小：21064233
数据集总大小：21064233
- 配置名称：mathematica
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：10765498
样本数：16705
- 拆分名称：查询集
字节数：34583
样本数：804
下载大小：10800081
数据集总大小：10800081
- 配置名称：physics
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：18811650
样本数：38316
- 拆分名称：查询集
字节数：47465
样本数：1039
下载大小：18859115
数据集总大小：18859115
- 配置名称：programmers
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：20111039
样本数：32176
- 拆分名称：查询集
字节数：41633
样本数：876
下载大小：20152672
数据集总大小：20152672
- 配置名称：stats
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：25668372
样本数：42269
- 拆分名称：查询集
字节数：30347
样本数：652
下载大小：25698719
数据集总大小：25698719
- 配置名称：tex
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：44756206
样本数：68184
- 拆分名称：查询集
字节数：117655
样本数：2906
下载大小：44873861
数据集总大小：44873861
- 配置名称：unix
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：25746785
样本数：47382
- 拆分名称：查询集
字节数：47358
样本数：1072
下载大小：25794143
数据集总大小：25794143
- 配置名称：webmasters
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：7353229
样本数：17405
- 拆分名称：查询集
字节数：24033
样本数：506
下载大小：7377262
数据集总大小：7377262
- 配置名称：wordpress
数据特征：
- 字段名：_id
数据类型：字符串
- 字段名：title
数据类型：字符串
- 字段名：text
数据类型：字符串
数据拆分：
- 拆分名称：语料库
字节数：27597725
样本数：48605
- 拆分名称：查询集
字节数：24475
样本数：541
下载大小：27622200
数据集总大小：27622200
# BEIR基准测试集数据集卡片
## 数据集说明
- **主页**：https://beir.ai
- **代码仓库**：https://beir.ai
- **相关论文**：https://openreview.net/forum?id=wCu6T5xFjeJ
- **排行榜**：https://docs.google.com/spreadsheets/d/1L8aACyPaXrL8iEelJLGqlMqXKPX2oSP_R10pZoy77Ns
- **联系人**：nandan.thakur@uwaterloo.ca
### 数据集概述
BEIR是一个异构基准测试集，由涵盖9类信息检索任务的18个多样化数据集构建而成。
- 事实核查：FEVER、Climate-FEVER、SciFact
- 问答：NQ、HotpotQA、FiQA-2018
- 生物医学信息检索：TREC-COVID、BioASQ、NFCorpus
- 新闻检索：TREC-NEWS、Robust04
- 论点检索：Touche-2020、ArguAna
- 重复问题检索：Quora、CqaDupstack
- 引文预测：SCIDOCS
- 推文检索：Signal-1M
- 实体检索：DBPedia
> **本`cqadupstack`子集为BEIR中的重复问题检索任务，涵盖12个领域。**
### 语言说明
所有任务均使用英语（`en`）。
## 数据集结构
本数据集采用标准的BEIR检索布局，包含12个领域配置项：
`android`、`english`、`gaming`、`gis`、`mathematica`、`physics`、`programmers`、`stats`、`tex`、`unix`、`webmasters`、`wordpress`。
每个配置项包含：
- `corpus`：语料库，每条数据对应一篇文档，包含`_id`、`title`、`text`字段
- `queries`：查询集，每条数据对应一个查询，包含`_id`、`title`、`text`字段
### 数据字段说明
- `_id`（`string`）：唯一标识符
- `title`（`string`）：文档/查询标题（无可用信息时为空字符串）
- `text`（`string`）：文档/查询文本内容
### CQADupstack数据集拆分
| 领域 | 拆分 | 数据条数 |
| --- | --- | ---: |
| `android` | 语料库 | 22,998 |
| `android` | 查询集 | 699 |
| `english` | 语料库 | 40,221 |
| `english` | 查询集 | 1,570 |
| `gaming` | 语料库 | 45,301 |
| `gaming` | 查询集 | 1,595 |
| `gis` | 语料库 | 37,637 |
| `gis` | 查询集 | 885 |
| `mathematica` | 语料库 | 16,705 |
| `mathematica` | 查询集 | 804 |
| `physics` | 语料库 | 38,316 |
| `physics` | 查询集 | 1,039 |
| `programmers` | 语料库 | 32,176 |
| `programmers` | 查询集 | 876 |
| `stats` | 语料库 | 42,269 |
| `stats` | 查询集 | 652 |
| `tex` | 语料库 | 68,184 |
| `tex` | 查询集 | 2,906 |
| `unix` | 语料库 | 47,382 |
| `unix` | 查询集 | 1,072 |
| `webmasters` | 语料库 | 17,405 |
| `webmasters` | 查询集 | 506 |
| `wordpress` | 语料库 | 48,605 |
| `wordpress` | 查询集 | 541 |
## 引用信息
bibtex
@inproceedings{
thakur2021beir,
title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Nandan Thakur and Nils Reimers and Andreas Rücklé and Abhishek Srivastava and Iryna Gurevych},
booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
year={2021},
url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}
提供机构：
BeIR
