IR-Cocktail/msmarco

## Data Description

- **Homepage:** https://github.com/KID-22/Cocktail
- **Repository:** https://github.com/KID-22/Cocktail
- **Paper:** [Needs More Information]

## Dataset Summary

All the 16 benchmarked datasets in Cocktail are listed in the following table.

| Dataset | Raw Website | Cocktail Website | Cocktail-Name | md5 for Processed Data | Domain | Relevancy | # Test Query | # Corpus |
| ------------- | ------------------------------------------------------------ | ------------------ | ---------------------------------- | ----------- | --------- | ------------ | -------- |-------- |
| MS MARCO | [Homepage](https://microsoft.github.io/msmarco/) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/msmarco) | `msmarco` | `985926f3e906fadf0dc6249f23ed850f` | Misc. | Binary | 6,979 | 542,203 |
| DL19 | [Homepage](https://microsoft.github.io/msmarco/TREC-Deep-Learning-2019) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/dl19) | `dl19` | `d652af47ec0e844af43109c0acf50b74` | Misc. | Binary | 43 | 542,203 |
| DL20 | [Homepage](https://microsoft.github.io/msmarco/TREC-Deep-Learning-2020) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/dl20) | `dl20` | `3afc48141dce3405ede2b6b937c65036` | Misc. | Binary | 54 | 542,203 |
| TREC-COVID | [Homepage](https://ir.nist.gov/covidSubmit/index.html) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/trec-covid) | `trec-covid` | `1e1e2264b623d9cb7cb50df8141bd535` | Bio-Medical | 3-level | 50 | 128,585 |
| NFCorpus | [Homepage](https://www.cl.uni-heidelberg.de/statnlpgroup/nfcorpus/) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/nfcorpus) | `nfcorpus` | `695327760647984c5014d64b2fee8de0` | Bio-Medical | 3-level | 323 | 3,633 |
| NQ | [Homepage](https://ai.google.com/research/NaturalQuestions) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/nq) | `nq` | `a10bfe33efdec54aafcc974ac989c338` | Wikipedia | Binary | 3,446 | 104,194 |
| HotpotQA | [Homepage](https://hotpotqa.github.io/) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/hotpotqa) | `hotpotqa` | `74467760fff8bf8fbdadd5094bf9dd7b` | Wikipedia | Binary | 7,405 | 111,107 |
| FiQA-2018 | [Homepage](https://sites.google.com/view/fiqa/) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/fiqa) | `fiqa` | `4e1e688539b0622630fb6e65d39d26fa` | Finance | Binary | 648 | 57,450 |
| Touché-2020 | [Homepage](https://webis.de/events/touche-20/shared-task-1.html) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/webis-touche2020) | `webis-touche2020` | `d58ec465ccd567d8f75edb419b0faaed` | Misc. | 3-level | 49 | 101,922 |
| CQADupStack | [Homepage](http://nlp.cis.unimelb.edu.au/resources/cqadupstack/) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/dcqadupstackl19) | `cqadupstack` | `d48d963bc72689c765f381f04fc26f8b` | StackEx. | Binary | 1,563 | 39,962 |
| DBPedia | [Homepage](https://github.com/iai-group/DBpedia-Entity/) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/dbpedia-entity) | `dbpedia-entity` | `43292f4f1a1927e2e323a4a7fa165fc1` | Wikipedia | 3-level | 400 | 145,037 |
| SCIDOCS | [Homepage](https://allenai.org/data/scidocs) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/scidocs) | `scidocs` | `4058c0915594ab34e9b2b67f885c595f` | Scientific | Binary | 1,000 | 25,259 |
| FEVER | [Homepage](http://fever.ai/) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/fever) | `fever` | `98b631887d8c38772463e9633c477c69` | Wikipedia | Binary | 6,666 | 114,529 |
| Climate-FEVER | [Homepage](http://climatefever.ai/) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/climate-fever) | `climate-fever` | `5734d6ac34f24f5da496b27e04ff991a` | Wikipedia | Binary | 1,535 | 101,339 |
| SciFact | [Homepage](https://github.com/allenai/scifact) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/scifact) | `scifact` | `b5b8e24ccad98c9ca959061af14bf833` | Scientific | Binary | 300 | 5,183 |
| NQ-UTD | [Homepage](https://anonymous.4open.science/r/Cocktail-BA4B/) | [Homepage](https://huggingface.co/datasets/IR-Cocktail/nq-utd) | `nq-utd` | `2e12e66393829cd4be715718f99d2436` | Misc. | 3-level | 80 | 800 |

## Dataset Structure
```shell
.
├── corpus # * documents
│ ├── human.jsonl # * human-written corpus
│ └── llama-2-7b-chat-tmp0.2.jsonl # * llm-generated corpus
├── qrels
│ └── test.tsv # * relevance for queries
└── queries.jsonl # * quereis
```

All Cocktail datasets must contain a humman-written corpus, a LLM-generated corpus, queries and qrels.
They must be in the following format:
- `corpus`: a `.jsonl` file (jsonlines) that contains a list of dictionaries, each with three fields `_id` with unique document identifier, `title` with document title (optional) and `text` with document paragraph or passage. For example: `{"_id": "doc1", "title": "title", "text": "text"}`
- `queries` file: a `.jsonl` file (jsonlines) that contains a list of dictionaries, each with two fields `_id` with unique query identifier and `text` with query text. For example: `{"_id": "q1", "text": "q1_text"}`
- `qrels` file: a `.tsv` file (tab-seperated) that contains three columns, i.e. the `query-id`, `corpus-id` and `score` in this order. Keep 1st row as header. For example: `q1 doc1 1`

Cite as:
```
@article{cocktail,
title={Cocktail: A Comprehensive Information Retrieval Benchmark with LLM-Generated Documents Integration},
author={Dai, Sunhao and Liu, Weihao and Zhou, Yuqi and Pang, Liang and Ruan, Rongju and Wang, Gang and Dong, Zhenhua and Xu, Jun and Wen, Ji-Rong},
journal={Findings of the Association for Computational Linguistics: ACL 2024},
year={2024}
}

@article{dai2024neural,
title={Neural Retrievers are Biased Towards LLM-Generated Content},
author={Dai, Sunhao and Zhou, Yuqi and Pang, Liang and Liu, Weihao and Hu, Xiaolin and Liu, Yong and Zhang, Xiao and Wang, Gang and Xu, Jun},
journal={Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining},
year={2024}
}
```

原始信息汇总

数据集概述

Cocktail数据集包含16个基准数据集，具体信息如下表所示：

数据集	原始网站	Cocktail网站	Cocktail名称	处理后数据的md5值	领域	相关性类型	测试查询数量	语料库大小
MS MARCO	Homepage	Homepage	msmarco	985926f3e906fadf0dc6249f23ed850f	杂项	二元	6,979	542,203
DL19	Homepage	Homepage	dl19	d652af47ec0e844af43109c0acf50b74	杂项	二元	43	542,203
DL20	Homepage	Homepage	dl20	3afc48141dce3405ede2b6b937c65036	杂项	二元	54	542,203
TREC-COVID	Homepage	Homepage	trec-covid	1e1e2264b623d9cb7cb50df8141bd535	生物医学	三级	50	128,585
NFCorpus	Homepage	Homepage	nfcorpus	695327760647984c5014d64b2fee8de0	生物医学	三级	323	3,633
NQ	Homepage	Homepage	nq	a10bfe33efdec54aafcc974ac989c338	维基百科	二元	3,446	104,194
HotpotQA	Homepage	Homepage	hotpotqa	74467760fff8bf8fbdadd5094bf9dd7b	维基百科	二元	7,405	111,107
FiQA-2018	Homepage	Homepage	fiqa	4e1e688539b0622630fb6e65d39d26fa	金融	二元	648	57,450
Touché-2020	Homepage	Homepage	webis-touche2020	d58ec465ccd567d8f75edb419b0faaed	杂项	三级	49	101,922
CQADupStack	Homepage	Homepage	cqadupstack	d48d963bc72689c765f381f04fc26f8b	堆栈交换	二元	1,563	39,962
DBPedia	Homepage	Homepage	dbpedia-entity	43292f4f1a1927e2e323a4a7fa165fc1	维基百科	三级	400	145,037
SCIDOCS	Homepage	Homepage	scidocs	4058c0915594ab34e9b2b67f885c595f	科学	二元	1,000	25,259
FEVER	Homepage	Homepage	fever	98b631887d8c38772463e9633c477c69	维基百科	二元	6,666	114,529
Climate-FEVER	Homepage	Homepage	climate-fever	5734d6ac34f24f5da496b27e04ff991a	维基百科	二元	1,535	101,339
SciFact	Homepage	Homepage	scifact	b5b8e24ccad98c9ca959061af14bf833	科学	二元	300	5,183
NQ-UTD	Homepage	Homepage	nq-utd	2e12e66393829cd4be715718f99d2436	杂项	三级	80	800

数据集结构

Cocktail数据集的结构如下：

shell . ├── corpus # 文档 │ ├── human.jsonl # 人工编写的语料库 │ └── llama-2-7b-chat-tmp0.2.jsonl # LLM生成的语料库 ├── qrels │ └── test.tsv # 查询的相关性 └── queries.jsonl # 查询

所有Cocktail数据集必须包含人工编写的语料库、LLM生成的语料库、查询和相关性文件。它们必须采用以下格式：

• corpus：一个.jsonl文件（jsonlines），包含一系列字典，每个字典包含三个字段：_id（唯一文档标识符）、title（文档标题，可选）和text（文档段落或段落）。例如：{"_id": "doc1", "title": "title", "text": "text"}
• queries文件：一个.jsonl文件（jsonlines），包含一系列字典，每个字典包含两个字段：_id（唯一查询标识符）和text（查询文本）。例如：{"_id": "q1", "text": "q1_text"}
• qrels文件：一个.tsv文件（制表符分隔），包含三列，即query-id、corpus-id和score。第一行保留为标题。例如：q1 doc1 1

搜集汇总

数据集介绍

构建方式

在信息检索领域，随着大语言模型的广泛应用，如何评估检索系统对LLM生成内容的处理能力成为关键课题。IR-Cocktail/msmarco数据集作为Cocktail基准测试套件的一部分，精心构建于MS MARCO原始数据集之上。其构建方式独特之处在于同时包含了人类撰写的语料库（human.jsonl）和由Llama-2-7B-chat模型以温度0.2生成的语料库（llama-2-7b-chat-tmp0.2.jsonl），此外还提供了标准查询文件（queries.jsonl）和相关性判断文件（qrels/test.tsv）。这种双语料库设计使得研究者能够对比分析检索器在真实人类文本与合成文本上的表现差异。

特点

该数据集的核心特点在于其双轨制的语料库结构，这是区别于传统检索基准的关键所在。MS MARCO作为涵盖多领域（Misc.）的二元相关性判断数据集，拥有6,979个测试查询和542,203篇文档的庞大规模。通过引入LLM生成的平行语料，该数据集能够系统性地揭示神经检索模型对合成文本的潜在偏好偏差。所有数据均经过严格的MD5校验（985926f3e906fadf0dc6249f23ed850f），确保了处理流程的可复现性。这种设计不仅保留了原始MS MARCO的生态价值，更开辟了评估检索系统鲁棒性的新维度。

使用方法

使用IR-Cocktail/msmarco数据集时，研究者可直接通过HuggingFace平台加载。数据目录结构清晰，包含corpus、qrels和queries三个核心子目录。在检索实验设计中，可分别使用human-written和LLM-generated两个语料库进行独立评估，或构建混合检索场景。评价时采用标准的信息检索指标，通过qrels文件中query-id、corpus-id和score三列数据进行计算。该数据集特别适用于研究检索模型对生成式内容的泛化能力、分析检索偏差，以及开发对文本来源具有鲁棒性的新一代检索算法。

背景与挑战

背景概述

在信息检索领域，随着大语言模型（LLM）的迅猛发展，如何评估检索系统在面对LLM生成内容时的表现成为一项新兴课题。IR-Cocktail/msmarco数据集由戴孙浩、刘伟浩等研究者及其团队于2024年发布，作为Cocktail综合基准测试的核心组成部分，旨在填补现有检索基准中缺乏LLM生成文档的空白。该数据集基于微软经典的MS MARCO语料库，精心整合了人类撰写与LLM生成的文档集合，涵盖6,979个测试查询与542,203篇文档，覆盖多领域主题。其核心研究问题在于揭示神经检索器对LLM生成内容的内在偏好，从而推动检索系统向更鲁棒、更公平的方向演进，对信息检索与大语言模型交叉领域产生了深远影响。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：传统检索基准多聚焦于人类撰写文档，而LLM生成文本在语言风格、信息密度和事实准确性上的差异，使得检索模型易产生系统性偏见，这要求评估指标与算法必须适应这种新型异构语料。在构建过程中，团队需确保LLM生成文档的质量与多样性，同时保持与原始MS MARCO语料在查询-文档相关性标注上的严格一致性；此外，大规模语料的清洗、去重以及跨领域（如生物医学、科学文献）的标准化处理，均构成了技术上的显著障碍，这些努力共同保障了数据集的可靠性与可复现性。

常用场景

经典使用场景

IR-Cocktail/msmarco数据集源于微软发布的MS MARCO（Microsoft Machine Reading Comprehension）基准测试，在信息检索领域占据举足轻重的地位。该数据集以大规模真实用户搜索查询为核心，涵盖约54万篇文档与近7000条测试查询，其二元相关性标注机制为评估检索模型在开放域场景下的排序能力提供了理想平台。研究者常将其作为神经检索模型（如基于Transformer的密集检索器）的标准评测基准，用于验证模型在复杂查询与海量候选文档间的语义匹配效能，尤其在对比稀疏检索（如BM25）与密集检索范式时，该数据集成为不可或缺的试验场。

衍生相关工作

该数据集催生了多项里程碑式工作，其中最具代表性的是Cocktail基准测试框架，它系统整合了MS MARCO等16个数据集，首次揭示了神经检索器对LLM生成内容的系统性偏好偏差。基于此，研究者进一步提出了去偏训练策略与鲁棒性增强方法，如通过对抗样本生成缓解模型对生成文档的过度拟合。此外，该数据集还孕育了TREC Deep Learning赛道系列评测任务，以及DocT5Query（文档扩展为查询）等经典方法，这些工作共同奠定了现代检索系统评估方法论的基础。

数据集最近研究

最新研究方向

在信息检索领域，MS MARCO作为经典基准数据集，其最新研究方向聚焦于大语言模型生成内容对检索系统带来的偏差与挑战。近期研究通过Cocktail基准框架，将MS MARCO与LLM生成文档相结合，揭示了神经检索器对人工撰写与机器生成文本存在系统性偏好差异。这一发现与当前大模型生成内容泛滥的热点事件紧密相关，推动了检索公平性与鲁棒性评估的新范式。该方向不仅为理解LLM对信息检索生态的影响提供了实证基础，更催生了面向混合语境的检索算法优化浪潮，对构建可信赖的下一代搜索引擎具有深远意义。