IR-Cocktail/nq

Cocktail数据集是一个综合性的信息检索基准数据集，包含了16个基准数据集，涵盖了多个领域，如生物医学、维基百科、金融等。每个数据集都包含人工编写的语料库、LLM生成的语料库、查询和相关性评分。数据集的格式为JSONL和TSV文件，具体包括corpus、queries和qrels文件。corpus文件包含文档的唯一标识符、标题和文本；queries文件包含查询的唯一标识符和查询文本；qrels文件包含查询ID、语料库ID和相关性评分。

原始信息汇总

数据集概述

本数据集包含16个基准数据集，每个数据集都提供了详细的信息，包括原始网站、Cocktail网站、Cocktail名称、处理后数据的md5校验和、领域、相关性、测试查询数量和语料库大小。以下是各数据集的详细信息：

数据集	原始网站	Cocktail网站	Cocktail名称	md5校验和	领域	相关性	测试查询数量	语料库大小
MS MARCO	Homepage	Homepage	msmarco	985926f3e906fadf0dc6249f23ed850f	Misc.	Binary	6,979	542,203
DL19	Homepage	Homepage	dl19	d652af47ec0e844af43109c0acf50b74	Misc.	Binary	43	542,203
DL20	Homepage	Homepage	dl20	3afc48141dce3405ede2b6b937c65036	Misc.	Binary	54	542,203
TREC-COVID	Homepage	Homepage	trec-covid	1e1e2264b623d9cb7cb50df8141bd535	Bio-Medical	3-level	50	128,585
NFCorpus	Homepage	Homepage	nfcorpus	695327760647984c5014d64b2fee8de0	Bio-Medical	3-level	323	3,633
NQ	Homepage	Homepage	nq	a10bfe33efdec54aafcc974ac989c338	Wikipedia	Binary	3,446	104,194
HotpotQA	Homepage	Homepage	hotpotqa	74467760fff8bf8fbdadd5094bf9dd7b	Wikipedia	Binary	7,405	111,107
FiQA-2018	Homepage	Homepage	fiqa	4e1e688539b0622630fb6e65d39d26fa	Finance	Binary	648	57,450
Touché-2020	Homepage	Homepage	webis-touche2020	d58ec465ccd567d8f75edb419b0faaed	Misc.	3-level	49	101,922
CQADupStack	Homepage	Homepage	cqadupstack	d48d963bc72689c765f381f04fc26f8b	StackEx.	Binary	1,563	39,962
DBPedia	Homepage	Homepage	dbpedia-entity	43292f4f1a1927e2e323a4a7fa165fc1	Wikipedia	3-level	400	145,037
SCIDOCS	Homepage	Homepage	scidocs	4058c0915594ab34e9b2b67f885c595f	Scientific	Binary	1,000	25,259
FEVER	Homepage	Homepage	fever	98b631887d8c38772463e9633c477c69	Wikipedia	Binary	6,666	114,529
Climate-FEVER	Homepage	Homepage	climate-fever	5734d6ac34f24f5da496b27e04ff991a	Wikipedia	Binary	1,535	101,339
SciFact	Homepage	Homepage	scifact	b5b8e24ccad98c9ca959061af14bf833	Scientific	Binary	300	5,183
NQ-UTD	Homepage	Homepage	nq-utd	2e12e66393829cd4be715718f99d2436	Misc.	3-level	80	800

数据集结构

数据集的结构遵循以下格式：

• corpus: 包含人类编写的语料库和LLM生成的语料库，格式为.jsonl，包含_id, title, text字段。
• queries: 包含查询信息，格式为.jsonl，包含_id, text字段。
• qrels: 包含查询的相关性信息，格式为.tsv，包含query-id, corpus-id, score字段。

搜集汇总

数据集介绍

构建方式

在信息检索领域，大语言模型生成内容的融入为传统检索任务带来了新的挑战与机遇。IR-Cocktail/nq数据集源自Google的Natural Questions基准，经由Cocktail项目标准化处理而成。该数据集严格遵循统一架构，包含由人工撰写的语料库（human.jsonl）与大语言模型（Llama-2-7b-chat）生成的语料库（llama-2-7b-chat-tmp0.2.jsonl），二者共同构成corpus目录。查询文件（queries.jsonl）与相关性标注文件（qrels/test.tsv）亦以标准化格式组织，确保数据的一致性与可复现性。

特点

该数据集的核心特色在于其双语料库设计，不仅保留了原始NQ数据集中基于维基百科的真实查询与文档，还创新性地引入了大语言模型生成的合成文档，从而构建起一个混合型检索基准。测试查询数量达3,446条，语料库规模为104,194篇文档，覆盖广泛的自然问题类型。这种结构使得研究者能够系统评估检索模型在面对人工与机器生成内容时的鲁棒性与偏好性，为理解神经检索器对LLM生成内容的潜在偏差提供了关键实验平台。

使用方法

使用IR-Cocktail/nq数据集时，用户可直接通过HuggingFace平台加载。语料库文件以JSONL格式存储，每条记录包含唯一文档标识（_id）、标题（title）及正文（text）；查询文件同样为JSONL格式，记录查询标识与文本；相关性文件则为TSV格式，按查询-文档-得分顺序排列。研究者可灵活选择仅使用人工语料、仅使用LLM生成语料或两者结合进行模型训练与评估，从而深入探究不同语料来源对检索性能的影响。

背景与挑战

背景概述

在信息检索领域，如何准确评估检索模型在多样化场景下的性能始终是核心议题。IR-Cocktail/nq数据集由中国人民大学等机构的研究团队于2024年创建，是Cocktail综合基准测试套件的重要组成部分。该数据集源自Google提出的Natural Questions（NQ）基准，聚焦于维基百科领域的开放域问答检索任务，包含3,446个测试查询与104,194篇文档。其独特之处在于同时提供人类撰写与大型语言模型生成的文档集合，旨在系统性地探究检索模型对LLM生成内容的偏好与适应性。这一设计为理解现代检索系统在混合内容环境中的行为模式提供了关键实验平台，对推动检索模型的鲁棒性研究具有重要示范意义。

当前挑战

该数据集面临的核心挑战在于解决检索模型对LLM生成内容的固有偏见问题。传统检索系统在人类撰写文档上表现稳定，但面对语义流畅、风格统一的LLM文本时，往往产生系统性偏差，导致排序结果失真。构建过程中，团队需确保LLM生成文档与人类文档在主题分布、信息密度上保持可比性，同时避免引入人工标注噪声。此外，不同领域（如金融、生物医学）的查询-文档相关性标准差异，要求数据集在保持统一格式的前提下，精细设计多层级相关性标注（如二进制与三级评分），这对标注一致性与可扩展性提出了严峻考验。

常用场景

经典使用场景

IR-Cocktail/nq 数据集作为Cocktail基准测试套件中的核心成员，专注于维基百科领域的信息检索任务。该数据集源自Google Natural Questions，经过精心处理，保留了3,446个测试查询与104,194篇文档的配对结构，并创新性地引入了由LLM生成的文档语料库。其最经典的用途在于评估和对比神经检索模型在混合语料（人工撰写与机器生成文本共存）环境下的表现，尤其适用于检验检索器是否能够准确区分并公平处理不同来源的文档，从而推动信息检索系统在生成式AI时代下的鲁棒性评估。

实际应用

在实际应用层面，IR-Cocktail/nq直接服务于搜索引擎与知识问答系统的质量保障。随着用户查询越来越可能指向由AI生成的内容，如何确保检索结果既能覆盖高质量的人工知识，又能合理整合机器生成的辅助信息，成为产品落地的关键痛点。该数据集可用于测试商业检索系统在面对混合内容源时的召回精度与排序公平性，帮助开发者校准模型参数以平衡对两类文档的响应策略。此外，在学术搜索、法律文书检索等对信息溯源要求严格的场景中，该数据集提供的评估框架有助于构建更可信赖的检索管道。

衍生相关工作

基于IR-Cocktail/nq数据集，学界已衍生出若干具有影响力的研究工作。其中，Dai等人（2024）在ACL Findings上发表的Cocktail基准论文系统性地揭示了神经检索器对LLM生成内容的偏向性，并提出了相应的缓解策略。同一团队在SIGKDD 2024上进一步深入分析了这种偏向的神经机制，通过控制实验揭示了检索模型在表示空间中对待人工与生成文档的差异。这些衍生工作不仅验证了该数据集作为研究工具的可靠性，更推动了信息检索领域对生成内容治理、公平性评估以及鲁棒检索架构设计等方向的深入探索。