IR-Cocktail/nfcorpus

Cocktail数据集包含了16个基准数据集，涵盖了多个领域，如生物医学、维基百科、金融、科学等。每个数据集都包含人类撰写的语料库和LLM生成的语料库、查询以及相关性文件。数据集的结构和格式都有明确的规定，确保数据的一致性和可重复性。该数据集旨在为信息检索研究提供一个全面的基准，并集成了LLM生成的文档。

原始信息汇总

数据集概述

数据集列表

数据集	原始网站	Cocktail网站	Cocktail名称	处理后数据的md5值	领域	相关性级别	测试查询数量	语料库大小
MS MARCO	Homepage	Homepage	msmarco	985926f3e906fadf0dc6249f23ed850f	Misc.	Binary	6,979	542,203
DL19	Homepage	Homepage	dl19	d652af47ec0e844af43109c0acf50b74	Misc.	Binary	43	542,203
DL20	Homepage	Homepage	dl20	3afc48141dce3405ede2b6b937c65036	Misc.	Binary	54	542,203
TREC-COVID	Homepage	Homepage	trec-covid	1e1e2264b623d9cb7cb50df8141bd535	Bio-Medical	3-level	50	128,585
NFCorpus	Homepage	Homepage	nfcorpus	695327760647984c5014d64b2fee8de0	Bio-Medical	3-level	323	3,633
NQ	Homepage	Homepage	nq	a10bfe33efdec54aafcc974ac989c338	Wikipedia	Binary	3,446	104,194
HotpotQA	Homepage	Homepage	hotpotqa	74467760fff8bf8fbdadd5094bf9dd7b	Wikipedia	Binary	7,405	111,107
FiQA-2018	Homepage	Homepage	fiqa	4e1e688539b0622630fb6e65d39d26fa	Finance	Binary	648	57,450
Touché-2020	Homepage	Homepage	webis-touche2020	d58ec465ccd567d8f75edb419b0faaed	Misc.	3-level	49	101,922
CQADupStack	Homepage	Homepage	cqadupstack	d48d963bc72689c765f381f04fc26f8b	StackEx.	Binary	1,563	39,962
DBPedia	Homepage	Homepage	dbpedia-entity	43292f4f1a1927e2e323a4a7fa165fc1	Wikipedia	3-level	400	145,037
SCIDOCS	Homepage	Homepage	scidocs	4058c0915594ab34e9b2b67f885c595f	Scientific	Binary	1,000	25,259
FEVER	Homepage	Homepage	fever	98b631887d8c38772463e9633c477c69	Wikipedia	Binary	6,666	114,529
Climate-FEVER	Homepage	Homepage	climate-fever	5734d6ac34f24f5da496b27e04ff991a	Wikipedia	Binary	1,535	101,339
SciFact	Homepage	Homepage	scifact	b5b8e24ccad98c9ca959061af14bf833	Scientific	Binary	300	5,183
NQ-UTD	Homepage	Homepage	nq-utd	2e12e66393829cd4be715718f99d2436	Misc.	3-level	80	800

数据集结构

• corpus: 包含人类编写和LLM生成的文档，格式为.jsonl，每个文档包含_id, title, text字段。
• queries: 包含查询信息，格式为.jsonl，每个查询包含_id, text字段。
• qrels: 包含查询与文档的相关性评分，格式为.tsv，包含query-id, corpus-id, score字段。

引用格式

@article{cocktail, title={Cocktail: A Comprehensive Information Retrieval Benchmark with LLM-Generated Documents Integration}, author={Dai, Sunhao and Liu, Weihao and Zhou, Yuqi and Pang, Liang and Ruan, Rongju and Wang, Gang and Dong, Zhenhua and Xu, Jun and Wen, Ji-Rong}, journal={Findings of the Association for Computational Linguistics: ACL 2024}, year={2024} }

@article{dai2024neural, title={Neural Retrievers are Biased Towards LLM-Generated Content}, author={Dai, Sunhao and Zhou, Yuqi and Pang, Liang and Liu, Weihao and Hu, Xiaolin and Liu, Yong and Zhang, Xiao and Wang, Gang and Xu, Jun}, journal={Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining}, year={2024} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，数据集的质量与多样性直接影响模型性能的评估。IR-Cocktail/nfcorpus 作为 Cocktail 基准测试套件的一员，其构建方式独具匠心。该数据集源自生物医学领域，原始语料库包含 3,633 篇文档和 323 个测试查询，相关性标注采用三级制。为探究检索模型对生成内容的偏好，Cocktail 项目在原始人类撰写语料基础上，利用 Llama-2-7B-Chat 模型以温度 0.2 生成对应的合成文档，形成配对语料。所有数据遵循统一格式：语料以 JSON 行文件存储，包含唯一标识符、标题与正文；查询文件记录查询标识与文本；qrels 文件以制表符分隔，存储查询-文档-相关性三元组，确保数据结构的标准化与可复现性。

特点

IR-Cocktail/nfcorpus 最显著的特点在于其双语料库设计，即同时提供人类撰写的原始文档与大语言模型生成的合成文档，为研究检索模型在两类内容上的行为差异提供了独特视角。该数据集聚焦生物医学领域，相关性采用三级标注（如不相关、部分相关、完全相关），相较于二元标注能更细腻地反映检索任务的复杂性。此外，作为 Cocktail 基准的组成部分，nfcorpus 涵盖 16 个跨域数据集之一，其规模虽小（测试查询仅 323 个），却因领域专精和标注粒度而成为评估模型在专业场景下泛化能力的重要标尺。数据经过 MD5 校验，保证了处理过程的完整性与可追溯性。

使用方法

使用 IR-Cocktail/nfcorpus 进行检索实验时，研究者可直接从 HuggingFace 加载预处理后的标准化数据。典型流程包括：首先通过 datasets 库读取 corpus 目录下的人类撰写版本（human.jsonl）与 LLM 生成版本（llama-2-7b-chat-tmp0.2.jsonl），构建双视角索引；随后加载 queries.jsonl 获取查询集合；利用 qrels/test.tsv 中的相关性标注进行性能评估。该数据集支持直接用于评估检索模型的排序能力，或作为对比实验的基准，以分析模型对人类与合成内容的响应差异。由于格式统一，也可无缝集成至 Cocktail 提供的开源评估框架中，实现多数据集联合评测。

背景与挑战

背景概述

在信息检索领域，大规模语言模型（LLM）的崛起催生了大量合成文本，对传统检索系统的公正性与鲁棒性构成了严峻考验。IR-Cocktail/nfcorpus数据集由中国人民大学等机构的研究人员于2024年创建，作为Cocktail综合基准测试的一部分，聚焦于生物医学领域的检索任务。该数据集源自NFCorpus，包含323个测试查询与3633篇文档，采用三级相关性标注，旨在评估检索模型在融合人类撰写与LLM生成文档场景下的表现。其核心研究问题在于揭示神经检索器对LLM生成内容的潜在偏好，这一发现对检索系统的可信度与实用性具有深远影响，推动了领域内对检索偏差问题的关注与反思。

当前挑战

该数据集面临的核心挑战在于解决信息检索中LLM生成内容带来的偏差问题。一方面，神经检索器在训练过程中倾向于赋予LLM生成文档更高权重，导致结果排序偏离真实相关性，尤其在生物医学等专业领域，虚假信息的引入可能误导决策。另一方面，构建过程中需确保人类撰写与LLM生成文档在语义上等价但风格各异，同时维持查询-文档相关性标注的一致性，这对数据质量控制提出了严苛要求。此外，跨领域泛化能力的评估也构成挑战，因为不同领域（如科学文献、维基百科）的文档特征差异显著，需设计鲁棒的基准来验证模型的适应性与公正性。

常用场景

经典使用场景

在信息检索领域，NFCorpus作为生物医学文本检索的标杆数据集，其经典使用场景集中于评估检索模型在细粒度相关性判断下的表现。该数据集包含323个查询与3,633篇文档，采用三级相关性标注（不相关、部分相关、高度相关），相较于二元标注基准更能捕捉医学文献中错综复杂的语义关联。研究者常借助NFCorpus对稠密检索模型、稀疏检索模型及混合检索架构进行鲁棒性测试，尤其关注模型在专业术语密集且语义层次分明的生物医学语料中的排序能力。其紧凑的语料规模使得实验迭代更为高效，成为验证检索算法在垂直领域泛化性能的黄金标尺。

解决学术问题

NFCorpus的核心贡献在于破解了生物医学信息检索中细粒度相关性建模的学术难题。传统二元相关性标注难以反映医学证据等级差异（如临床试验与病例报告的权威性区别），而该数据集的三级标注体系为模型学习渐进式相关性判别提供了训练与评测基础。它解决了两个关键问题：一是如何在不同相关性强度下维持检索精度的稳定性，二是如何避免模型对高频医学术语产生统计偏好。该数据集的出现推动了可解释检索模型的发展，促使学术界重新审视评估指标（如nDCG@k）在医疗场景中的适用性，并催生了面向领域知识嵌入的混合检索范式研究。

衍生相关工作

NFCorpus催生了一系列具有里程碑意义的研究成果。基于该数据集，Dai等人提出的Cocktail基准框架系统揭示了神经检索器对LLM生成内容的统计偏差，相关论文发表于ACL 2024 Findings与SIGKDD 2024。在模型层面，研究者开发了面向生物医学的领域自适应预训练语言模型BioBERT-Retrieval，其在NFCorpus上的表现成为衡量医学检索器语义理解能力的基准。更值得关注的是，该数据集启发了多层级相关性蒸馏技术，通过将三级标注转化为软标签来训练轻量级检索模型，平衡了医疗场景中精度与效率的冲突。这些工作共同构建了从数据集到方法论再到应用落地的完整研究闭环。