IR-Cocktail/scifact

Cocktail数据集包含16个基准数据集，涵盖了多个领域，如生物医学、维基百科、金融、科学等。每个数据集都包含人类编写的语料库和LLM生成的语料库，以及查询和相关性文件。数据格式为jsonl和tsv文件，确保了数据的结构化和可处理性。数据集的设计旨在为信息检索任务提供全面的基准测试，并集成了LLM生成的文档。

原始信息汇总

数据集概述

本数据集包含16个基准数据集，每个数据集均涉及不同的领域和相关性评估标准。以下是各数据集的详细信息：

数据集	原始网站主页	Cocktail网站主页	数据集名称	处理后数据的md5值	领域	相关性评估	测试查询数量	语料库大小
MS MARCO	链接	链接	msmarco	值	杂项	二元	6,979	542,203
DL19	链接	链接	dl19	值	杂项	二元	43	542,203
DL20	链接	链接	dl20	值	杂项	二元	54	542,203
TREC-COVID	链接	链接	trec-covid	值	生物医学	三级	50	128,585
NFCorpus	链接	链接	nfcorpus	值	生物医学	三级	323	3,633
NQ	链接	链接	nq	值	维基百科	二元	3,446	104,194
HotpotQA	链接	链接	hotpotqa	值	维基百科	二元	7,405	111,107
FiQA-2018	链接	链接	fiqa	值	金融	二元	648	57,450
Touché-2020	链接	链接	webis-touche2020	值	杂项	三级	49	101,922
CQADupStack	链接	链接	cqadupstack	值	堆栈交换	二元	1,563	39,962
DBPedia	链接	链接	dbpedia-entity	值	维基百科	三级	400	145,037
SCIDOCS	链接	链接	scidocs	值	科学	二元	1,000	25,259
FEVER	链接	链接	fever	值	维基百科	二元	6,666	114,529
Climate-FEVER	链接	链接	climate-fever	值	维基百科	二元	1,535	101,339
SciFact	链接	链接	scifact	值	科学	二元	300	5,183
NQ-UTD	链接	链接	nq-utd	值	杂项	三级	80	800

数据集结构

所有Cocktail数据集必须包含以下内容：

• corpus: 一个.jsonl文件，包含一系列字典，每个字典包含三个字段：_id（唯一文档标识符），title（文档标题，可选）和text（文档段落或段落）。
• queries文件：一个.jsonl文件，包含一系列字典，每个字典包含两个字段：_id（唯一查询标识符）和text（查询文本）。
• qrels文件：一个.tsv文件，包含三个列：query-id，corpus-id和score。第一行作为标题。

搜集汇总

数据集介绍

构建方式

在信息检索领域，大语言模型生成内容的激增对传统检索系统提出了新挑战。IR-Cocktail/scifact 数据集作为 Cocktail 基准套件的一员，专为科学文献领域的相关性判断而设计。其构建遵循统一范式：每个数据集均包含人工撰写的真实语料库（human.jsonl）与由 Llama-2-7b-chat 模型生成的合成语料库（llama-2-7b-chat-tmp0.2.jsonl），两者以 JSON Lines 格式存储，每条记录包含唯一标识符、标题及文本字段。查询集（queries.jsonl）同样采用该格式，而相关性标注（qrels/test.tsv）则以制表符分隔的三列结构呈现查询-文档-评分关系。这种双语料库设计旨在系统性评估检索器对人工与机器生成内容的区分能力。

特点

该数据集的核心特色在于其科学文献领域的专注性与双语料库对比机制。SciFact 包含 300 条测试查询与 5,183 篇文档，语料规模虽小却高度专业化，覆盖生物学、医学等细分方向。与 Cocktail 套件中其他数据集一致，它采用二元相关性标注（相关/不相关），确保评估标准的简洁性。更关键的是，通过并行提供人工撰写与 LLM 生成的文档版本，数据集能够揭示检索模型在处理生成式内容时潜在的偏好偏差——这一特性在传统检索基准中鲜有涉及。此外，所有数据均经过 MD5 校验码验证，保证处理流程的可复现性。

使用方法

使用 IR-Cocktail/scifact 时，研究者可直接从 Hugging Face 仓库加载预处理后的标准化文件。典型流程包括：利用 corpus/ 目录下的两个 JSON Lines 文件构建双语料索引，通过 queries.jsonl 读取查询，再结合 qrels/test.tsv 中的标注进行模型评估。推荐采用稠密检索或稀疏检索框架，分别对比模型在人工与生成语料上的表现差异。由于数据集遵循 Cocktail 统一结构（语料库、查询、相关性文件三件套），可无缝接入 BEIR 等标准评估管线。使用者需注意，科学文献的术语密集性要求检索器具备领域语义理解能力，而双语料对比实验则应控制除语料来源外的所有变量恒定。

背景与挑战

背景概述

在信息检索领域，大规模语言模型（LLM）的迅猛发展催生了大量由模型生成的文档内容，这些内容在丰富语料库的同时，也引入了前所未有的检索偏差问题。IR-Cocktail/scifact数据集由戴孙浩、刘炜豪等研究人员于2024年构建，其核心研究问题聚焦于评估和揭示神经检索器在处理LLM生成文档时的行为特性。该数据集作为Cocktail基准的重要组成部分，专门针对科学文献领域设计，包含5,183篇文档和300组查询，旨在系统性地探究检索模型在面对人类撰写与机器生成内容混合语料时的表现差异。其发布为理解检索系统的鲁棒性提供了关键测试平台，对推动信息检索技术适应新时代内容生态具有深远影响。

当前挑战

该数据集所应对的核心领域挑战在于，现有神经检索器普遍存在对LLM生成内容的隐性偏好，这种偏差可能导致检索结果偏离用户真实需求，尤其在科学文献这类对准确性要求严苛的场景中影响更为显著。构建过程中遇到的主要挑战包括：如何确保LLM生成文档在语义质量和风格上与现实科学文献高度一致，从而避免引入人为伪造特征；如何设计合理的相关性标注体系，以区分人类专家撰写与机器生成内容的本质差异；以及如何在有限的数据规模内，平衡查询的多样性与覆盖度，确保评估结果的统计显著性。这些挑战共同构成了评估检索系统在生成内容时代鲁棒性的关键瓶颈。

常用场景

经典使用场景

SciFact数据集作为Cocktail基准测试套件中的核心成员，在科学文献检索与事实核查领域扮演着举足轻重的角色。该数据集精心构建了300条查询与5,183篇科学文献的对应关系，专为评估信息检索系统在科学文本中的相关性判断能力而生。其经典使用场景聚焦于验证检索模型能否从庞大的科学文献库中精准定位支持或反驳特定科学主张的论文段落，从而成为衡量神经检索器在专业学术领域表现优劣的黄金标准。

衍生相关工作

SciFact数据集催生了一系列富有影响力的衍生研究工作。其中，Cocktail基准本身即是对SciFact等16个数据集的整合与标准化，揭示了神经检索器对LLM生成内容存在系统性偏好的重要发现。此外，后续研究如《Neural Retrievers are Biased Towards LLM-Generated Content》直接利用SciFact作为测试床，深入剖析了检索模型在面临人工撰写与机器生成文本混合语料时的行为偏差，为构建更鲁棒、更公平的下一代检索系统提供了理论指导与实践路径。

数据集最近研究

最新研究方向

在信息检索领域，随着大型语言模型生成内容的日益普及，如何准确评估检索系统对人工撰写与机器生成文档的区分能力成为前沿焦点。IR-Cocktail/scifact数据集作为Cocktail基准测试的重要组成部分，聚焦于科学文献领域的证据检索任务，其独特之处在于同时提供人工撰写语料库与LLM生成语料库，为研究检索器在混合内容环境中的行为偏差提供了关键实验平台。近期研究揭示，当前主流的神经检索器存在对LLM生成文本的系统性偏向，这一发现引发了关于检索系统公平性与鲁棒性的深度讨论。该数据集通过标准化评测流程，助力学界探索如何缓解此类偏差，推动构建更可靠的科学证据检索系统，对学术诚信与知识发现具有深远意义。