castorini/msmarco_v1_doc_segmented_doc2query-t5_expansions

该数据集提供了使用docTTTTTquery模型为MS MARCO V1文档分段语料库生成的查询。docTTTTTquery模型是doc2query系列文档扩展模型的最新版本，其基本思想是训练一个模型，当给定输入文档时，生成文档可能回答的问题（或更广泛地说，文档可能相关的查询）。这些预测的问题（或查询）随后被附加到原始文档中，然后像以前一样进行索引。数据集的结构包括训练集、开发集和测试集，它们共享相同的语料库。

This dataset provides queries generated for the MS MARCO V1 document passage corpus using the docTTTTTquery model. The docTTTTTquery model represents the latest iteration of the doc2query family of document expansion models. Its core concept is to train a model that, given an input document, generates questions that the document can answer—or, more broadly, queries for which the document may be relevant. These predicted questions (or queries) are then appended to the original documents, which are subsequently indexed using the same approach as prior work. The dataset comprises a training set, a development set, and a test set, all sharing a single common corpus.

原始信息汇总

数据集概述

数据集内容

本数据集提供了针对MS MARCO V1文档分割语料库生成的查询，使用的是docTTTTTquery模型，这是doc2query系列文档扩展模型的最新版本。该模型的基本思想是训练一个模型，使其能够根据输入文档生成可能回答的问题（或更广泛的查询），然后将这些预测的问题（或查询）附加到原始文档上，并按原样进行索引。

数据集结构

• 所有三个折叠（训练、开发和测试）共享相同的语料库。

• 示例数据条目格式如下：

  { "id": "D1555982#0", "predicted_queries": ["when find radius of star r", "what is r radius", "how to find out radius of star", "what is radius r", "what is radius of r", "how do you find radius of star igel", "which law states that radiation is proportional to radiation?", "what is the radius of a spherical star", "what is the radius of the star", "what is radius of star"] }

加载数据集

加载数据集的示例代码如下： python dataset = load_dataset(castorini/msmarco_v1_doc_segmented_doc2query-t5_expansions)

引用信息

• 引用docTTTTTquery模型：

  @article{docTTTTTquery, title={From doc2query to {docTTTTTquery}}, author={Nogueira, Rodrigo and Lin, Jimmy}, year={2019} }

• 引用emdt5：

  @article{emdt5, author = "Ronak Pradeep and Rodrigo Nogueira and Jimmy Lin", title = "The Expando-Mono-Duo Design Pattern for Text Ranking with Pretrained Sequence-to-Sequence Models", journal = "arXiv:2101.05667", year = 2021, }

搜集汇总

数据集介绍

构建方式

在信息检索领域，文档扩展技术旨在弥合用户查询与文档内容之间的语义鸿沟。该数据集基于MS MARCO V1文档分段语料库，采用docTTTTTquery（亦称docT5query或doc2query-T5）模型构建而成。核心思路在于训练一个基于T5的序列到序列模型，使其在输入文档后，能够生成该文档可能回答的问题或与之相关的查询。这些预测出的查询随后被附加至原始文档中，形成增强后的索引。数据集涵盖训练、验证和测试三个子集，共享同一语料库，每条数据包含文档片段标识符及对应的十个预测查询列表。

使用方法

使用该数据集时，可通过HuggingFace Datasets库的load_dataset函数直接加载，例如执行`dataset = load_dataset('castorini/msmarco_v1_doc_segmented_doc2query-t5_expansions')`即可获取完整数据。加载后，用户可将预测查询字段与原始MS MARCO文档拼接，构建增强型索引，进而应用于基于稀疏检索（如BM25）或密集检索的系统中。建议在索引前对查询进行去重或过滤，以平衡索引膨胀与检索效果。此外，该数据集适用于评估文档扩展对排名模型性能的影响，或作为训练查询生成模型的基准资源。

背景与挑战

背景概述

在信息检索领域，文档扩展技术通过生成与文档相关的查询来提升检索系统的召回率，是近年来自然语言处理研究的重要方向。由Rodrigo Nogueira和Jimmy Lin于2019年提出的docTTTTTquery模型（亦称doc2query-T5），基于T5序列到序列模型，开创性地将文档作为输入，预测其可能回答的问题或相关查询，并将这些伪查询附加至原始文档以增强索引表征。该数据集由加拿大滑铁卢大学等机构的研究人员构建，基于MS MARCO V1文档分段语料库，包含训练、验证和测试三个子集，每个文档片段均附带10条由模型生成的预测查询。这一工作不仅推动了文档扩展范式的演进，还显著提升了稀疏检索系统的性能，成为后续Expando-Mono-Duo等排序模式的重要基石，对学术界与工业界的检索系统设计产生了深远影响。

当前挑战

该数据集所解决的领域核心挑战在于如何突破传统词袋检索模型的语义鸿沟，即用户查询与文档表述之间词汇不匹配导致的召回瓶颈。docTTTTTquery通过生成多样化查询来丰富文档表示，但构建过程中面临多重困难：首先，T5模型的训练需要大规模配对数据，即文档与人工标注查询的对应关系，而MS MARCO数据集中的查询噪声与稀疏性增加了训练难度；其次，生成查询的质量控制是关键挑战，模型可能产生与文档无关或语义偏离的伪查询，影响检索效果；此外，将生成查询附加至文档会显著扩大索引规模，带来存储与检索效率的权衡问题。这些挑战凸显了在扩展文档表示时兼顾语义准确性与计算开销的复杂性。

常用场景

经典使用场景

在信息检索与自然语言处理领域，MS MARCO V1文档分段语料库的doc2query-T5扩展数据集扮演着关键角色。其核心使用场景在于通过T5模型为每个文档片段生成预测查询，从而丰富文档的语义表征。研究者常利用该数据集进行文档扩展实验，将生成的查询附加至原始文档后构建增强索引，以提升检索系统对长文档的匹配能力。这一过程尤其适用于处理稀疏检索场景，通过扩充查询空间弥补传统词袋模型在语义匹配上的不足，为后续排序模型提供更全面的候选集。

解决学术问题

该数据集系统性地解决了文档级检索中查询与文档间词汇不匹配的学术难题。传统检索方法受限于精确词匹配，难以捕捉隐式语义关联，而doc2query-T5扩展通过生成多样化查询，将文档的潜在信息需求显式化，显著提升了召回率。其意义在于验证了生成式文档扩展策略在大规模语料上的有效性，推动了从静态索引向动态语义增强的范式转变。后续研究以此为基础，探索了多任务联合训练与查询多样性优化，为神经检索理论提供了实证支撑。

实际应用

在实际应用中，该数据集被广泛部署于企业级搜索引擎、智能问答系统和知识库管理平台。例如，在医疗文献检索中，通过扩展生成的临床查询，系统能更精准地匹配非结构化病历与科研论文；在电子商务领域，商品描述经查询扩展后可提升长尾关键词的覆盖度，改善用户购物体验。此外，该技术还应用于法律文档检索与学术论文推荐，通过预测用户潜在提问意图，降低信息获取成本，显著提升了跨领域信息服务的效率与鲁棒性。

数据集最近研究

最新研究方向

在信息检索与自然语言处理领域，文档扩展技术正成为提升检索系统召回率的关键前沿方向。castorini/msmarco_v1_doc_segmented_doc2query-t5_expansions数据集基于docTTTTTquery模型，利用T5序列到序列架构为MS MARCO V1文档分段语料库生成预测查询，通过将生成的查询附加至原始文档实现语义增强。这一方法有效弥合了用户查询与文档表达之间的词汇鸿沟，在密集检索与稀疏检索范式中均展现出显著性能提升。当前研究热点聚焦于将此类文档扩展与预训练语言模型微调、端到端检索框架深度融合，例如Expando-Mono-Duo设计模式，其通过扩展、单阶段匹配与双阶段重排的协同优化，推动了排序模型在复杂查询场景下的鲁棒性突破。该数据集不仅为TREC等评测任务提供了标准化基准，更催化了生成式检索与神经排序模型的交叉创新，对构建可解释、高效率的下一代搜索引擎具有里程碑意义。