castorini/msmarco_v2_doc_doc2query-t5_expansions

该数据集提供了使用docTTTTTquery模型为MS MARCO v2文档语料库生成的查询。docTTTTTquery模型是doc2query系列文档扩展模型的最新版本，其基本思想是训练一个模型，当给定一个输入文档时，生成该文档可能回答的问题或查询。这些预测的问题或查询随后被附加到原始文档中，然后像以前一样进行索引。数据集的结构包括训练集、开发集和测试集，所有部分共享相同的语料库。数据条目的格式包括文档ID、标题和文本内容。This dataset provides queries generated for the MS MARCO v2 document corpus using the docTTTTTquery model. The docTTTTTquery model is the latest iteration of the doc2query family of document expansion models, whose core idea is to train a system that, given an input document, generates questions or queries that the document can answer. These predicted questions or queries are then appended to the original document, which is subsequently indexed in the same manner as prior practices. The dataset structure includes a training set, a development set, and a test set, all of which share the same corpus. Each data entry consists of the document ID, title, and textual content.

原始信息汇总

数据集概述

数据集名称

• msmarco_v2_doc_doc2query-t5_expansions

数据集内容

• 本数据集包含为MS MARCO v2文档语料库生成的查询，使用的是docTTTTTquery模型，该模型属于doc2query系列的最新文档扩展模型。该模型的基本功能是，给定一个输入文档，生成该文档可能回答的问题（或更广泛地说，该文档可能相关的查询）。这些预测的问题（或查询）随后被附加到原始文档上，然后像以前一样进行索引。

数据集结构

• 数据集包含三个折叠（训练集、开发集和测试集），它们共享相同的语料库。
• 每个数据条目包含以下字段：
  • docid：文档ID
  • title：文档标题
  • text：文档内容

数据集加载示例

• 加载数据集的示例代码如下： python dataset = load_dataset(castorini/msmarco_v2_doc_doc2query-t5_expansions)

引用信息

• 数据集引用文献：
  • @article{docTTTTTquery, title={From doc2query to {docTTTTTquery}}, author={Nogueira, Rodrigo and Lin, Jimmy}, year={2019}}
  • @article{emdt5, author="Ronak Pradeep and Rodrigo Nogueira and Jimmy Lin", title="The Expando-Mono-Duo Design Pattern for Text Ranking with Pretrained Sequence-to-Sequence Models", journal="arXiv:2101.05667", year=2021,}