castorini/msmarco_v2_doc_segmented_doc2query-t5_expansions

该数据集提供了使用docTTTTTquery模型为MS MARCO v2文档分段语料库生成的查询。docTTTTTquery模型是doc2query系列文档扩展模型的最新版本，其基本思想是训练一个模型，当给定一个输入文档时，生成该文档可能回答的问题（或更广泛地说，文档可能相关的查询）。这些预测的问题（或查询）随后被附加到原始文档中，然后像以前一样进行索引。数据集包含训练、开发和测试三个部分，所有部分共享相同的语料库。数据条目包括文档ID、标题和文本内容。

This dataset provides queries generated for the MS MARCO v2 document passage corpus using the docTTTTTquery model. As the latest iteration of the doc2query family of document expansion models, docTTTTTquery is trained to generate questions that an input document could answer, or more broadly, queries that the document could be relevant to. These predicted questions or queries are then appended to the original document, which is subsequently indexed in the same manner as prior workflows. The dataset comprises three splits: training, development, and test, all sharing the same underlying corpus. Each data entry includes a document ID, title, and textual content.

原始信息汇总

数据集概述

数据集名称

• msmarco_v2_doc_segmented_doc2query-t5_expansions

数据集描述

• 该数据集包含为MS MARCO v2文档分割语料库生成的查询，使用的是docTTTTTquery模型，这是doc2query系列文档扩展模型的最新版本。该模型的基本思想是训练一个模型，使其能够根据输入文档生成可能回答的问题（或更广泛地说，与文档相关的查询）。这些预测的问题（或查询）随后被附加到原始文档上，然后像以前一样进行索引。

数据集结构

• 数据集包含三个折叠（训练、开发和测试），共享相同的语料库。

• 示例数据条目格式如下：

  { docid: 25#0, title: Autism, text: Autism is a developmental disorder characterized by difficulties with social interaction and communication, ... }

加载数据集

• 加载数据集的示例代码： python dataset = load_dataset(castorini/msmarco_v2_doc_segmented_doc2query-t5_expansions, data_files=d2q/d2q.jsonl???.gz)

引用信息

• 引用该数据集时，应参考以下文献：
  • @article{docTTTTTquery, title={From doc2query to {docTTTTTquery}}, author={Nogueira, Rodrigo and Lin, Jimmy}, year={2019}}
  • @article{emdt5, author="Ronak Pradeep and Rodrigo Nogueira and Jimmy Lin", title="The Expando-Mono-Duo Design Pattern for Text Ranking with Pretrained Sequence-to-Sequence Models", journal="arXiv:2101.05667", year=2021,}