mteb/msmarco-v2

MS MARCOv2 是一个专注于深度学习的搜索领域的数据集，包括百科全书、学术、博客、新闻、医学、政府、评论、非小说、社交和网页等多个领域。

MS MARCO is a collection of datasets focused on deep learning in search, including encyclopaedic, academic, blog, news, medical, government, reviews, non-fiction, social, and web domains.

原始信息汇总

数据集概述

语言和多语言性

• 语言: 英语
• 多语言性: 单语种

任务类别和任务ID

• 任务类别: 文本检索
• 任务ID: 文档检索

配置名称和标签

• 配置名称: corpus
• 标签: 文本检索

数据集信息

配置名称: default

• 特征:
  • query-id: 字符串
  • corpus-id: 字符串
  • score: 浮点数 (float64)
• 分割:
  • train:
    • 字节数: 9631462
    • 样本数: 284212
  • dev:
    • 字节数: 136961
    • 样本数: 4009
  • dev2:
    • 字节数: 150735
    • 样本数: 4411

配置名称: corpus

• 特征:
  • _id: 字符串
  • title: 字符串
  • text: 字符串
• 分割:
  • corpus:
    • 字节数: 50691069190
    • 样本数: 138364198

配置名称: queries

• 特征:
  • _id: 字符串
  • text: 字符串
• 分割:
  • queries:
    • 字节数: 13379527
    • 样本数: 285328

配置和数据文件

配置名称: default

• 数据文件:
  • train: qrels/train.jsonl
  • dev: qrels/dev.jsonl
  • dev2: qrels/dev2.jsonl

配置名称: corpus

• 数据文件:
  • corpus: corpus.jsonl.gz

配置名称: queries

• 数据文件:
  • queries: queries.jsonl

搜集汇总

数据集介绍

构建方式

在信息检索与深度学习领域，精准的文本匹配与排序能力是衡量模型性能的关键。mteb/msmarco-v2数据集作为MS MARCO系列的进阶版本，由微软研究院基于海量真实用户查询与文档构建而成。该数据集源自原始的MS MARCO数据集，经过清洗与扩充，形成了一个包含约1.38亿篇文档、27.7万条训练查询以及28.4万条相关性标注的大规模语料库。其构建过程遵循严格的人工标注流程，确保每条查询与文档之间的相关性评分具有高可靠性。数据集以三部分形式组织：corpus部分存储文档的标识符、标题与正文；queries部分存储查询标识符与文本；default部分则记录查询与文档之间的配对评分，从而为文本检索任务提供完整的训练、开发与测试支持。

特点

该数据集的核心特点在于其规模宏大且领域覆盖广泛。文档来源涵盖百科、学术、博客、新闻、医学、政府、评论、非虚构、社交及网页等多元领域，使其成为评估文本嵌入模型泛化能力的理想基准。数据集的统计信息显示，训练集中文档平均长度约为342个字符，查询平均长度约为33个字符，相关性标注分布极为稀疏，每个查询平均仅有1.03个相关文档，这真实反映了现实世界中信息检索的挑战性。此外，数据集被划分为train、dev与dev2三个子集，分别包含28.4万、4009与4411条相关性标注，便于研究者进行模型调优与性能验证。这种高度稀疏且多领域的标注特性，使得mteb/msmarco-v2成为衡量模型在复杂检索场景下鲁棒性与精确性的重要工具。

使用方法

研究者可通过MTEB（Massive Text Embedding Benchmark）框架便捷地使用该数据集。首先，安装mteb库并调用get_tasks函数加载MSMARCOv2任务，随后实例化MTEB评估器并传入预训练的嵌入模型。通过调用evaluator.run方法，系统将自动执行检索任务并输出标准化的评估指标。代码示例中，用户只需替换YOUR_MODEL为具体的模型对象，即可完成评估流程。此外，数据集以JSONL格式存储，支持直接加载corpus.jsonl.gz、queries.jsonl与qrels目录下的标注文件，便于自定义训练或评估流程。这种与MTEB生态的无缝集成，大幅降低了研究者在大规模文本检索任务上的实验门槛。

背景与挑战

背景概述

MS MARCO（Microsoft MAchine Reading COmprehension）数据集由微软研究院于2016年推出，由Tri Nguyen、Mir Rosenberg、Xia Song等研究人员主导构建，旨在推动深度学习在搜索引擎和机器阅读理解领域的应用。该数据集基于Bing搜索引擎的真实用户查询及人工标注的相关文档片段生成，核心研究问题聚焦于如何提升检索系统对自然语言查询的理解能力与相关性匹配精度。MSMARCOv2作为其扩展版本，由MTEB（Massive Text Embedding Benchmark）项目维护，涵盖了百科、学术、博客、新闻、医疗、政府、评论、非虚构、社交及网络等多元领域，包含约1.38亿篇文档和28.5万条查询，成为评估文本嵌入模型在信息检索任务中表现的重要基准。其对相关领域的影响力体现在为跨领域检索研究提供了大规模、高质量的真实场景数据，推动了检索式问答与密集检索技术的发展。

当前挑战

MSMARCOv2所解决的领域问题主要在于信息检索中的相关性匹配与查询理解。传统检索模型常难以应对查询的语义歧义性和文档的多样性，该数据集通过大规模人工标注的查询-文档相关性对，为训练深度语义匹配模型提供了基础，但模型仍需克服领域漂移和长尾查询的挑战。在构建过程中，面临的挑战包括：1）从海量网络数据中筛选出与查询相关的文档片段，需兼顾覆盖度与标注一致性；2）处理查询与文档之间的稀疏相关性，平均每个查询仅有约1.03个相关文档，导致正样本极度稀缺；3）管理超大规模语料（近1.4亿文档）的存储与索引效率，以及跨领域文档的噪声与冗余问题，这些均对数据质量控制和模型泛化能力提出了严苛要求。

常用场景

经典使用场景

MSMARCOv2作为大规模文本检索基准数据集，其经典使用场景聚焦于评估和对比不同文本嵌入模型在信息检索任务中的表现。该数据集源自微软的MAchine Reading COmprehension（MS MARCO）系列，专为深度学习驱动的搜索研究而设计，涵盖了百科、学术、博客、新闻、医疗、政府、评论、非虚构、社交及网页等多元领域。研究者通常利用其海量查询与文档对，通过检索任务衡量模型对语义相关性的捕捉能力，从而推动文本表示学习的发展。

解决学术问题

该数据集核心解决了学术研究中文本检索模型的标准化评估难题。在自然语言处理领域，缺乏统一、大规模且覆盖多领域的基准曾阻碍模型性能的客观比较。MSMARCOv2通过提供超过1.38亿文档和28万查询的标注数据，并嵌入MTEB（Massive Text Embedding Benchmark）框架，使得研究者能够系统性地衡量嵌入模型在零样本检索场景下的泛化能力。其意义在于为模型鲁棒性、跨域迁移性及语义匹配精度的研究提供了可靠基石，促进了检索式问答和密集检索技术的理论突破。

衍生相关工作

MSMARCOv2衍生了一系列经典研究工作，尤其体现在密集检索与预训练语言模型的结合中。例如，ANCE（Approximate Nearest Neighbor Negative Contrastive Learning）和ColBERT等模型利用该数据集验证了基于向量相似度的检索性能；同时，MTEB基准的提出（Muennighoff et al., 2022）直接以MSMARCOv2作为核心任务之一，推动了如Sentence-BERT、GTR等嵌入模型的标准化评估。这些工作不仅深化了对文本语义空间的理解，还为跨模态检索和多语言嵌入研究提供了方法论参考。