projetomemoreba/mteb_mrobust_retrieval

---
dataset_info:
- config_name: corpus
features:
- name: _id
dtype: string
- name: text
dtype: string
- name: title
dtype: string
splits:
- name: corpus
num_bytes: 635358131.9513439
num_examples: 174787
download_size: 456676642
dataset_size: 635358131.9513439
- config_name: default
features:
- name: query-id
dtype: string
- name: document-id
dtype: string
- name: score
dtype: int64
splits:
- name: test
num_bytes: 508017.7811277737
num_examples: 16381
download_size: 157808
dataset_size: 508017.7811277737
- config_name: queries
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: queries
num_bytes: 29918
num_examples: 250
download_size: 20621
dataset_size: 29918
configs:
- config_name: corpus
data_files:
- split: corpus
path: corpus/corpus-*
- config_name: default
data_files:
- split: test
path: data/test-*
- config_name: queries
data_files:
- split: queries
path: queries/queries-*
---

数据集信息：
- 配置名称：corpus
特征字段：
- 字段名：_id，数据类型：字符串
- 字段名：text，数据类型：字符串
- 字段名：title，数据类型：字符串
数据集划分：
- 划分名称：corpus，字节占用量：635358131.9513439，样本总数：174787
下载体积：456676642，数据集存储体积：635358131.9513439
- 配置名称：default
特征字段：
- 字段名：查询ID（query-id），数据类型：字符串
- 字段名：文档ID（document-id），数据类型：字符串
- 字段名：评分（score），数据类型：64位整型
数据集划分：
- 划分名称：test，字节占用量：508017.7811277737，样本总数：16381
下载体积：157808，数据集存储体积：508017.7811277737
- 配置名称：queries
特征字段：
- 字段名：_id，数据类型：字符串
- 字段名：text，数据类型：字符串
数据集划分：
- 划分名称：queries，字节占用量：29918，样本总数：250
下载体积：20621，数据集存储体积：29918
配置项：
- 配置名称：corpus，数据文件：
- 划分：corpus，文件路径：corpus/corpus-*
- 配置名称：default，数据文件：
- 划分：test，文件路径：data/test-*
- 配置名称：queries，数据文件：
- 划分：queries，文件路径：queries/queries-*

原始信息汇总

数据集概述

配置信息

配置1: corpus

• 特征:
  • _id: 数据类型为字符串
  • text: 数据类型为字符串
  • title: 数据类型为字符串
• 分割:
  • corpus: 大小为635358131.9513439字节，包含174787个样本
• 下载大小: 456676642字节
• 数据集大小: 635358131.9513439字节

配置2: default

• 特征:
  • query-id: 数据类型为字符串
  • document-id: 数据类型为字符串
  • score: 数据类型为int64
• 分割:
  • test: 大小为508017.7811277737字节，包含16381个样本
• 下载大小: 157808字节
• 数据集大小: 508017.7811277737字节

配置3: queries

• 特征:
  • _id: 数据类型为字符串
  • text: 数据类型为字符串
• 分割:
  • queries: 大小为29918字节，包含250个样本
• 下载大小: 20621字节
• 数据集大小: 29918字节

数据文件路径

配置1: corpus

• 分割: corpus
• 路径: corpus/corpus-*

配置2: default

• 分割: test
• 路径: data/test-*

配置3: queries

• 分割: queries
• 路径: queries/queries-*

搜集汇总

数据集介绍

构建方式

在信息检索与自然语言处理领域，高质量评测数据集是推动模型性能提升的关键。projetomemoreba/mteb_mrobust_retrieval数据集专为评估检索系统鲁棒性而设计，其构建过程严谨且层次分明。该数据集包含三个配置：corpus（语料库）、queries（查询集）和default（标注对）。corpus配置收录了174,787个文档样本，每个样本包含唯一标识符、文本内容及标题字段，构成检索的候选文档池。queries配置则包含250条查询语句，每条查询同样具备唯一标识和文本描述。default配置通过16381条查询-文档关联记录，以分数形式标注相关性强度，形成完整的测试集。这种多配置架构确保了数据集在检索任务中的全面覆盖与精细评估。

特点

该数据集的核心特色在于其面向鲁棒性评估的专门设计。首先，语料库规模适中，涵盖174,787个文档，既避免了小样本的偶然性，又维持了实验的可操作性。其次，查询集与文档集的关联通过分数量化，而非简单的二元相关标签，使得评估指标能够捕捉检索结果的细微差异。此外，数据集提供了明确的训练-测试划分，其中default配置的test分片直接用于性能验证，减少了用户自行分割的偏差。整体而言，数据集在结构简洁性与评估深度之间取得了平衡，特别适合检验检索模型在多样化查询下的稳定表现。

使用方法

使用该数据集进行模型评估时，研究者需遵循标准的信息检索流程。首先，通过corpus配置加载语料库，构建文档索引或嵌入表示。接着，利用queries配置中的查询文本作为输入，调用检索模型返回排序后的文档列表。最后，加载default配置的test分片，其中包含查询-文档对的真实相关性分数，用于计算NDCG、MAP等评测指标。为便于集成，数据集已按HuggingFace Datasets规范分片存储，用户可通过load_dataset函数直接指定相应配置名称（如corpus、queries、default）进行加载，无需额外预处理。这种即用型设计显著降低了实验复现的门槛。

背景与挑战

背景概述

在信息检索领域，评估模型在多语言和跨语言场景下的鲁棒性已成为核心议题。由巴西研究团队projetomemoreba构建的mteb_mrobust_retrieval数据集，于2023年发布，旨在解决多语言检索任务中模型对噪声和分布偏移的脆弱性问题。该数据集汇聚了174,787条文档与250条查询，覆盖巴西葡萄牙语等语种，通过精心设计的查询-文档相关性标注，为评估检索系统在真实世界非完美条件下的表现提供了标准化基准。其研究问题聚焦于模型能否在保持检索精度的同时，抵御查询表述变化、文档噪声等干扰，对推动多语言信息检索技术的实用化具有重要影响。

当前挑战

该数据集面临的核心挑战包括：首先，多语言环境下检索模型需应对语言间语义差异与歧义，例如葡萄牙语中同义词和俚语的出现会显著影响查询与文档的匹配准确性。其次，构建过程中需克服标注一致性难题，因250条查询与近17.5万文档的配对评分需确保跨标注者的可靠性，而低资源语言的专家标注资源匮乏加剧了这一困难。此外，数据集模拟的噪声场景（如拼写错误、语法变异）要求模型具备强泛化能力，但现有检索系统常因过度依赖表面特征而失效，这成为提升鲁棒性的关键瓶颈。

常用场景

经典使用场景

在信息检索与自然语言处理领域，mteb_mrobust_retrieval数据集被广泛用于评估和训练跨语言与多语言文本检索系统。其设计涵盖了大规模语料库、查询集合及相关性标注，为研究者提供了标准化的基准测试环境。经典使用场景包括零样本跨语言检索、稠密向量检索模型微调以及稀疏检索方法的对比实验，尤其在评估模型对多语言语义匹配的鲁棒性方面具有不可替代的价值。

实际应用

在实际应用中，mteb_mrobust_retrieval数据集支撑了多语言搜索引擎、跨语言问答系统以及全球知识图谱的构建与优化。企业可通过该数据集训练能同时处理英语、法语、中文等多种语言的检索模型，提升用户在全球信息获取中的体验。此外，该数据集在机器翻译后处理、跨境法律文档检索以及多语言舆情监测等场景中也发挥着关键作用，确保了系统在不同语言环境下的高召回率与精准度。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于对比学习的多语言检索模型（如mContriever）、跨语言稠密检索框架（如XLM-R结合双编码器架构）以及鲁棒性增强的稀疏检索方法（如SPLADE的多语言变体）。此外，研究者基于该数据集提出了多种评估指标，如跨语言平均倒数排名（MRR）与归一化折损累积增益（NDCG）的跨语言扩展。这些工作不仅深化了对多语言检索机制的理解，也为后续研究如零样本迁移学习与多模态检索奠定了坚实基础。