mteb/EcomRetrieval

该数据集包含三个主要配置：corpus、default和queries。corpus配置包含文本和标题信息，default配置包含查询ID、语料库ID和评分信息，queries配置包含查询ID和查询文本信息。每个配置都有一个开发集（dev），分别包含不同数量的示例和文件大小。The dataset includes three main configurations: corpus, default, and queries. The corpus configuration contains text and title information, the default configuration includes query-id, corpus-id, and score information, and the queries configuration contains query-id and query text information. Each configuration has a development set (dev) with varying numbers of examples and file sizes.

搜集汇总

数据集介绍

构建方式

在信息检索与自然语言处理领域，高质量的中文检索数据集对于推动模型性能评估至关重要。EcomRetrieval数据集源自Multi-CPR项目，专为中文段落检索任务设计，其构建过程严谨而系统。数据集包含三个核心部分：语料库（corpus）、查询（queries）以及标注的关联关系（default）。语料库由100,902个文档构成，每个文档包含文本与标题字段；查询集包含1,000条用户查询；关联关系则记录了每条查询与最相关文档的一对一映射。所有数据均经过精心清洗与标注，确保检索任务的真实性与挑战性。

特点

EcomRetrieval数据集展现出鲜明的特点。首先，它聚焦于中文电商领域，覆盖了丰富的商品描述与用户查询，具有强烈的领域专属性。其次，数据集规模适中，语料库与查询数量比例均衡，便于快速迭代实验。统计显示，文档平均长度约为33个字符，查询平均长度仅约7个字符，这种短文本特性模拟了真实电商搜索场景中信息稀疏、匹配精准的挑战。此外，每个查询仅对应一个相关文档，形成严格的单标签检索任务，有利于精确评估模型的排序能力。

使用方法

使用EcomRetrieval数据集进行模型评估极为便捷，这得益于其与MTEB（Massive Text Embedding Benchmark）框架的深度集成。研究者可通过Python的mteb库直接加载该任务，调用`mteb.get_tasks(["EcomRetrieval"])`获取任务实例，再通过`MTEB`评估器配合自定义的嵌入模型运行评测。代码示例中，`mteb.get_model(YOUR_MODEL)`接口允许用户无缝接入任何符合规范的文本嵌入模型，自动完成检索性能的标准化测试。这一流程大幅降低了中文电商检索任务的评估门槛，促进了模型的横向比较与迭代优化。

背景与挑战

背景概述

电子商务领域的文本检索任务在中文信息处理中占据着日益重要的地位，其核心在于精准匹配用户查询与商品描述，以提升在线购物体验。在此背景下，EcomRetrieval数据集应运而生，它隶属于大规模文本嵌入基准（MTEB）体系，由Dingkun Long等研究人员于2022年创建，相关成果发表于《Multi-CPR: A Multi Domain Chinese Dataset for Passage Retrieval》。该数据集聚焦于中文电子商务场景，包含约十万条商品语料与一千条用户查询，旨在评估文本嵌入模型在电商检索任务中的性能。其诞生为中文自然语言处理领域提供了标准化的测评资源，推动了检索模型在真实商业场景中的优化与应用。

当前挑战

EcomRetrieval数据集所面临的挑战首先体现在领域问题的复杂性上：电商检索需应对商品标题与描述的简短性、用户查询的多样性与口语化，以及同义表达与语义歧义带来的匹配困难。传统基于关键词的检索方法难以捕捉深层语义，而嵌入模型需在有限文本长度内实现高精度匹配。其次，数据集构建过程中亦存在显著挑战：语料收集需覆盖广泛商品类别，确保数据的代表性与均衡性；人工标注查询-文档对时需保证相关性判断的一致性，避免主观偏差；此外，数据集规模与质量的平衡、多语言环境下中文特有表达的规范化处理，均对数据构建提出了严苛要求。

常用场景

经典使用场景

EcomRetrieval数据集作为Massive Text Embedding Benchmark（MTEB）框架下的中文电商领域文本检索基准，其经典使用场景聚焦于评估和比较不同文本嵌入模型在电商场景下的检索性能。该数据集包含逾十万条商品文档与一千条精心构建的查询，每条查询严格对应唯一的相关文档，为衡量模型在商品标题与描述中精准定位用户意图的能力提供了标准化测试平台。研究者常利用此数据集对稠密检索、稀疏检索及混合检索模型进行公平比较，尤其关注模型在中文电商语境下对短文本语义匹配的鲁棒性。

实际应用

在实际应用层面，EcomRetrieval所代表的电商检索任务直接服务于商品搜索、智能客服及个性化推荐等核心业务。通过在此数据集上优化模型，企业能够显著提升用户查询与商品库之间的匹配精度，从而改善购物体验，提高转化率。例如，当用户输入模糊的购物意图（如“夏季透气跑鞋”）时，一个在该基准上表现优异的嵌入模型能够更准确地从海量商品中召回最相关的选项，有效降低检索延迟与信息过载。此外，该数据集还可用于训练电商领域的问答系统与商品属性抽取工具，助力构建更智能的线上零售生态。

衍生相关工作

EcomRetrieval数据集衍生了一系列重要的学术与工程工作。其所属的Multi-CPR项目开创了多领域中文段落检索基准的先河，启发了后续如C-MTEB等中文嵌入评测体系的构建。在模型层面，基于此数据集的评估催生了针对电商场景优化的专用嵌入模型，如采用对比学习预训练的电商领域文本向量化方案。同时，MTEB框架本身也因纳入该数据集而增强了其在中文垂直领域的覆盖度，促使研究者关注嵌入模型的跨域泛化能力。这些衍生工作共同推动了中文信息检索从通用评测向领域精细化评估的演进。