C-MTEB/T2Retrieval-qrels

---
configs:
- config_name: default
data_files:
- split: dev
path: data/dev-*
dataset_info:
features:
- name: qid
dtype: string
- name: pid
dtype: string
- name: score
dtype: int64
splits:
- name: dev
num_bytes: 3133383
num_examples: 118932
download_size: 1146734
dataset_size: 3133383
---
# Dataset Card for "T2Retrieval-qrels"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
配置项：
- 配置名称：default
数据文件：
- 拆分集：dev
文件路径：data/dev-*
数据集信息：
特征字段：
- 名称：qid，数据类型：字符串（string）
- 名称：pid，数据类型：字符串（string）
- 名称：score，数据类型：64位整型（int64）
拆分子集：
- 名称：dev，字节占用量：3133383，样本总数：118932
下载总大小：1146734
数据集实际占用大小：3133383
---
# "T2Retrieval-qrels"数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置信息

• 配置名称: default
• 数据文件:
  • 分割: dev
  • 路径: data/dev-*

数据集特征

• 特征名称: qid
  • 数据类型: string
• 特征名称: pid
  • 数据类型: string
• 特征名称: score
  • 数据类型: int64

数据分割信息

• 分割名称: dev
  • 数据大小: 3133383 bytes
  • 示例数量: 118932

数据集大小

• 下载大小: 1146734 bytes
• 数据集总大小: 3133383 bytes

搜集汇总

数据集介绍

构建方式

在信息检索与自然语言处理领域，相关性标注数据是评估检索模型性能的关键资源。C-MTEB/T2Retrieval-qrels数据集以标准qrels格式构建，通过记录查询标识符（qid）、文档标识符（pid）及相关性评分（score）三元组，系统性地建立了查询与文档之间的关联矩阵。该数据集仅包含dev开发集，共收录118,932条标注样本，数据规模达3.1MB，其结构设计严格遵循TREC等国际评测会议的相关性判断规范。

特点

该数据集呈现出鲜明的结构化特点，以int64类型存储相关性评分，支持精细化的相关性等级区分。其数据文件采用通配符匹配模式（data/dev-*），便于灵活加载增量数据。作为专门面向中文文本检索任务设计的qrels数据集，它填补了中文领域大规模相关性标注资源的空白，为T2Retrieval系列基准测试提供了统一的评估标准，确保了不同模型间性能对比的公平性与可复现性。

使用方法

研究者可通过HuggingFace Datasets库便捷加载该资源，使用load_dataset函数指定配置名'default'即可自动获取dev分片。数据集包含qid、pid、score三个字段，可直接用于评估检索模型的排序质量。在实际应用中，建议结合T2Retrieval对应的文档集合与查询集合，通过计算NDCG、MAP等标准指标对模型进行评测，也可将其作为训练数据微调双编码器或交叉编码器架构的检索模型。

背景与挑战

背景概述

C-MTEB/T2Retrieval-qrels数据集是中文大规模文本检索基准（C-MTEB）的重要组成部分，由多个研究机构联合创建，旨在系统评估中文文本检索模型的性能。该数据集以查询-文档相关性判断（qrels）为核心，包含超过11万个标注样本，覆盖多种检索场景。其核心研究问题在于构建一个标准化、高质量的中文检索评估基准，以推动自然语言处理领域在中文信息检索方向的发展。自发布以来，该数据集已成为中文检索任务的关键评价工具，显著促进了跨模态语义匹配、稠密检索等前沿技术的研究与对比。

当前挑战

该数据集面临的挑战主要体现在两个方面：其一，中文检索领域长期缺乏大规模、多领域的标注数据，现有模型在语义理解、同义词匹配及长尾查询处理上表现不足，亟需更细粒度的评价指标来捕捉模型在复杂场景下的真实能力。其二，构建过程中需应对标注一致性难题，确保不同标注者对相关性判断的标准统一；同时，数据覆盖的多样性与平衡性难以兼顾，例如新闻、学术、电商等领域的分布差异，以及查询长度与文档类型的变异，均对基准的鲁棒性提出严苛要求。

常用场景

经典使用场景

T2Retrieval-qrels作为C-MTEB基准测试的核心组成部分，专为中文文本检索任务设计。该数据集通过提供查询-文档相关性标签（qrels），在信息检索领域树立了评价模型性能的标杆。其经典使用场景聚焦于评估和比较不同检索模型在中文语境下的表现，涵盖从传统BM25算法到现代基于Transformer的密集检索模型。研究人员利用该数据集中的查询标识符（qid）、文档标识符（pid）及相关性评分（score），可系统性地衡量模型在召回率、精确率及排序质量等关键指标上的优劣。这种标准化的评测框架不仅促进了检索技术的可复现性，还为中文自然语言处理领域贡献了一个权威的验证平台。

实际应用

在实际应用中，T2Retrieval-qrels所支撑的检索技术广泛赋能于搜索引擎优化、智能问答系统及企业级知识库管理。基于该数据集训练的模型能够精准理解用户查询意图，在电商平台中实现商品搜索的语义匹配，在学术文献库中完成跨学科论文的关联推荐。医疗领域借助其提升病历检索的准确性，法律行业则用于判例与法条的快速定位。该数据集衍生的检索方案还被集成于对话式AI系统，帮助机器在海量文档中高效提取答案片段。这些应用场景共同验证了该数据集从学术评测到产业落地的桥梁作用，彰显了其在提升中文信息处理效率方面的实际价值。

衍生相关工作

基于T2Retrieval-qrels，学界衍生出多项开创性工作。在模型层面，研究者提出了面向中文的稠密检索模型（如Chinese-BERT-Retrieval）及混合检索架构，利用该数据集的标注数据优化对比学习目标。在方法创新上，针对查询重写与伪相关反馈的改进方案均以此为验证平台。此外，该数据集催生了跨模态检索研究，将文本查询与图像、视频内容对齐。相关成果包括《面向中文的稠密段落检索》及《基于对比学习的多语言检索增强》等经典论文，这些工作不仅深化了检索理论，还推动了中文信息检索在零样本学习与域适应等前沿方向的发展。