mteb/quora

QuoraRetrieval数据集是基于Quora平台上标记为重复的问题构建的。该数据集用于文本检索任务，特别是多选问答中的问题匹配。数据集中包含了问题和相应的重复问题对，旨在帮助模型学习如何识别和检索相似的问题。

The QuoraRetrieval dataset is constructed based on questions marked as duplicates on the Quora platform. It is used for text retrieval tasks, particularly for question matching in multiple-choice question answering. The dataset contains pairs of questions and their duplicates, aiming to help models learn how to identify and retrieve similar questions.

原始信息汇总

数据集概述

语言和多语言性

• 语言: 英语
• 多语言性: 单语种

任务类别和任务ID

• 任务类别: 文本检索
• 任务ID: 文档检索

源数据集

• 源数据集: Quora

配置名称和标签

• 配置名称: corpus
• 标签: 文本检索

数据集信息

配置名称: default

• 特征:
  • 名称: query-id dtype: string
  • 名称: corpus-id dtype: string
  • 名称: score dtype: float64
• 分割:
  • 名称: dev num_bytes: 208509 num_examples: 7626
  • 名称: test num_bytes: 428097 num_examples: 15675

配置名称: corpus

• 特征:
  • 名称: _id dtype: string
  • 名称: title dtype: string
  • 名称: text dtype: string
• 分割:
  • 名称: corpus num_bytes: 41829670 num_examples: 522931

配置名称: queries

• 特征:
  • 名称: _id dtype: string
  • 名称: text dtype: string
• 分割:
  • 名称: queries num_bytes: 979930 num_examples: 15000

配置和数据文件

配置名称: default

• 数据文件:
  • 分割: dev 路径: qrels/dev.jsonl
  • 分割: test 路径: qrels/test.jsonl

配置名称: corpus

• 数据文件:
  • 分割: corpus 路径: corpus.jsonl

配置名称: queries

• 数据文件:
  • 分割: queries 路径: queries.jsonl

搜集汇总

数据集介绍

构建方式

QuoraRetrieval数据集源自Quora平台上的重复问题检测任务，由人工标注的重复问题对构建而成。该数据集隶属于大规模文本嵌入基准（MTEB），旨在评估文本嵌入模型在检索任务中的性能。其构建过程基于Quora官方发布的第一个问题对数据集，通过筛选出被标记为重复的问题，形成查询与相关文档的对应关系。数据集包含三个配置：default（存储查询与文档的关联评分）、corpus（包含问题文本及其标题）以及queries（存储查询文本），共涵盖约52.3万个文档和1.5万个查询，并划分为开发集和测试集。

特点

该数据集具有显著的领域特色与结构化特征。其核心特点在于聚焦于同义问题检索任务，即给定一个查询问题，需从语料库中找出语义重复的其他问题。数据集采用三元组结构（查询、文档、相关性评分），评分以浮点数形式记录，便于进行精细化的相关性评估。此外，数据集规模适中，文档平均长度约63个字符，查询平均长度约51个字符，呈现出短文本特性。每个查询平均关联1.5个相关文档，这种稀疏相关性分布对嵌入模型的语义理解能力提出了更高要求。

使用方法

该数据集可通过MTEB框架便捷调用。用户首先安装mteb库，随后使用mteb.get_tasks(['QuoraRetrieval'])获取任务实例，并通过mteb.MTEB(task)构建评估器。在指定嵌入模型后，调用evaluator.run(model)即可完成评估流程。数据集以JSONL格式存储，支持按配置名称（default、corpus、queries）加载对应数据文件。开发者亦可通过task.metadata.descriptive_stats获取详细的统计信息，包括文档长度分布、查询数量及相关性密度等元数据，以深入理解数据特性。

背景与挑战

背景概述

QuoraRetrieval数据集源于全球知名知识问答社区Quora在2017年首次发布的官方问题对数据集，由DataCanary、hilfialkaff、Lili Jiang、Meg Risdal、Nikhil Dandekar及tomtung等研究人员与平台共同构建。该数据集的核心研究问题聚焦于语义文本检索领域中的重复问题检测，旨在通过识别语义上等价但表述不同的查询对，推动文本嵌入模型在信息检索与自然语言理解中的性能评估。作为大规模文本嵌入基准MTEB的重要组成部分，QuoraRetrieval为评估检索模型的语义匹配能力提供了标准化测试平台，其影响力延伸至智能问答系统、搜索引擎优化及对话管理等多个应用方向，成为衡量嵌入模型在短文本语义检索任务上表现的关键标杆。

当前挑战

该数据集所解决的领域问题在于文本检索中重复问题的精准识别，即面对海量语义相似但词汇表述各异的用户提问，模型需具备超越字面匹配的深层语义理解能力，以区分问题间的同义与近义关系。构建过程中面临的挑战包括：首先，Quora平台上的问题对标注依赖人工判断，标注者需在主观理解基础上判定语义等价性，导致标签一致性难以保证；其次，数据集涵盖广泛主题与多样化表达风格，使得模型必须泛化至不同领域与语言变体；最后，正负样本分布极不均衡，每个查询对应的相关文档数量从1到84不等，增加了模型训练与评估的难度，对检索系统的鲁棒性提出了更高要求。

常用场景

经典使用场景

QuoraRetrieval数据集源自Quora平台上的重复问题标注，其经典使用场景在于评估文本嵌入模型在语义匹配与信息检索任务中的表现。在自然语言处理领域，该数据集常被用于衡量模型能否精准捕捉问题之间的语义等价关系，即给定一个查询问题，从大规模语料库中检索出语义相似或重复的其他问题。这一任务不仅考验模型对短文本语义深度的理解能力，还为跨领域文本匹配研究提供了标准化的测试基准。

实际应用

在实际应用中，QuoraRetrieval数据集的技术成果被广泛部署于智能问答社区、客服系统与知识管理平台。例如，当用户提交一个新问题时，系统可基于语义检索快速匹配到已有答案，避免重复回答，极大提升用户体验与运营效率。此外，该数据集所验证的检索框架还可应用于搜索引擎的结果去重、法律文书的相似案例匹配，以及医疗咨询中的症状比对等场景，展现了从社区问答到专业领域知识管理的强大迁移能力。

衍生相关工作

围绕QuoraRetrieval数据集，学界与工业界衍生了一系列经典工作。其中最引人注目的是其作为Massive Text Embedding Benchmark（MTEB）的重要组成部分，被广泛用于评估新一代文本嵌入模型如Sentence-BERT、E5、BGE等。此外，基于该数据集的研究还催生了诸如跨语言语义检索、多任务对比学习、以及基于提示的检索增强生成（RAG）等前沿方向，这些工作不仅深化了对语义匹配机制的理解，也推动了自然语言处理技术在信息检索领域的系统性革新。