irds/mr-tydi_ja_dev

--- pretty_name: '`mr-tydi/ja/dev`' viewer: false source_datasets: ['irds/mr-tydi_ja'] task_categories: - text-retrieval --- # Dataset Card for `mr-tydi/ja/dev` The `mr-tydi/ja/dev` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package. For more information about the dataset, see the [documentation](https://ir-datasets.com/mr-tydi#mr-tydi/ja/dev). # Data This dataset provides: - `queries` (i.e., topics); count=928 - `qrels`: (relevance assessments); count=928 - For `docs`, use [`irds/mr-tydi_ja`](https://huggingface.co/datasets/irds/mr-tydi_ja) ## Usage ```python from datasets import load_dataset queries = load_dataset('irds/mr-tydi_ja_dev', 'queries') for record in queries: record # {'query_id': ..., 'text': ...} qrels = load_dataset('irds/mr-tydi_ja_dev', 'qrels') for record in qrels: record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...} ``` Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the data in 🤗 Dataset format. ## Citation Information ``` @article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} } ```--- pretty_name: '`mr-tydi/ja/dev`' viewer: 已禁用 source_datasets: ['irds/mr-tydi_ja'] task_categories: - 文本检索 --- # `mr-tydi/ja/dev` 数据集卡片 本`mr-tydi/ja/dev`数据集由[ir-datasets](https://ir-datasets.com/)库提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/mr-tydi#mr-tydi/ja/dev)。 # 数据说明 本数据集包含以下内容： - `queries`（即查询主题）：共计928条 - `qrels`（即相关性评估集）：共计928条 - 如需获取`docs`（文档集），请使用 [`irds/mr-tydi_ja`](https://huggingface.co/datasets/irds/mr-tydi_ja) 数据集。 ## 使用方法 python from datasets import load_dataset queries = load_dataset('irds/mr-tydi_ja_dev', 'queries') for record in queries: record # {'query_id': ..., 'text': ...} qrels = load_dataset('irds/mr-tydi_ja_dev', 'qrels') for record in qrels: record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...} 请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供获取指引），并将其转换为🤗 数据集（🤗 Dataset）格式存储。 ## 引用信息 @article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

原始信息汇总

数据集概述

数据集名称

mr-tydi/ja/dev

数据提供者

由 ir-datasets 包提供。

数据内容

• queries（即主题）：数量为928
• qrels（相关性评估）：数量为928
• docs：使用 irds/mr-tydi_ja

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/mr-tydi_ja_dev, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mr-tydi_ja_dev, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言文本检索是自然语言处理的重要研究方向。Mr. TyDi 多语言基准数据集旨在评估稠密检索模型在多种语言上的表现，其中日语子集 mr-tydi/ja/dev 专为日语检索任务设计。该数据集构建于 TyDi QA 语料库之上，由研究者从日语维基百科中提取文档，并基于信息寻求型问题生成查询。开发集包含 928 条查询及其对应的相关性评估（qrels），每个查询关联一个或多个文档，并通过人工标注确定相关性等级。文档部分则需从独立的 irds/mr-tydi_ja 数据集中获取，整体结构遵循 ir-datasets 标准格式，确保了数据组织的一致性与可复现性。

特点

mr-tydi/ja/dev 数据集的核心特点在于其多语言稠密检索评估的专门化设计。作为 Mr. TyDi 基准的日语开发集，它提供了 928 个精心构建的查询，覆盖多样化的信息需求类型，每个查询均附有精确的相关性判断，支持对检索系统进行细粒度评估。该数据集强调语言多样性，日语语料源自维基百科，确保了内容的真实性与丰富性。与训练集和测试集分离的设计，使得该开发集可独立用于模型调优与性能验证，其标准化的 qrels 格式也便于与多种检索框架集成，为跨语言信息检索研究提供了可靠且可比较的评估平台。

使用方法

使用 mr-tydi/ja_dev 数据集时，研究者可通过 Hugging Face 的 datasets 库便捷加载。具体操作为调用 load_dataset('irds/mr-tydi_ja_dev', 'queries') 获取查询数据，每条记录包含 query_id 和 text 字段；调用 load_dataset('irds/mr-tydi_ja_dev', 'qrels') 获取相关性评估，每条记录包含 query_id、doc_id、relevance 及 iteration 字段。文档数据需从 irds/mr-tydi_ja 数据集中单独加载。该数据集适用于训练和评估稠密检索模型，例如基于双编码器的语义匹配系统，用户可结合 qrels 计算如 NDCG、MAP 等标准检索指标，以量化模型在日语文本检索任务上的表现。

背景与挑战

背景概述

多语言信息检索领域长期面临语言资源分布不均的困境，高资源语言如英语的检索技术日臻成熟，而低资源语言的检索性能却裹足不前。在此背景下，由来自滑铁卢大学等机构的研究人员于2021年创建的Mr. TyDi数据集应运而生，其核心研究问题在于构建一个覆盖多种类型学差异显著语言的稠密检索基准，以推动多语言检索技术的均衡发展。该数据集的日语子集mr-tydi/ja/dev专为日语检索任务设计，包含928个查询及其相关性判断，为评估日语稠密检索模型提供了标准化测试平台，对促进日语信息检索研究具有里程碑式意义。

当前挑战

该数据集所解决的领域挑战在于多语言稠密检索中的跨语言泛化难题，即如何在语言结构迥异的语种间实现鲁棒的检索性能，日语作为黏着语且包含汉字与假名混合书写系统，其词法复杂性对现有模型构成严峻考验。构建过程中的挑战则体现在高质量查询与相关性标注的获取上，需依赖兼具日语语言能力和信息检索专业知识的标注者，同时确保不同查询间的判别性以避免模糊性，此外还需平衡覆盖多种查询类型与维持数据集规模之间的张力，从而保证基准评测的有效性。

常用场景

经典使用场景

在跨语言信息检索的学术版图中，Mr. TyDi 数据集以其多语言覆盖与精细标注而著称，其中日语子集 mr-tydi/ja/dev 被广泛用于密集检索模型的评估与调优。该数据集包含928个查询及其对应的相关性判断，为研究者提供了标准化测试平台，便于对比不同稠密检索架构在日语这一形态复杂、词汇丰富的语言上的表现。经典使用方式包括将查询文本与文档库进行向量化匹配，借助双编码器或交叉编码器模型，评估检索精度与召回率，从而验证模型对非英语语言的泛化能力。

解决学术问题

该数据集精准回应了多语言信息检索领域中标注资源匮乏与评估标准不统一的学术困境。通过提供高质量的人工标注相关性判断，mr-tydi/ja/dev 使得研究者能够系统性地探究稠密检索模型在低资源语言上的适应性问题，尤其是日语中汉字、假名混杂以及词边界模糊带来的检索挑战。其意义在于推动了多语言密集检索从英语中心主义向语言多样性转变，促进了跨语言表示学习、迁移学习及零样本检索等方向的实证研究，为构建真正普适的信息获取系统奠定了数据基础。

衍生相关工作

mr-tydi/ja/dev 作为 Mr. TyDi 基准的一部分，催生了多项具有影响力的后续工作。例如，研究者基于该数据集提出了用于多语言稠密检索的 ColBERT-X 模型，通过后期交互机制提升了日语等非英语语言的检索效果。此外，该数据集也被用于评估多语言预训练模型如 XLM-R 与 mBERT 在检索任务上的迁移能力，推动了多语言表示学习的深入探索。同时，Mr. TyDi 的整体框架启发了后续多语言检索基准如 XOR-TyDi 与 MIRACL 的构建，形成了以 TyDi 家族为核心的研究脉络。