5CD-AI/Vietnamese-msMARCO-ggtranslated

---
configs:
- config_name: qrels.dev
data_files:
- split: train
path: qrels.dev.tsv
- config_name: qrels.retrieval.dev
data_files:
- split: train
path: qrels.dev.small.tsv
- config_name: collection
data_files:
- split: train
path: vietnamese_collection.tsv
- config_name: queries.train
data_files:
- split: train
path:
- vietnamese_queries.train.tsv
- config_name: queries.dev
data_files:
- split: train
path:
- vietnamese_queries.dev.tsv
- config_name: train.bm25.tsv
data_files:
- split: train
path:
- run.bm25_vietnamese-msmarco.txt

- config_name: triples.train
data_files:
- split: train
path:
- triples.train.ids.small.tsv
---

原始信息汇总

数据集配置详情

配置 qrels.dev

• 数据文件:
  • 分割: 训练
  • 路径: qrels.dev.tsv

配置 qrels.retrieval.dev

• 数据文件:
  • 分割: 训练
  • 路径: qrels.dev.small.tsv

配置 collection

• 数据文件:
  • 分割: 训练
  • 路径: vietnamese_collection.tsv

配置 queries.train

• 数据文件:
  • 分割: 训练
  • 路径: vietnamese_queries.train.tsv

配置 queries.dev

• 数据文件:
  • 分割: 训练
  • 路径: vietnamese_queries.dev.tsv

配置 train.bm25.tsv

• 数据文件:
  • 分割: 训练
  • 路径: run.bm25_vietnamese-msmarco.txt

配置 triples.train

• 数据文件:
  • 分割: 训练
  • 路径: triples.train.ids.small.tsv

搜集汇总

数据集介绍

构建方式

该数据集基于英文MS MARCO语料库，通过Google Translate引擎进行越南语翻译构建而成。其核心架构包含五个配置模块：查询集（queries.train与queries.dev）、文档集合（collection）、相关性标注（qrels.dev与qrels.retrieval.dev）、BM25检索排序（train.bm25.tsv）以及三元组训练数据（triples.train）。数据以TSV格式存储，便于高效加载与处理。

特点

数据集具备多维度结构特性，既涵盖训练与开发阶段的查询和文档对，又提供细粒度的相关性判断。BM25检索排序文件为神经排序模型提供了强基线参照，而三元组格式（查询-正例-负例）则直接适配于对比学习与排序蒸馏任务。越南语翻译版本填补了低资源语言在信息检索领域的数据空白，支持跨语言迁移研究。

使用方法

用户可通过HuggingFace Datasets库按配置名称（如'queries.train'、'collection'）加载对应子集。查询与文档数据适用于构建检索模型的输入，qrels文件用于评估排序性能。三元组数据可直接用于训练双编码器或交叉编码器模型。建议配合Transformers库进行分词与微调，将BM25结果作为初始检索候选集，进一步应用神经排序模型优化。

背景与挑战

背景概述

在信息检索领域，多语言与低资源语言的检索能力一直是研究的前沿议题。5CD-AI/Vietnamese-msMARCO-ggtranslated数据集诞生于这一背景下，由5CD-AI研究团队于近年创建，旨在填补越南语在稠密检索与排序任务中的语料空白。该数据集基于英文MS MARCO Passage Ranking数据集，通过Google Translate自动翻译为越南语，构建了包含查询、文档及相关性标注的完整检索基准。核心研究问题在于评估跨语言迁移与机器翻译对检索系统性能的影响，尤其关注越南语这一低资源语言在神经检索模型上的表现。该数据集的发布为越南语自然语言处理领域提供了首个大规模检索基准，推动了东南亚语言信息检索技术的发展，并成为评估多语言BERT及稠密检索模型的重要测试平台。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，越南语作为低资源语言，其形态丰富且缺乏大规模高质量标注数据，使得基于深度学习的检索模型难以直接迁移，需解决跨语言语义对齐与零样本泛化问题。其次，构建过程中，依赖Google Translate自动翻译可能引入噪声与语义偏差，例如越南语中一词多义、口语化表达及专有名词的翻译不准确，导致查询与文档间的相关性标注质量下降。此外，原始MS MARCO的英文语料结构复杂，翻译后需人工校验以确保查询意图与文档内容的一致性，而现有自动评估指标难以全面捕捉翻译误差对检索性能的影响。这些挑战限制了数据集在真实场景中的鲁棒性，亟需设计更精细的翻译后处理策略与跨语言检索评估框架。

常用场景

经典使用场景

在信息检索与自然语言处理交叉领域，越南语作为低资源语言长期面临标注语料匮乏的困境。5CD-AI/Vietnamese-msMARCO-ggtranslated数据集通过将英文MS MARCO语料库进行机器翻译与人工校验，构建了首个大规模越南语检索基准。其核心使用场景在于训练和评估越南语段落检索模型，研究者可基于queries.train与collection子集构建稠密或稀疏检索系统，并利用qrels.dev与triples.train进行排序学习与指标验证。

衍生相关工作

基于该数据集，学界已衍生出多项经典工作：研究者利用其训练了越南语版本的Sentence-BERT与ANCE模型，在稀疏检索基础上验证了稠密检索的优越性；部分工作进一步引入跨语言知识蒸馏，将英文检索模型的能力迁移至越南语。此外，该数据集还被用于评测基于预训练语言模型（如PhoBERT、XLM-R）的检索微调策略，催生了针对越南语查询扩展与伪相关反馈的专项研究，形成了低资源语言检索方法论的完整链条。

数据集最近研究

最新研究方向

在跨语言信息检索领域，越南语作为低资源语言长期面临标注数据匮乏的困境。5CD-AI/Vietnamese-msMARCO-ggtranslated数据集通过将英文MS MARCO语料库进行机器翻译与人工校验，构建了首个大规模越南语检索基准，涵盖查询、文档及相关性判断三元组。该数据集的出现推动了神经检索模型在越南语场景下的适配研究，近期研究聚焦于利用多语言预训练模型（如XLM-R）在此数据集上进行零样本与少样本微调，探索翻译质量对检索性能的边际影响。同时，围绕该数据集开展的对抗性检索测试与查询重写实验，为低资源语言的信息获取系统提供了可复现的评估平台，对东南亚地区搜索引擎优化与数字人文研究具有奠基意义。