SEACrowd/vimqa

VIMQA是一个越南语的多跳问答数据集，包含超过10,000个基于维基百科的问题-答案对。该数据集由人工生成，具有四个主要特点：问题需要跨多个段落的复杂推理、提供句子级别的支持事实以帮助模型推理和解释答案、包含多种推理类型以测试模型的推理能力、数据集使用越南语这一低资源语言。

原始信息汇总

Vimqa 数据集概述

基本信息

• 名称: Vimqa
• 语言: 越南语 (vie)
• 任务类别: 问答 (question-answering)
• 标签: 问答 (question-answering)
• 数据集版本:
  • 源版本: 1.0.0
  • SEACrowd版本: 2024.06.20
• 许可证: 其他 (others)
• 数据集主页: https://github.com/vimqa/vimqa

数据集描述

• 规模: 超过10,000个基于维基百科的多跳问答对。
• 特点:
  • 问题需要对多个段落进行高级推理。
  • 提供句子级别的支持事实，使问答模型能够推理并解释答案。
  • 包含多种类型的推理，测试模型的推理和提取相关证据的能力。
  • 数据集为越南语，属于低资源语言。

使用方法

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/vimqa", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("vimqa", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("vimqa"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

引用

bibtex @inproceedings{le-etal-2022-vimqa, title = "{VIMQA}: A {V}ietnamese Dataset for Advanced Reasoning and Explainable Multi-hop Question Answering", author = "Le, Khang and Nguyen, Hien and Le Thanh, Tung and Nguyen, Minh", editor = "Calzolari, Nicoletta and B{e}chet, Fr{e}d{e}ric and Blache, Philippe and Choukri, Khalid and Cieri, Christopher and Declerck, Thierry and Goggi, Sara and Isahara, Hitoshi and Maegaard, Bente and Mariani, Joseph and Mazo, H{e}l{e}ne and Odijk, Jan and Piperidis, Stelios", booktitle = "Proceedings of the Thirteenth Language Resources and Evaluation Conference", month = jun, year = "2022", address = "Marseille, France", publisher = "European Language Resources Association", url = "https://aclanthology.org/2022.lrec-1.700", pages = "6521--6529", }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

VIMQA是一个面向越南语的多跳问答数据集，基于维基百科构建，包含超过10,000个由人工生成的问题-答案对。其构建过程强调高级推理能力，每个问题均需跨越多个段落进行复杂推理才能得出答案。数据集提供了句子级别的支持事实，使模型不仅能回答问题，还能定位并解释推理依据。此外，数据集涵盖了多种推理类型，旨在全面评估模型在低资源语言环境下的推理与证据提取能力。

特点

该数据集的核心特点在于其多跳推理的复杂性与可解释性。所有问题均要求模型具备跨越多个信息片段进行逻辑整合的能力，而非简单的单句检索。句子级别的支持事实标注为模型提供了透明的推理路径，增强了可解释性。同时，数据集包含多样化的推理类型，如比较、因果、时序等，能够全面测试模型的深度理解与综合推理能力。作为越南语数据集，VIMQA填补了低资源语言在复杂问答领域的数据空白。

使用方法

用户可通过HuggingFace的datasets库直接加载该数据集，使用`load_dataset("SEACrowd/vimqa", trust_remote_code=True)`命令即可获取。此外，也可通过SEACrowd库以`sc.load_dataset("vimqa", schema="seacrowd")`方式加载，并利用`available_config_names`查看所有可用子集。数据集遵循特定的EULA许可协议，需在获取前审阅其使用条款。引用时需注明Le等人2022年的原始论文及SEACrowd相关文献。

背景与挑战

背景概述

在自然语言处理领域，多跳问答（multi-hop question answering）是一项极具挑战性的任务，要求模型能够整合分散于多个文档或段落中的信息以推导出正确答案。针对越南语这一低资源语言，此类研究尤为稀缺。VIMQA数据集由Le等人于2022年提出，其核心贡献在于构建了一个包含超过10,000对基于维基百科的多跳问答对的人工标注语料库。该数据集由越南研究团队主导开发，旨在推动低资源语言下的高级推理与可解释问答研究。VIMQA不仅提供了句子级别的支持事实，还涵盖了多种推理类型，为评估模型的复杂推理与证据提取能力提供了标准化基准，对东南亚语言信息检索与问答系统的发展具有重要影响。

当前挑战

VIMQA所应对的核心挑战在于低资源语言背景下多跳推理问答的领域空白，即缺乏能够测试模型跨段落整合信息与逻辑推断能力的标注数据。在构建过程中，研究者面临多重困难：首先，多跳问答对的生成需要人工设计复杂的推理路径，确保问题无法通过单一段落直接回答，这显著增加了标注成本与质量控制难度。其次，句子级支持事实的标注要求标注者精确定位推理链条中的关键证据，对语言学知识要求较高。此外，越南语作为低资源语言，其维基百科内容覆盖度有限，进一步限制了数据来源的多样性与规模，使得数据集在泛化能力上存在潜在局限。

常用场景

经典使用场景

在自然语言处理与机器阅读理解领域，VIMQA数据集被广泛用于训练和评估多跳问答模型。该数据集包含超过一万个基于维基百科的人工标注问答对，要求模型在多个段落间进行复杂推理以得出正确答案。其独特之处在于提供了句子级别的支持事实，使得模型不仅能够回答问题，还能展示推理路径，这对于提升可解释人工智能至关重要。作为越南语资源，VIMQA填补了低资源语言在多跳推理任务上的空白，为跨语言迁移学习与低资源语言问答系统的研究提供了宝贵基准。

实际应用

在实际应用中，VIMQA所代表的多跳问答技术可赋能智能客服、教育辅导与信息检索系统。例如，在越南语环境中，用户可能提出涉及多个知识片段的问题，如“胡志明市的创立者与河内的著名湖泊有何关联？”；借助VIMQA训练的模型能综合分散信息并给出连贯答案，显著提升对话系统的交互质量。此外，该数据集还可用于开发法律或医疗领域的辅助决策工具，其中需要从多篇文档中提取并推理关键证据，从而为专业用户提供精准支持。

衍生相关工作

VIMQA的发布催生了一系列围绕多跳推理与低资源语言建模的经典研究。例如，Le等人提出的基线模型结合了图神经网络与注意力机制，以捕捉跨段落的语义依赖；随后，基于预训练语言模型如XLM-R的微调方法被证明在VIMQA上取得显著进展，推动了跨语言迁移学习的优化。此外，该数据集也被用于评估提示工程与增强检索生成（RAG）技术在越南语上的效果，相关研究进一步拓展了多跳问答在低资源场景下的方法论边界，并为东南亚语言处理社区提供了可复用的基准。