adsyamsafa/tydiqa-id

TyDi QA 是一个问答数据集，涵盖11种类型多样的语言，包含204K个问答对。TyDi QA的语言在类型学上具有多样性——即每种语言所表达的语言特征集合——因此，我们期望在此数据集上表现良好的模型能够泛化到世界上大量语言。它包含了在仅英语语料库中找不到的语言现象。为了提供一个真实的信息寻求任务并避免启动效应，问题由想知道答案但尚未知道答案的人撰写（与SQuAD及其衍生数据集不同），并且数据是直接用每种语言收集的，未使用翻译（与MLQA和XQuAD不同）。

TyDi QA is a question answering dataset covering 11 typologically diverse languages with 204K question-answer pairs. The languages of TyDi QA are diverse with regard to their typology -- the set of linguistic features that each language expresses -- such that we expect models performing well on this set to generalize across a large number of the languages in the world. It contains language phenomena that would not be found in English-only corpora. To provide a realistic information-seeking task and avoid priming effects, questions are written by people who want to know the answer, but don’t know the answer yet, (unlike SQuAD and its descendents) and the data is collected directly in each language without the use of translation (unlike MLQA and XQuAD).

搜集汇总

数据集介绍

构建方式

TyDi QA 数据集由谷歌研究团队构建，覆盖了11种语言类型迥异的语言，包含约20.4万个问答对。其构建过程力求真实，所有问题均由对答案未知的信息寻求者撰写，以避免诱导效应。数据直接通过众包方式在每种语言中采集，避免了机器翻译带来的偏差。数据集包含两个子配置：primary_task保留原始、复杂的标注信息，如多候选人答案和细粒度字节偏移；secondary_task则经过简化，适配标准的抽取式问答格式，提供了上下文、问题和答案的起始位置。

特点

该数据集的核心特点在于其语言类型的多样性与真实性。所选语言涵盖阿拉伯语、孟加拉语、英语、芬兰语、印尼语、日语、韩语、俄语、斯瓦希里语、泰卢固语和泰语，在形态、句法等方面差异显著，有助于评估模型在多语言环境下的泛化能力。数据采集过程模拟真实信息检索场景，避免了NLP任务中常见的引示偏见。此外，primary_task配置包含丰富的标注层次，如候选段落和最小答案的字节级定位，为细粒度评估提供了支持。

使用方法

该数据集可通过HuggingFace Datasets库轻松加载。加载时需指定配置名称，例如'datasets.load_dataset("tydiqa", "primary_task")'来获取包含原始标注的复杂版本，或'datasets.load_dataset("tydiqa", "secondary_task")'获得简化后的标准格式。primary_task适合需要利用段落级信息和多标注者判断的研究，而secondary_task更适用于快速训练和评估典型的抽取式问答模型。数据集已划分好训练集和验证集，用户可直接用于模型微调与评测。

背景与挑战

背景概述

TyDi QA是由谷歌研究院的研究人员于2020年发布的一个大规模多语言问答数据集，涵盖11种类型学上多样化的语言，包含约20.4万对问答样本。该数据集的核心研究动机在于应对现存问答数据集（如SQuAD、MLQA和XQuAD）主要基于英语或依赖翻译手段的局限性，旨在推动信息检索型问答系统在真实多语言场景下的泛化能力。通过直接在各目标语言中收集由不知答案的提问者撰写的自然问题，TyDi QA为评估跨语言语义理解提供了更具挑战性的基准。该数据集在自然语言处理领域产生了深远影响，成为检验多语言预训练模型（如mBERT、XLM-R）在开放域问答任务上表现的重要标准之一。

当前挑战

TyDi QA所面临的领域挑战在于多语言信息检索型问答的复杂性，模型需在缺乏翻译对齐的语料中理解跨语言的句法、词汇和语义差异，同时应对不同语言中罕见现象（如语序灵活性、词形变化）带来的泛化困难。数据集构建过程中，主要挑战包括：确保11种语言在类型学上的均衡分布以覆盖全球语言多样性，避免数据集偏向特定语系；设计众包注释流程以激励提问者撰写真实的信息寻求型问题，减少提示效应；精确标注跨语言文档中的答案片段，处理长篇章的多候选段落对齐以及“是/否”类答案的特殊标记。这些挑战共同塑造了TyDi QA作为多语言问答研究基石的地位。

常用场景

经典使用场景

TyDi QA数据集作为一项覆盖11种类型学迥异语言的大规模抽取式问答基准，其经典使用场景聚焦于评估和推动多语言问答模型的泛化能力。与仅覆盖英语的SQuAD不同，该数据集通过直接采集真实信息寻求行为而非翻译或模板生成，收录了包含阿拉伯语、孟加拉语、芬兰语等语言在内的204K问答对，这些语料蕴含丰富的语言现象，如形态变化、语序差异和零代词使用等。研究者常利用其主任务（primary task）配置，在给定段落文本中定位答案的起始与结束字节，以检验模型对低资源语言的理解水平；而次任务（secondary task）则提供精简的问答格式，便于快速预训练与微调。该数据集的设计巧妙回避了提示效应，确保每个问题均源自信息寻求者的真实求知欲，从而为跨语言语义匹配和机器阅读理解提供更贴近实际的测试环境。

实际应用

在实际应用中，TyDi QA所构建的多语言问答能力直接服务于全球化信息服务平台，使得用户能够使用母语直接查询知识百科、新闻摘要或技术支持文档。例如，印尼语或斯瓦希里语使用者利用基于该数据集训练的模型，可以从本地化维基百科内容中提取精确答案，显著降低语言屏障带来的信息获取成本。此外，该数据集也为跨国企业构建统一的多语言客服机器人提供了坚实基础：通过单一后端模型即可用多种语言回答产品常见问题，无需为每种语言独立收集标注数据。在新闻关联性检索与多语言教育辅助系统（如自动答题、文章阅读评测）中，基于TyDi QA构建的工具同样展现出高效的适应性，极大地提升了知识普及与语言服务的效率。

衍生相关工作

围绕TyDi QA衍生出的相关经典工作不胜枚举，其中最为突出的当属多语言预训练语言模型的迭代与评测。例如，基于XLM-R和mBERT的跨语言微调方案在此基准上被广泛验证，进而催生了针对类型学多样化输入优化的XLM-Roberta（XNLI）以及面向多语言序列标注的LayoutLMv3等扩展研究。此外，以TyDi QA为起点，研究者系统探索了跨语言迁移学习中词级别对齐、句子级别对比学习的关键作用，相关成果如“Cross-lingual QA via Adversarial Training”与“mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer”均以此作为核心评估数据集。这些工作不仅提升了模型在多语种抽取任务上的准确性，还推动了少样本与零样本问答策略的成熟，成为多语言自然语言处理领域不可或缺的测试基准。