NYTK/HuBoolQ

BoolQ匈牙利语（机器翻译）数据集是BoolQ阅读理解数据集的匈牙利语机器翻译版本，用于是/否问题。每个示例包含原始英语问题和段落、匈牙利语翻译以及可选的修正版本，因此可用作并行语料库或根据任务需求选择合适形式。数据集结构包括原始英语问题（question_en）、匈牙利语机器翻译问题（question）、修正后匈牙利语问题（corrected_question）、答案（answer）、原始英语段落（passage_en）、匈牙利语机器翻译段落（passage）、修正后匈牙利语段落（corrected_passage）和翻译工具标识（translation_tool）。数据集包含9,427个训练示例和3,270个验证示例。构建过程包括使用Google Translate进行翻译、规则清理、拼写检查、GPT-4o mini重写和手动验证。数据集仍处于开发中，未来会进一步修正。

BoolQ Hungarian (Machine Translation) is a Hungarian translation of the BoolQ reading-comprehension dataset for yes/no questions. Every example contains the original English question and passage alongside the Hungarian translation and an optional corrected version, so you can use it as a parallel corpus or pick whichever form fits your task. The dataset structure includes original English question (question_en), Hungarian machine translation of the question (question), polished Hungarian version of the question (corrected_question), ground-truth answer (answer), original English passage (passage_en), Hungarian machine translation of the passage (passage), polished Hungarian version of the passage (corrected_passage), and translation tool identifier (translation_tool). It contains 9,427 training examples and 3,270 validation examples. The dataset was built through translation using Google Translate, rule-based cleanup, spell-checking, GPT-4o mini rewriting, and manual verification. It is still a work in progress with further corrections to be applied in the future.

搜集汇总

数据集介绍

构建方式

HuBoolQ数据集是基于Google BoolQ英文阅读理解语料库，通过自动化流水线构建的匈牙利语版本。首先，利用Google Translate将原始英文的疑问句和段落并行翻译为匈牙利语，并保留原始机器翻译输出。随后，实施规则化清洗流程，包括去除首尾空白、纠正标点位置、统一首字母大写、补充缺失问号，并修复拉丁字符编码错误（如û→ű）。在此基础上，借助Hunspell匈牙利语拼写词典进行拼写检查，识别潜在问题。最终，采用GPT-4o mini对翻译文本进行重写，以修正误译与生硬表达，并再次进行清洗。每个样本均保留了原始英文文本、机器翻译结果及修正版本，便于对比与使用。

特点

该数据集涵盖约12,697个样本，划分为训练集（9,427条）和验证集（3,270条），专注于是非问答型阅读理解任务。其独特之处在于每个实例包含四组文本字段：原始英文疑问句与段落、未经修改的机器翻译、以及经过多阶段校正的匈牙利语版本。答案标签保持原始布尔值不变，翻译工具标识字段确保了过程可追溯。经过规则清洗、拼写检测与LLM重写三重校正，数据集在保持原始语义的同时提升了匈牙利语的自然度与准确性。特别地，修正版本仅在与原始翻译存在差异时填充，降低了冗余数据量。

使用方法

用户可通过HuggingFace的`load_dataset`接口便捷加载HuBoolQ，例如`load_dataset('NYTK/HuBoolQ')`。若需直接使用修正后的匈牙利语版本，可移除英文列与原始机器翻译列，并将`corrected_question`与`corrected_passage`重命名为`question`与`passage`。该数据集适用于多任务场景：作为匈牙利语问答基准进行模型评估；利用平行语料（英文-匈牙利语）训练机器翻译系统；或用于跨语言阅读理解与自然语言推理研究。开发者可依据任务需求自由选用原始翻译或校正版本，灵活适配下游应用。

背景与挑战

背景概述

HuBoolQ数据集诞生于多语言自然语言理解研究蓬勃发展的背景下，由匈牙利科学院语言研究所（NYTK）于近年构建，旨在将经典的英文BoolQ阅读理解数据集迁移至匈牙利语领域。BoolQ源于Clark等人2019年在NAACL上提出的核心研究问题——探索自然语言中是非问答的惊人难度，其数据由用户真实查询与维基百科段落构成，对机器阅读理解模型的推理能力提出了严峻挑战。HuBoolQ的创建不仅延续了这一研究脉络，更通过机器翻译与多阶段精炼技术，将这一基准扩展至低资源语言，为匈牙利语问答系统的评估提供了首个大规模标准化数据集，对推动少样本与跨语言迁移学习研究具有深远影响。

当前挑战

HuBoolQ所应对的领域挑战聚焦于是非问答任务中隐含的复杂语义推理，模型需在无显式线索的段落中捕捉细粒度逻辑关系并作出二元判断，这一过程远非表层模式匹配所能及。在数据集构建层面，首要挑战源自机器翻译的固有缺陷：谷歌翻译在匈牙利语长文本中易产生语序错乱或术语误译，虽经规则化清洗与GPT-4o mini重写，仍难以完全消除外来词汇的翻译痕迹与背景缺失问题。此外，手动验证仅覆盖30个样本，大规模标注的可靠性受限于零星修正；品牌名词的误译与原始英文中用户提问的不规范性进一步加剧了语料清洁的复杂性，使得该数据集目前仍处于持续优化的迭代状态。

常用场景

经典使用场景

HuBoolQ数据集是BoolQ基准的匈牙利语机器翻译版本，其经典使用场景聚焦于跨语言阅读理解与是非问答任务的评估与训练。研究者可利用该数据集的平行语料结构，将原始英语篇章与问题映射至匈牙利语环境，以此检验多语言模型在处理自然是非疑问句时的语义理解能力。由于BoolQ原始数据中的问题由用户生成，常带有非规范语法和隐含歧义，HuBoolQ的匈牙利语版本为探究机器翻译噪声对模型鲁棒性的影响提供了独特视角。该数据集特别适用于测试多语言预训练模型（如XLM-R、mBERT）在低资源语言上的迁移学习表现，并用作分析问答任务中答案可证伪性与推理深度的跨语言对照组。

衍生相关工作

HuBoolQ直接衍生了一系列聚焦于低资源语言问答鲁棒性的经典工作。研究者常将其作为多语言对抗性攻击与防御的测试床，例如通过向匈牙利语输入注入翻译扰动来评测模型的稳定性。该数据集催化了针对机器翻译伪影的纠错后处理算法开发，催生了结合形态学分析（Hunspell）与规则引擎的混合式翻译净化流程，该流程已被后续的跨语言数据集构建采纳。此外，基于HuBoolQ的标准评估体系，衍生出关于“匈牙利语阅读理解中句法歧义消解”的专项研究，以及利用其平行结构进行零样本跨语言推理蒸馏的方法论探索。它还作为关键组件被整合至多语言是非问答排行榜，推动了对东欧语言NLP资源公平性的关注，并启发了类似克罗地亚语、芬兰语BoolQ翻译版本的诞生。

数据集最近研究

最新研究方向

HuBoolQ数据集作为BoolQ的匈牙利语机器翻译版本，其构建融合了Google Translate、规则化清洗、Hunspell拼写检查及GPT-4o mini二次修正的多阶段流水线，为低资源语言的自然语言理解研究提供了重要资源。当前前沿方向聚焦于多语言阅读理解中的零样本迁移与跨语言知识蒸馏，尤其是利用该双语平行语料探究机器翻译噪声对问答模型鲁棒性的影响。结合近期多语言大模型（如XLM-R、mT5）在亚欧语系上的表现评估，该数据集为验证匈牙利语等非英语任务在语义一致性与语法流畅性上的挑战提供了基准。其修正版本的存在更支撑了翻译后门攻击检测与跨语言事实一致性研究，推动了对机器翻译伪相关性的深入理解。