fixie-ai/boolq-audio

BoolQ-Audio数据集是google/boolq数据集的衍生版本，增加了问题的音频版本作为额外特征。音频是通过将现有问题值通过Azure TTS生成器生成的，采样率为16KHz。该数据集主要用于训练和评估多模态LLM模型，特别适用于评估语音LLMs（SLMs）的零样本能力。数据集的语言为英语，许可证为Creative Commons Share-Alike 3.0。数据集包含训练集和验证集，分别有9427和3270个样本。

BoolQ-Audio dataset is a derivative variant of the google/boolq dataset, with audio versions of the questions added as an additional feature. The audio is generated via the Azure TTS generator using the original question texts, with a sampling rate of 16 kHz. This dataset is primarily used for training and evaluating multimodal Large Language Models (LLMs), and is particularly suitable for assessing the zero-shot capabilities of Speech LLMs (SLMs). The dataset is in English and licensed under Creative Commons Share-Alike 3.0. It includes a training set and a validation set, with 9427 and 3270 samples respectively.

原始信息汇总

BoolQ-Audio 数据集概述

基本信息

• 数据集名称: BoolQ-Audio
• 语言: 英语
• 许可证: Creative Commons Share-Alike 3.0 license
• 数据集大小分类: 10K<n<100K
• 多语言性: 单语种
• 源数据集: 原始数据
• 任务类别: 文本分类
• 任务ID: 自然语言推理
• PapersWithCode ID: boolq-audio

数据集特征

• 问题: 字符串类型
• 答案: 布尔类型
• 段落: 字符串类型
• 音频:
  • 采样率: 16000
• 解释: 字符串类型

数据集划分

• 训练集:
  • 样本数量: 9427
  • 字节数: 1016350618.49
• 验证集:
  • 样本数量: 3270
  • 字节数: 348430405.9

数据集大小

• 下载大小: 1031515975
• 数据集大小: 1364781024.3899999

配置

• 默认配置:
  • 训练集路径: data/train-*
  • 验证集路径: data/validation-*

用途

• 直接用途: 用于评估零样本能力下的语音大语言模型（SLM）。

搜集汇总

数据集介绍

构建方式

在自然语言处理与语音技术的交叉领域，数据集的多模态化成为推动模型理解能力的关键。BoolQ-Audio数据集基于经典的文本问答数据集google/boolq构建而成，其核心创新在于为原有问题文本赋予了语音维度。具体而言，研究者利用Azure文本转语音（TTS）生成器，以16KHz的采样率将每个问题转化为对应的音频片段，从而在不改变原始答案与篇章内容的前提下，实现了从纯文本到“文本-语音”双模态的扩展。这一过程保留了原数据集中的众包标注特性，确保了答案标签的可靠性，并严格遵循Creative Commons Share-Alike 3.0许可协议进行发布。

使用方法

对于希望评估语音语言模型（SLM）零样本能力的用户，可直接从HuggingFace数据集库加载fixie-ai/boolq-audio。使用时，模型需接受音频输入进行问题理解，并结合上下文篇章给出布尔型答案。通过将模型在验证集上的表现与google/boolq文本基准进行对比，可以量化语音与文本模态间的性能差距。此外，该数据集支持标准的文本分类与自然语言推理评估流程，适用于训练和评估多模态大语言模型，研究者可灵活选择是否利用解释字段进行更深入的错误分析或可解释性研究。

背景与挑战

背景概述

在自然语言处理领域，BoolQ数据集自2019年由Google Research发布以来，便成为评估机器阅读理解与事实验证能力的经典基准，其核心任务要求模型基于给定段落对二元问题做出真伪判断。随着多模态大语言模型的兴起，将文本理解扩展至语音模态的研究需求日益迫切，Fixie.ai于2023年基于原始BoolQ数据集构建了BoolQ-Audio，通过Azure文本转语音引擎将问题文本以16KHz采样率合成为音频，旨在填补语音输入场景下零样本推理评估的空白。该数据集保留了原始文本结构，同时引入听觉特征，为研究语音与文本输入对模型性能的差异提供了标准化测试平台，对推动语音大语言模型（SLM）的发展具有重要参考价值。

当前挑战

BoolQ-Audio面临的核心挑战在于语音模态带来的领域问题复杂性，即如何确保模型在零样本条件下，从含噪声的音频信号中准确提取语义信息以完成事实验证，这与纯文本任务相比需额外应对语音识别误差、韵律变化及环境干扰等因素。在构建过程中，技术难点包括：文本转语音合成时需平衡自然度与一致性，避免单一合成风格导致模型过拟合；音频与原始文本对齐的精确性要求高，任何时间偏移可能误导模型理解；此外，数据集规模仅约1.2万样本，限制了训练充分性，且合成语音与真实人声的差异可能影响评估结果的泛化能力，这些因素共同构成了利用该数据集进行可靠性能比较时的关键挑战。

常用场景

经典使用场景

BoolQ-Audio数据集是基于经典文本问答数据集BoolQ的音频增强版本，将原始问题通过Azure TTS引擎以16KHz采样率转化为语音信号。这一设计使其成为评估多模态大语言模型在语音-文本联合理解任务中的理想基准。研究者可借此探究模型在零样本条件下对语音问题的推理能力，并直接与文本版BoolQ的指标进行对比，从而揭示语音输入与文本输入在语义处理上的差异。

解决学术问题

该数据集有效填补了语音问答领域标准化评估资源的空白。传统自然语言推理任务多聚焦于纯文本模态，而BoolQ-Audio通过引入音频特征，解决了学术研究中语音与文本跨模态对齐的难题。它使研究者能够系统性地分析语音信号中的韵律、语调等副语言信息对模型推理准确率的影响，为构建更鲁棒的语音理解模型提供了可复现的评测框架，推动了多模态学习理论的发展。

实际应用

在实际应用中，BoolQ-Audio可支持智能语音助手、无障碍交互系统及车载语音控制等场景的研发。例如，开发者可基于该数据集训练模型，使其能通过语音提问直接从知识库中检索答案，而无需依赖文本转录步骤。这种端到端的语音问答能力显著提升了人机交互的流畅性，尤其适用于视障用户或双手被占用的操作环境，具有广泛的社会价值。

数据集最近研究

最新研究方向

BoolQ-Audio数据集的前沿研究方向聚焦于多模态大语言模型在语音与文本跨模态推理能力上的评估与对比。随着语音交互在智能助手、实时问答系统等场景中的广泛应用，如何精准衡量语音输入对模型理解与推理性能的影响成为关键课题。该数据集通过将BoolQ文本问答任务中的问题转化为16KHz采样率的语音音频，为研究语音大语言模型（SLMs）在零样本条件下的自然语言推理能力提供了标准化测试基准。当前热点事件包括语音AI在低资源环境下的鲁棒性挑战，以及多模态模型在复杂语境中的语义保持问题。BoolQ-Audio的发布使得研究者能够直接对比文本与语音输入下的模型表现差异，从而揭示语音模态对信息处理效率与准确性的独特影响。这一方向不仅推动了语音理解与文本推理的融合研究，也为构建更自然、更可靠的人机交互系统奠定了数据基础，具有重要的学术与应用价值。