Hunzla/google-speech-commands-wav2vec2-960h

---
dataset_info:
features:
- name: file
dtype: string
- name: audio
dtype:
audio:
sampling_rate: 16000
- name: label
dtype:
class_label:
names:
'0': 'yes'
'1': 'no'
'2': up
'3': down
'4': left
'5': right
'6': 'on'
'7': 'off'
'8': stop
'9': go
'10': zero
'11': one
'12': two
'13': three
'14': four
'15': five
'16': six
'17': seven
'18': eight
'19': nine
'20': bed
'21': bird
'22': cat
'23': dog
'24': happy
'25': house
'26': marvin
'27': sheila
'28': tree
'29': wow
'30': backward
'31': forward
'32': follow
'33': learn
'34': visual
'35': _silence_
- name: is_unknown
dtype: bool
- name: speaker_id
dtype: string
- name: utterance_id
dtype: int8
- name: embeddings
sequence:
sequence: float32
- name: input_length
dtype: int64
splits:
- name: train
num_bytes: 11084524542.0
num_examples: 84848
- name: test
num_bytes: 648693133.75
num_examples: 4890
- name: validation
num_bytes: 1306736633.25
num_examples: 9982
download_size: 13389173178
dataset_size: 13039954309.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
- split: validation
path: data/validation-*
---

数据集信息：
特征字段：
- 名称：file
数据类型：字符串
- 名称：audio
数据类型：
音频：
采样率：16000Hz
- 名称：label
数据类型：
分类标签：
类别名称：
'0': 'yes（是）'
'1': 'no（否）'
'2': 'up（向上）'
'3': 'down（向下）'
'4': 'left（向左）'
'5': 'right（向右）'
'6': 'on（开启）'
'7': 'off（关闭）'
'8': 'stop（停止）'
'9': 'go（执行）'
'10': 'zero（零）'
'11': 'one（一）'
'12': 'two（二）'
'13': 'three（三）'
'14': 'four（四）'
'15': 'five（五）'
'16': 'six（六）'
'17': 'seven（七）'
'18': 'eight（八）'
'19': 'nine（九）'
'20': 'bed（床）'
'21': 'bird（鸟鸣）'
'22': 'cat（猫）'
'23': 'dog（狗）'
'24': 'happy（开心）'
'25': 'house（房屋）'
'26': 'marvin'
'27': 'sheila'
'28': 'tree（树木）'
'29': 'wow（哇）'
'30': 'backward（后退）'
'31': 'forward（前进）'
'32': 'follow（跟随）'
'33': 'learn（学习）'
'34': 'visual（视觉）'
'35': '_silence_（静音）'
- 名称：is_unknown
数据类型：布尔值
- 名称：speaker_id
数据类型：字符串
- 名称：utterance_id
数据类型：8位整数
- 名称：embeddings
数据类型：嵌套序列，元素为32位浮点数
- 名称：input_length
数据类型：64位整数
数据集划分：
- 数据集拆分：训练集
字节大小：11084524542.0
样本数量：84848
- 数据集拆分：测试集
字节大小：648693133.75
样本数量：4890
- 数据集拆分：验证集
字节大小：1306736633.25
样本数量：9982
下载总大小：13389173178
数据集总大小：13039954309.0
配置项：
- 配置名称：默认配置
数据文件：
- 数据集拆分：训练集
文件路径：data/train-*
- 数据集拆分：测试集
文件路径：data/test-*
- 数据集拆分：验证集
文件路径：data/validation-*

原始信息汇总

数据集信息

特征

• file: 文件名，数据类型为字符串。
• audio: 音频数据，采样率为16000。
• label: 类别标签，包含以下类别名称：
  • 0: yes
  • 1: no
  • 2: up
  • 3: down
  • 4: left
  • 5: right
  • 6: on
  • 7: off
  • 8: stop
  • 9: go
  • 10: zero
  • 11: one
  • 12: two
  • 13: three
  • 14: four
  • 15: five
  • 16: six
  • 17: seven
  • 18: eight
  • 19: nine
  • 20: bed
  • 21: bird
  • 22: cat
  • 23: dog
  • 24: happy
  • 25: house
  • 26: marvin
  • 27: sheila
  • 28: tree
  • 29: wow
  • 30: backward
  • 31: forward
  • 32: follow
  • 33: learn
  • 34: visual
  • 35: silence
• is_unknown: 是否未知，数据类型为布尔值。
• speaker_id: 说话者ID，数据类型为字符串。
• utterance_id: 话语ID，数据类型为int8。
• embeddings: 嵌入向量，数据类型为float32。
• input_length: 输入长度，数据类型为int64。

数据分割

• train: 训练集，包含84848个样本，大小为11084524542.0字节。
• test: 测试集，包含4890个样本，大小为648693133.75字节。
• validation: 验证集，包含9982个样本，大小为1306736633.25字节。

数据集大小

• 下载大小: 13389173178字节
• 数据集大小: 13039954309.0字节

配置

• default: 默认配置，包含以下数据文件路径：
  • 训练集: data/train-*
  • 测试集: data/test-*
  • 验证集: data/validation-*

搜集汇总

数据集介绍

构建方式

在语音交互与智能设备普及的背景下，精准的语音指令识别成为关键技术瓶颈。Hunzla/google-speech-commands-wav2vec2-960h数据集基于Google Speech Commands数据集构建，并经过wav2vec2-960h模型的特征增强处理。数据集包含35个类别标签，涵盖常用指令词如“yes”、“no”、“up”、“down”等，以及一个代表静音的“_silence_”类别。每条样本提供16kHz采样率的音频文件、对应的文本标签、布尔型未知标记、说话人ID、话语ID、预提取的嵌入向量及输入长度。数据集划分为训练集（84,848条）、测试集（4,890条）和验证集（9,982条），总计约13GB，确保了多场景下的鲁棒性评估。

特点

该数据集的核心特点在于其多维度信息融合与预训练模型适配性。音频特征已通过wav2vec2-960h模型提取为嵌入向量，可直接用于下游微调，大幅降低特征工程成本。标签体系覆盖35类口语指令，包含基础数字、方向、动作及静音类别，满足智能家居、车载系统等场景的通用需求。此外，数据集中包含说话人身份与话语ID元信息，支持说话人无关的泛化能力验证。布尔型“is_unknown”字段可辅助开放集识别研究，而输入长度字段则便于动态批次处理。整体结构兼顾了学术研究与工业部署的兼容性。

使用方法

使用该数据集时，推荐基于HuggingFace Datasets库加载。通过`load_dataset`函数直接指定数据集名称，即可按需获取训练、测试或验证分片。音频字段自动以16kHz重采样，嵌入向量可作为预训练特征直接输入分类器或Transformer模型。对于微调wav2vec2等自监督模型，可将原始音频与标签配对训练；若仅需快速基线测试，可直接利用嵌入向量训练线性分类器。建议在训练前根据`is_unknown`字段过滤未知样本，或使用`speaker_id`进行交叉验证以评估模型对未见说话人的适应性。数据集的标准化结构使得集成到现有语音流水线中极为便捷。

背景与挑战

背景概述

在语音交互技术蓬勃发展的当下，精确识别有限词汇指令成为智能设备人机界面的核心基石。Hunzla/google-speech-commands-wav2vec2-960h数据集应运而生，其构建根植于Google Speech Commands项目的扩展，由Hunzla团队基于wav2vec2-960h模型进行特征嵌入处理，旨在解决小词汇量语音指令识别中的泛化与噪声鲁棒性问题。该数据集于近年发布，包含35类语音指令，涵盖基础数字、方向、动作及静音类别，总计近十万条16kHz采样的音频样本，并提供了预提取的嵌入特征，为端到端语音识别的迁移学习与模型微调提供了标准化基准。其影响力在于推动了低资源语音指令识别在智能家居、移动设备及无障碍交互等场景的实用化进程，成为评估轻量级语音模型性能的重要标杆。

当前挑战

数据集当前面临的核心挑战包括：其一，领域问题层面，语音指令识别需在复杂声学环境中保持高精度，而该数据集虽涵盖35类指令，但背景噪声、口音差异及说话人变异性仍导致模型在真实场景下的误识别率偏高，尤其对‘静音’类别与近音词（如‘on’与‘off’）的区分构成持久障碍。其二，构建过程中，数据采集虽源自众包但存在标签噪声与样本分布不均，部分指令（如‘visual’、‘marvin’）样本量显著低于高频词，易引发模型过拟合；此外，基于wav2vec2-960h的嵌入提取虽提升了特征表征，却引入了预训练模型对特定语料的偏差，限制了下游任务对未见方言或非英语指令的适应能力。

常用场景

经典使用场景

在语音交互与智能控制领域，该数据集凭借其丰富的指令词汇和清晰的音频标注，成为训练关键词检测与语音命令识别系统的经典基准。研究者常利用其包含的35个类别（如'yes'、'no'、'up'、'down'等基础指令以及数字和物体名称），结合wav2vec2.0预训练模型进行微调，以验证模型在有限词汇场景下的语音理解能力。该数据集通过标准化16kHz采样率和预提取的嵌入特征，为端到端语音识别流水线提供了高效入口，尤其适用于资源受限设备上的轻量级推理任务。

实际应用

在实际部署中，该数据集驱动的语音命令系统已广泛渗透至智能家居控制、无障碍人机交互和车载语音助手等场景。例如，模型通过识别'stop'、'go'、'forward'等指令，可驱动扫地机器人执行路径规划；而'bed'、'bird'等物体名称的识别则赋能儿童教育玩具的声控互动。该数据集对_silence_类别的显式建模，更使其适用于需区分背景静音与有效命令的工业级唤醒词系统，显著提升了低功耗设备上的误触发抑制效果。

衍生相关工作

该数据集催生了一系列具有里程碑意义的学术工作，包括Google团队基于其原始版本提出的Speech Commands数据集（2018），以及后续融合wav2vec2.0架构的迁移学习范式。相关衍生研究涵盖：利用数据增强策略（如SpecAugment）提升小样本分类性能的EfficientSpeech方法；针对多语言场景的跨语种关键词检测框架；以及结合知识蒸馏技术实现模型压缩的TinySpeech系列工作。这些成果共同推动了语音命令识别从实验室基准向工业级应用的跨越。