monsoonery/common_voice_13_0_nl_TEST_pseudo_labelled

---
dataset_info:
config_name: nl
features:
- name: client_id
dtype: string
- name: path
dtype: string
- name: audio
dtype:
audio:
sampling_rate: 16000
- name: sentence
dtype: string
- name: up_votes
dtype: int64
- name: down_votes
dtype: int64
- name: age
dtype: string
- name: gender
dtype: string
- name: accent
dtype: string
- name: locale
dtype: string
- name: segment
dtype: string
- name: variant
dtype: string
- name: whisper_transcript
sequence: int64
splits:
- name: test
num_bytes: 402339792.568
num_examples: 10936
download_size: 359200674
dataset_size: 402339792.568
configs:
- config_name: nl
data_files:
- split: test
path: nl/test-*
---

数据集信息：
配置名称：nl
特征：
- 名称：客户端ID（client_id），数据类型：字符串
- 名称：文件路径（path），数据类型：字符串
- 名称：音频（audio），数据类型：音频，采样率：16000
- 名称：句子文本（sentence），数据类型：字符串
- 名称：赞成票数（up_votes），数据类型：64位整数
- 名称：反对票数（down_votes），数据类型：64位整数
- 名称：年龄（age），数据类型：字符串
- 名称：性别（gender），数据类型：字符串
- 名称：口音（accent），数据类型：字符串
- 名称：语言区域（locale），数据类型：字符串
- 名称：语音片段（segment），数据类型：字符串
- 名称：变体（variant），数据类型：字符串
- 名称：Whisper转录序列（whisper_transcript），数据类型：64位整数序列
数据集划分：
- 名称：测试集（test），字节数：402339792.568，样本数量：10936
下载大小：359200674
数据集总大小：402339792.568
配置项：
- 配置名称：nl，数据文件：
- 数据集划分：测试集，文件路径：nl/test-*

原始信息汇总

数据集概述

数据集配置

• 配置名称: nl

数据集特征

• client_id: 数据类型为字符串。
• path: 数据类型为字符串。
• audio: 数据类型为音频，采样率为16000。
• sentence: 数据类型为字符串。
• up_votes: 数据类型为int64。
• down_votes: 数据类型为int64。
• age: 数据类型为字符串。
• gender: 数据类型为字符串。
• accent: 数据类型为字符串。
• locale: 数据类型为字符串。
• segment: 数据类型为字符串。
• variant: 数据类型为字符串。
• whisper_transcript: 数据类型为int64序列。

数据集分割

• 分割名称: test
• 数据大小: 402339792.568字节
• 示例数量: 10936

数据集大小

• 下载大小: 359200674字节
• 数据集总大小: 402339792.568字节

搜集汇总

数据集介绍

构建方式

该数据集源自Mozilla Common Voice项目第13.0版的荷兰语（nl）语料库，专为语音识别任务设计。构建过程中，研究者选取了官方测试集（test split）中的10,936条样本，并引入伪标签技术：利用预训练的Whisper模型对每条音频生成转录文本（whisper_transcript字段），从而在无需人工标注的情况下扩充标注数据。音频以16kHz采样率存储，保留了声学特征，同时保留了原始元数据如年龄、性别、口音等，便于后续分析。

使用方法

使用时，可通过HuggingFace Datasets库加载配置名为'nl'的测试集，直接访问audio字段获取16kHz波形数组及sentence字段作为参考文本。whisper_transcript字段可作为弱监督训练的伪标签，或与原始sentence对比评估模型一致性。建议先过滤低投票样本（如down_votes较高者）以提升数据质量。适用于荷兰语语音识别、口音识别及伪标签有效性验证等任务，加载代码示例：load_dataset('monsoonery/common_voice_13_0_nl_TEST_pseudo_labelled', 'nl', split='test')。

背景与挑战

背景概述

在语音识别领域，大规模多语种数据集的构建与标注一直是推动技术发展的关键瓶颈。Common Voice项目由Mozilla基金会发起，旨在通过众包方式收集全球多种语言的语音数据，以促进语音技术的民主化。该数据集创建于2023年，由Mozilla及其社区贡献者共同完成，核心研究问题在于如何利用弱监督或伪标签方法降低高质量语音数据的人工标注成本。monsoonery/common_voice_13_0_nl_TEST_pseudo_labelled作为Common Voice第13.0版荷兰语测试子集的伪标签版本，通过Whisper模型生成转录，为低资源语言的语音识别研究提供了重要基准。该数据集包含10936条测试样本，涵盖了年龄、性别、口音等多维度说话人信息，对评估多语种语音识别系统的泛化能力具有显著影响力。

当前挑战

该数据集面临的核心挑战源于伪标签技术的固有局限性。首先，Whisper模型生成的转录可能包含噪声或错误，尤其在处理非标准口音、方言或背景噪声复杂的语音片段时，伪标签的准确性难以保证，这直接影响下游语音识别模型的评估可靠性。其次，荷兰语作为中等资源语言，其数据收集过程中面临说话人分布不均的问题，如年龄、性别和口音等元数据存在偏差，可能导致模型在特定人群上的性能退化。此外，构建过程中需平衡众包数据质量与规模，由于测试集仅包含10936个样本，有限的数据量可能无法全面覆盖荷兰语的语音变体，从而限制了对模型鲁棒性的充分检验。

常用场景

经典使用场景

在语音识别与自然语言处理的交叉领域中，Common Voice 13.0 荷兰语测试集伪标签版为低资源语言的声学模型评估提供了不可或缺的基准。该数据集包含近一万一千条采样率为16kHz的音频片段，并附有转录文本及说话人元数据（如年龄、性别、口音），使其成为跨语言语音识别系统鲁棒性验证的经典平台。研究者常利用其伪标签特性，在无真实标注的测试场景中评估半监督或自监督预训练模型的泛化能力，尤其适用于对比不同噪声环境下的词错误率表现。

解决学术问题

该数据集核心解决了低资源语言语音识别中标注数据匮乏与评估基准缺失的双重困境。通过引入Whisper模型生成的伪标签，它创新性地突破了传统测试集对人工标注的依赖，为研究者在学术层面探索知识蒸馏、领域自适应及弱监督学习等前沿课题提供了可复现的评估标准。其结构化元数据（如口音变体）更助力于分析语音识别系统对人口统计学特征的偏差，推动了公平性机器学习方法在语音领域的发展。

实际应用

在实际应用中，该数据集为荷兰语智能语音助手、自动字幕生成系统及多语言客服平台的开发提供了关键测试资源。企业可借助其伪标签特性快速迭代模型，在缺少母语标注团队的情况下验证荷兰语语音接口的准确性。此外，医疗领域的语音病历录入、教育场景的发音评测系统均可利用该数据集评估跨年龄段与口音差异的识别性能，从而降低部署风险。

数据集最近研究

最新研究方向

在语音识别与自然语言处理交叉领域，Common Voice 13.0荷兰语测试子集的伪标签化版本正成为低资源语言模型优化的关键数据支撑。该数据集通过Whisper模型生成的伪转录标签，弥补了传统人工标注成本高昂的短板，尤其适用于荷兰语这类非英语语种的声学建模与鲁棒性提升研究。当前前沿方向聚焦于利用伪标签进行半监督学习，在保持测试集分布真实性的前提下，探索教师-学生框架下的噪声标签校正与置信度筛选策略。此外，该数据集与多语言语音识别大模型（如Whisper、Wav2Vec2-XLSR）的微调实验紧密关联，为评估跨语言迁移中的领域偏移问题提供了标准化测试床，推动低资源语种在智能助手、语音搜索等场景的实用化落地。