ilkerkara/common_voice_13_0_tr_pseudo_labelled

---
dataset_info:
config_name: tr
features:
- name: client_id
dtype: string
- name: path
dtype: string
- name: audio
dtype:
audio:
sampling_rate: 16000
- name: sentence
dtype: string
- name: up_votes
dtype: int64
- name: down_votes
dtype: int64
- name: age
dtype: string
- name: gender
dtype: string
- name: accent
dtype: string
- name: locale
dtype: string
- name: segment
dtype: string
- name: variant
dtype: string
- name: whisper_transcript
sequence: int64
splits:
- name: train
num_bytes: 669695647.488
num_examples: 31091
- name: validation
num_bytes: 264558864.057
num_examples: 10837
- name: test
num_bytes: 354553516.557
num_examples: 10839
download_size: 1134992342
dataset_size: 1288808028.102
configs:
- config_name: tr
data_files:
- split: train
path: tr/train-*
- split: validation
path: tr/validation-*
- split: test
path: tr/test-*
---

数据集信息：
配置名称：tr
特征项：
- 特征名称：client_id（客户端ID），数据类型：字符串
- 特征名称：path（路径），数据类型：字符串
- 特征名称：audio（音频数据），数据类型：音频格式，参数：采样率16000Hz
- 特征名称：sentence（语句文本），数据类型：字符串
- 特征名称：up_votes（正向投票数），数据类型：64位整数
- 特征名称：down_votes（反向投票数），数据类型：64位整数
- 特征名称：age（年龄），数据类型：字符串
- 特征名称：gender（性别），数据类型：字符串
- 特征名称：accent（口音），数据类型：字符串
- 特征名称：locale（语言区域），数据类型：字符串
- 特征名称：segment（语音片段），数据类型：字符串
- 特征名称：variant（变体标识），数据类型：字符串
- 特征名称：whisper_transcript（Whisper转录序列），数据类型：64位整数序列
数据拆分：
- 拆分名称：train（训练集），占用字节数：669695647.488，样本数量：31091
- 拆分名称：validation（验证集），占用字节数：264558864.057，样本数量：10837
- 拆分名称：test（测试集），占用字节数：354553516.557，样本数量：10839
下载总大小：1134992342 字节
数据集总存储大小：1288808028.102 字节
配置项：
- 配置名称：tr
数据文件：
- 拆分类型：train（训练集），文件路径：tr/train-*
- 拆分类型：validation（验证集），文件路径：tr/validation-*
- 拆分类型：test（测试集），文件路径：tr/test-*

原始信息汇总

数据集概述

配置名称

• config_name: tr

特征信息

• client_id: 字符串类型
• path: 字符串类型
• audio: 音频类型，采样率为16000
• sentence: 字符串类型
• up_votes: 64位整数类型
• down_votes: 64位整数类型
• age: 字符串类型
• gender: 字符串类型
• accent: 字符串类型
• locale: 字符串类型
• segment: 字符串类型
• variant: 字符串类型
• whisper_transcript: 序列类型，64位整数

数据分割

• train: 训练集，包含31091个样本，大小为669695647.488字节
• validation: 验证集，包含10837个样本，大小为264558864.057字节
• test: 测试集，包含10839个样本，大小为354553516.557字节

数据文件

• config_name: tr
  • train: 路径为tr/train-*
  • validation: 路径为tr/validation-*
  • test: 路径为tr/test-*

数据集大小

• 下载大小: 1134992342字节
• 数据集大小: 1288808028.102字节

搜集汇总

数据集介绍

构建方式

在语音识别领域，大规模、高质量且带有精确标注的数据集是模型性能提升的基石。该数据集基于Mozilla Common Voice 13.0土耳其语子集构建，通过引入Whisper模型进行伪标签生成，为原始语音数据赋予了额外的转录信息。具体而言，数据集中保留了原始字段如client_id、audio、sentence及投票信息，同时新增了whisper_transcript字段，该字段以序列形式存储Whisper模型生成的文本预测。数据集划分为训练集（31091条）、验证集（10837条）和测试集（10839条），音频均统一为16kHz采样率，确保了数据格式的一致性与可用性。

特点

该数据集最显著的特点在于其融合了众包语音数据与先进模型的伪标签技术，形成了双重标注体系。一方面，它继承了Common Voice项目的丰富元数据，包括说话者年龄、性别、口音、地区等人口统计学信息，支持多维度分析与公平性研究。另一方面，whisper_transcript字段的加入，使得研究者能够对比人工标注与模型输出的差异，用于半监督学习、知识蒸馏或模型鲁棒性评估。此外，数据规模适中且划分明确，兼顾了训练效率与评估的可靠性，尤其适合土耳其语语音识别任务的探索。

使用方法

使用该数据集时，可通过Hugging Face Datasets库直接加载，指定配置名为'tr'即可获取划分好的训练、验证和测试集。加载后的数据包含音频路径、波形数组及对应的文本标注，whisper_transcript字段可直接用于计算伪标签与真实标签的差异。典型应用场景包括：利用音频和sentence字段训练端到端语音识别模型，或使用whisper_transcript进行自训练（self-training）实验。对于需要元数据的任务，可依据age、gender等字段筛选子集，研究模型在不同人群上的表现偏差。建议在加载时设置采样率为16kHz以匹配模型输入要求。

背景与挑战

背景概述

在自动语音识别（ASR）领域，土耳其语作为一种资源相对匮乏的语言，长期以来受到标注数据不足的制约。该数据集由研究者ilkerkara于2023年基于Mozilla Common Voice 13.0土耳其语子集构建，通过引入Whisper模型生成的伪标签（pseudo-labels）来扩充训练数据。核心研究问题在于探索如何利用大规模预训练模型的知识蒸馏技术，缓解低资源语言ASR系统中人工标注成本高、规模有限的困境。该工作为土耳其语语音识别提供了约31,091条训练样本、10,837条验证样本及10,839条测试样本，显著提升了该语言在开源社区中的可用数据量，对推动多语言语音技术的均衡发展具有示范意义。

当前挑战

该数据集面临的核心挑战包括：其一，伪标签的可靠性问题——Whisper模型生成的转录可能包含噪声或错误，尤其对于土耳其语特有的元音和谐、词缀变化等复杂语言现象，错误传播会直接影响下游ASR模型的训练质量；其二，数据分布偏差——Common Voice语料库的说话人年龄、性别、口音分布不均，可能导致模型对特定群体产生偏见；其三，构建过程中的对齐难题——原始音频与伪标签的时序对齐精度不足，尤其在处理语速差异或背景噪声时，容易引入训练信号的不一致性。

常用场景

经典使用场景

该数据集为土耳其语语音识别研究提供了高质量的标注语料，其核心应用场景在于训练和评估端到端自动语音识别（ASR）模型。数据集中包含的音频文件以16kHz采样率存储，并配有文本转录及whisper_transcript伪标签，使得研究者能够利用预训练模型（如Whisper）进行知识蒸馏或半监督学习，从而提升低资源语言场景下的识别性能。此外，丰富的元数据（如年龄、性别、口音）为探究说话人特征对ASR系统鲁棒性的影响提供了实验基础。

解决学术问题

该数据集有效缓解了土耳其语等低资源语言在语音识别研究中数据匮乏的困境。通过引入伪标签机制，它解决了传统人工标注成本高昂且耗时的问题，为半监督学习和自训练范式提供了可靠的实验平台。学术上，它助力于探索跨语言迁移学习、领域自适应以及噪声鲁棒性等核心议题，其意义在于推动了多语言ASR系统的公平性和包容性发展，使非英语语言在语音技术前沿研究中获得更多关注。

衍生相关工作

该数据集衍生了一系列经典研究工作，包括基于Whisper模型的伪标签自训练方法、多任务学习框架下的语音识别与说话人属性联合建模，以及针对低资源语言的对比学习预训练策略。此外，研究者利用其丰富的元数据开展了口音自适应和年龄相关语音变化分析，推动了说话人归一化技术的进步。这些工作不仅验证了伪标签在低资源场景下的有效性，还为后续构建更大规模的多语言语音数据集提供了方法论参考。