LocalDoc/azerbaijani_asr

这个数据集包含了用于自动语音识别（ASR）任务的阿塞拜疆语语音数据。它包含了大约334小时的语音数据，大约有351,000个音频-文本对。音频格式为WAV，采样率为16kHz。数据集遵循CC-BY-NC-4.0许可。

This dataset contains Azerbaijani speech data for Automatic Speech Recognition (ASR) tasks. It includes approximately 334 hours of speech data with about 351,000 audio-text pairs. The audio format is WAV with a sampling rate of 16kHz. The dataset is licensed under CC-BY-NC-4.0.

搜集汇总

数据集介绍

构建方式

该数据集专为阿塞拜疆语自动语音识别（ASR）任务而构建，汇集了约334小时的语音数据，包含约35.1万个音频-文本配对样本。所有音频均以WAV格式存储，采样率为16kHz，确保了语音信号的保真度。每个音频片段均经过精心编号，便于按需合并以生成更长的语音段，从而满足不同研究场景对音频长度的灵活需求。

特点

数据集的特点在于其规模庞大且结构清晰，覆盖了从短到长的多种音频时长分布，其中0至2秒的片段占36.1%，2至5秒的片段占47.2%，5至10秒的片段占14.6%，10至20秒的片段占2.0%，超过20秒的片段仅占0.1%。这种多样性使得数据集能够模拟真实世界中阿塞拜疆语音的各类长度。此外，每个样本均包含音频文件、对应文本转录、音频时长及原始文件名四项特征，为模型训练提供了完备的标注信息。

使用方法

在使用时，研究者可通过Hugging Face的datasets库便捷加载该数据集：首先调用load_dataset('LocalDoc/azerbaijani_asr')获取完整数据集，随后访问训练集（train）即可迭代处理每个样本。典型的使用流程包括提取音频数组、对应的阿塞拜疆语文本及持续时间，这些数据可直接用于微调Whisper等预训练模型、从头训练新的ASR系统，或作为基准测试阿塞拜疆语语音识别性能的评估数据集。

背景与挑战

背景概述

自动语音识别技术作为人机交互的核心环节，在低资源语言领域长期面临数据匮乏的困境。阿塞拜疆语作为突厥语系的重要分支，其语音数据集的建设长期滞后于英语、汉语等主流语言，严重制约了相关语音应用的发展。2025年，由LocalDoc团队创建的azerbaijani_asr数据集正式发布，该数据集以CC-BY-4.0许可协议开放，包含约351,000条音频-文本对，总时长约334小时，采样率为16kHz，是目前规模最大的阿塞拜疆语语音识别基准数据集。其核心研究问题聚焦于为低资源语言ASR模型提供高质量训练语料，特别是支持Whisper等预训练模型的微调，填补了该语言在语音识别领域的数据空白，对推动突厥语族语言技术发展具有重要意义。

当前挑战

该数据集旨在解决阿塞拜疆语ASR领域的根本性挑战——语音数据极度匮乏问题。在构建过程中，首要挑战在于语料采集的多样性保障，包括方言差异、口音变化以及嘈杂环境下的录音质量控制，以确保模型能适应真实应用场景。其次，数据标注环节面临高精度转写的需求，阿塞拜疆语独特的语音-文字对应规则和形态丰富的构词法使手工标注成本极高。此外，音频片段时长分布极不均衡（0-5秒片段占83.3%，而20秒以上仅0.1%），这为模型学习长时程语音规律带来障碍，同时短片段易诱发过拟合风险。数据集还需解决语种内一词多义、同音异形词等语言学歧义问题，确保转录文本与声学特征的精准对齐。

常用场景

经典使用场景

在低资源语言的语音识别研究中，阿塞拜疆语长期面临标注数据匮乏的困境。该数据集收录了约334小时、35万余条音频-文本配对样本，涵盖从短句到长段的多样化时长分布，为训练端到端语音识别模型奠定了坚实基础。研究者可借助其16kHz采样率的WAV音频与精准阿塞拜疆语转写，直接用于序列到序列、连接主义时序分类或Transformer架构的模型训练，尤其适用于微调Whisper等预训练模型，实现在阿塞拜疆语场景下的语音转文本任务。

实际应用

在工业级应用层面，该数据集可驱动阿塞拜疆语智能语音交互系统的开发，涵盖语音助手、自动会议记录、语音搜索及无障碍阅读等场景。例如，在客服领域，结合该数据集训练的系统能准确识别用户查询中的数字、地名及专有名词；在教育领域，可用于构建针对非母语学习者的发音评测工具。此外，该数据集的细粒度时间信息支持语音活动检测与说话人分割，进而赋能电视广播自动字幕、法庭语音笔录等专业场景，显著提升阿塞拜疆语信息处理的自动化水平。

衍生相关工作

该数据集催生了多项代表性研究工作。其一，基于Whisper large-v3的微调实验验证了数据量级与识别精度的正相关关系，并揭示了短片段（2-5秒）在性能提升中的关键作用。其二，研究者利用该数据集训练了首个阿塞拜疆语CTC模型，对比分析不同声学特征（如Mel频谱图与Wav2Vec 2.0特征）的适应性。其三，跨语言迁移学习工作表明，以该数据集为底座，结合土耳其语等亲属语言数据可显著提升模型在未见方言上的泛化能力，为低资源语言开源生态建设提供了范式参考。