fsicoli/common_voice_19_0

该数据集是Mozilla Common Voice Corpus 19.0的非官方版本，包含了多种语言的语音数据，用于自动语音识别任务。数据集支持超过100种语言，包括但不限于阿布哈兹语、阿尔巴尼亚语、阿姆哈拉语、阿拉伯语、亚美尼亚语、阿萨姆语、阿斯图里亚斯语、阿塞拜疆语、巴萨克语、巴什基尔语、巴斯克语、白俄罗斯语、孟加拉语、布列塔尼语、保加利亚语、粤语、加泰罗尼亚语、中央库尔德语、中文（中国）、中文（香港）、中文（台湾）、楚瓦什语、捷克语、丹麦语、迪维希语、迪乌拉语、荷兰语、英语、埃尔齐亚语、世界语、爱沙尼亚语、芬兰语、法语、弗里斯兰语、加利西亚语、格鲁吉亚语、德语、希腊语、瓜拉尼语、哈卡钦语、豪萨语、山地马里语、印地语、匈牙利语、冰岛语、伊博语、印度尼西亚语、国际语、爱尔兰语、意大利语、日语、卡拜尔语、哈萨克语、基尼亚卢旺达语、韩语、库尔德语、吉尔吉斯语、老挝语、拉脱维亚语、立陶宛语、卢干达语、马其顿语、马拉雅拉姆语、马耳他语、马拉地语、草地马里语、莫克沙语、蒙古语、尼泊尔语、挪威尼诺斯克语、奥克西唐语、奥里亚语、普什图语、波斯语、波兰语、葡萄牙语、旁遮普语、查卡克丘亚语、罗马尼亚语、罗曼什语、俄语、萨哈语、桑塔利语（奥尔奇基文）、萨拉基语、撒丁语、塞尔维亚语、斯洛伐克语、斯洛文尼亚语、上索布语、西班牙语、斯瓦希里语、瑞典语、台湾闽南语、塔马齐格特语、泰米尔语、塔塔尔语、泰语、提格利尼亚语、托克皮辛语、土耳其语、土库曼语、特威语、乌克兰语、乌尔都语、维吾尔语、乌兹别克语、越南语、沃提克语、威尔士语、约鲁巴语。数据集的使用方法包括通过datasets库加载和预处理数据集，以及创建PyTorch数据加载器。数据集的结构包括音频文件路径和对应的句子，以及其他字段如口音、年龄、客户端ID、赞成票、反对票、性别、地区和片段。数据集遵循公共领域CC-0许可。

This dataset is an unofficial version of the Mozilla Common Voice Corpus 19.0, containing speech data in multiple languages for automatic speech recognition tasks. The dataset supports over 100 languages, including but not limited to Abkhaz, Albanian, Amharic, Arabic, Armenian, Assamese, Asturian, Azerbaijani, Basaa, Bashkir, Basque, Belarusian, Bengali, Breton, Bulgarian, Cantonese, Catalan, Central Kurdish, Chinese (China), Chinese (Hong Kong), Chinese (Taiwan), Chuvash, Czech, Danish, Dhivehi, Dioula, Dutch, English, Erzya, Esperanto, Estonian, Finnish, French, Frisian, Galician, Georgian, German, Greek, Guarani, Hakha Chin, Hausa, Hill Mari, Hindi, Hungarian, Icelandic, Igbo, Indonesian, Interlingua, Irish, Italian, Japanese, Kabyle, Kazakh, Kinyarwanda, Korean, Kurmanji Kurdish, Kyrgyz, Lao, Latvian, Lithuanian, Luganda, Macedonian, Malayalam, Maltese, Marathi, Meadow Mari, Moksha, Mongolian, Nepali, Norwegian Nynorsk, Occitan, Odia, Pashto, Persian, Polish, Portuguese, Punjabi, Quechua Chanka, Romanian, Romansh Sursilvan, Romansh Vallader, Russian, Sakha, Santali (Ol Chiki), Saraiki, Sardinian, Serbian, Slovak, Slovenian, Sorbian, Upper, Spanish, Swahili, Swedish, Taiwanese (Minnan), Tamazight, Tamil, Tatar, Thai, Tigre, Tigrinya, Toki Pona, Turkish, Turkmen, Twi, Ukrainian, Urdu, Uyghur, Uzbek, Vietnamese, Votic, Welsh, Yoruba. The dataset can be loaded and preprocessed using the datasets library, and PyTorch dataloaders can be created. The dataset structure includes the path to the audio file and its corresponding sentence, along with additional fields such as accent, age, client_id, up_votes, down_votes, gender, locale, and segment. The dataset is licensed under the public domain CC-0.

搜集汇总

数据集介绍

构建方式

Common Voice Corpus 19.0 是由 Mozilla 基金会发起的众包语音项目，旨在构建一个大规模、多语种的开源语音数据集。该版本的数据集从项目官方网站下载并转换为 Hugging Face 格式，涵盖了从阿布哈兹语到约鲁巴语等 100 余种语言。每个数据样本包含音频文件路径及其对应的文本转录，同时附带了如口音、年龄、性别、客户端 ID、点赞数、反对数、语段和区域等元信息。数据集采用 CC-0 公共领域许可，确保了其广泛的可访问性与可复用性。

特点

该数据集最显著的特点在于其极端的语言多样性，覆盖了全球众多主流及低资源语言，为跨语言语音识别研究提供了宝贵的资源。数据采集完全基于志愿者贡献，使得样本在口音、年龄、性别等方面具有天然的真实分布，有助于提升模型的泛化能力。此外，数据集规模庞大，达到 100B 至 1T 的 token 量级，并支持流式加载，便于大规模训练场景下的高效使用。

使用方法

用户可通过 Hugging Face 的 datasets 库便捷地加载该数据集。只需调用 load_dataset 函数并指定语言配置名称（如 'pt' 代表葡萄牙语）及所需的数据划分（如 'train'），即可将数据下载至本地。数据集还支持流式加载模式，通过设置 streaming=True 参数，用户无需将整个数据集下载到磁盘，即可逐个样本进行处理，极大降低了内存占用。此外，该数据集可直接与 PyTorch 的 DataLoader 结合，支持本地或流式场景下的批量采样与训练。

背景与挑战

背景概述

Common Voice Corpus 19.0 是由 Mozilla 基金会主导构建的大规模多语种语音语料库，最初于 2019 年发布，旨在通过众包方式收集全球范围内的语音数据，推动自动语音识别（ASR）技术的民主化发展。该数据集由 Ardila 等人于 2020 年在 LREC 会议上正式提出，其核心研究问题在于如何跨越语言障碍，构建一个覆盖 100 余种语言（包括低资源语言如阿布哈兹语、萨哈语等）的高质量语音识别基准。作为开放语料库，它采用 CC-0 公共领域许可，允许研究者自由使用，显著降低了语音技术开发的准入门槛。该数据集对多语言 ASR 领域产生了深远影响，成为评估跨语言模型性能的标准测试平台，尤其为资源匮乏语言的语音识别研究提供了关键数据支撑。

当前挑战

该数据集面临的核心挑战包括：1) 领域问题层面，多语言 ASR 需应对语言间的声学差异、音素系统多样性及语法结构变化，例如声调语言（如粤语、约鲁巴语）与无声调语言的建模差异，以及低资源语言（如沃特语、托基波纳语）数据稀疏导致的过拟合风险；2) 构建过程中，众包录音的噪声控制、口音标注一致性及数据质量审核构成重大挑战，如不同年龄、性别和地域的发音变异需通过元数据（如口音、年龄字段）进行分层处理，而 CC-0 许可下数据来源的合规性验证也增加了管理复杂度。此外，语料库中部分语言（如克丘亚语、桑塔利语）的文本转写标准化不足，进一步加剧了语音与文本对齐的难度。

常用场景

经典使用场景

Common Voice Corpus 19.0 作为大规模多语种语音语料库的典范，其最经典的使用场景在于训练和评估自动语音识别（ASR）系统。该数据集囊括了超过120种语言和方言的语音片段，覆盖了从广泛使用的英语、中文到资源匮乏的沃提克语、托基波纳语等。研究者可基于此语料库构建多语种或跨语种的语音识别模型，尤其适用于低资源语言的声学建模。通过其丰富的音频-文本对齐数据，该数据集为端到端ASR模型的预训练与微调提供了坚实的数据基础，成为多语种语音技术研究的基准资源。

衍生相关工作

基于Common Voice数据集，学术界衍生出一系列经典工作。在模型架构层面，出现了如Whisper、Wav2Vec 2.0等利用其多语种数据进行预训练的代表性研究，显著提升了跨语种ASR性能。在方法创新上，涌现出针对低资源语言的迁移学习框架、数据增强策略以及无监督/自监督语音表征学习算法。此外，该数据集催生了多项语音识别挑战赛和基准评测任务，如多语种ASR排行榜，推动了社区对模型泛化能力的系统评估。这些工作不仅深化了对语音信号多模态特性的理解，也为构建更具适应性的下一代语音系统奠定了方法论基础。

数据集最近研究

最新研究方向

Common Voice Corpus 19.0作为Mozilla基金会推出的超大规模多语种语音语料库，涵盖超过100种语言，其最新版本在自动语音识别领域引发了广泛关注。当前前沿研究聚焦于利用该数据集推动低资源语言的语音识别突破，特别是针对阿布哈兹语、巴萨克语、迪乌拉语等濒危或少数族裔语言的声学模型训练。该数据集与语音技术民主化运动紧密相连，通过CC-0公共领域许可降低了研究门槛，支持了全球范围内语音助手的本地化开发。其流式加载和PyTorch集成特性促进了实时语音处理系统的研究，在跨语言迁移学习、多任务联合训练等方向展现出巨大潜力，为构建真正包容性的语音交互生态奠定了数据基础。