Golos

Golos是一个专为俄语语音研究设计的大型数据集，由俄罗斯的Sber机构创建。该数据集主要包含通过众包平台手动标注的音频文件，总时长约1240小时。数据集内容丰富，涵盖多种语音数据，包括从众包平台和智能屏幕SberPortal收集的音频。创建过程中，通过模板创建、音频生成、众包验证和辅助转录四个步骤确保数据质量。Golos数据集主要用于语音识别系统的训练和测试，旨在提高自动语音识别（ASR）算法的性能和鲁棒性。

Golos is a large-scale dataset specifically designed for Russian speech research, created by Sber, a Russian institution. This dataset primarily consists of manually annotated audio files collected via crowdsourcing platforms, with a total duration of approximately 1,240 hours. The dataset covers rich and diverse speech data, including audio collected from both crowdsourcing platforms and the SberPortal smart screen. During the dataset's creation, four steps including template creation, audio generation, crowdsourcing verification and auxiliary transcription were adopted to ensure data quality. The Golos dataset is mainly used for training and testing speech recognition systems, with the goal of enhancing the performance and robustness of automatic speech recognition (ASR) algorithms.

搜集汇总

数据集介绍

构建方式

在语音识别领域，高质量、大规模且人工标注的语料库是推动技术发展的基石。Golos数据集正是为填补俄语语音研究资源空白而构建。其构建过程始于模板创建，针对音乐、电影、地址等实际应用场景设计文本模板，生成海量拟真查询语句。随后，通过众包平台Yandex.Toloka和SberPortal智能屏幕进行录音采集，并引入双重验证机制：先由五名标注者核对音频与文本是否匹配，再由另一组标注者将包含外来字符的原始文本转写为纯西里尔字母与空格的形式，确保语料的纯净性与准确性。最终，数据集包含约1240小时、逾110万条人工标注的语音文件。

特点

该数据集的核心特色在于其双域设计，涵盖了众包平台采集的近1095小时近场语音（Crowd域）以及通过智能屏幕在1米、3米、5米远场条件下录制的约132小时远场语音（Farfield域），真实模拟了不同使用场景。所有录音均经过严格人工审核与转写，保障了标注质量。此外，数据集提供了100小时、10小时、1小时等不同规模的训练子集，便于进行半监督或无监督学习的实验探索。其开源特性与配套的CTC声学模型及3-gram语言模型，为俄语语音研究提供了完整的基准平台。

使用方法

研究者可直接从公开仓库下载Golos数据集及其配套的QuartzNet15x5声学模型。使用NeMo工具包可快速复现论文中的训练流程，包括采用SpecAugment进行数据增强、使用NovoGrad优化器及余弦退火学习率策略。特别地，论文展示了迁移学习的显著效果：加载在3300小时英语数据上预训练的模型权重，仅随机初始化最后一层输出层，即可大幅提升俄语识别性能。结合基于Common Crawl语料库构建的3-gram语言模型进行波束搜索解码，在Crowd和Farfield测试集上分别取得了3.3%和11.5%的词错误率（WER），为俄语语音识别研究提供了可靠的基准参考。

背景与挑战

背景概述

在自动语音识别（ASR）领域，高质量、大规模且标注精确的数据集是推动模型性能突破的关键基石。尽管英语等主流语言已拥有LibriSpeech、Common Voice等公开基准，俄语语音研究长期受限于开源资源的匮乏——现有俄语语料库如Open-STT虽规模可观，但其标注多依赖自动对齐或ASR系统转录，缺乏人工校验的准确性。为填补这一空白，俄罗斯Sber公司的Nikolay Karpov、Alexander Denisenko与Fedor Minkin于2021年发布了Golos数据集，这是一个包含约1240小时人工标注俄语语音的开放语料库。该数据集通过众包平台与智能设备SberPortal采集，覆盖近场与远场两种声学场景，旨在为俄语ASR研究提供可靠训练与测试基准，其发布显著推动了低资源语言语音技术的发展。

当前挑战

Golos数据集在构建与应用中面临多重挑战。首先，在领域问题层面，俄语语音识别需应对复杂的形态变化、同音异形词以及多变的语调模式，导致传统声学模型在远场场景下词错误率（WER）高达15%以上，远高于近场环境的3.3%。其次，数据构建过程中，众包标注的准确性难以保证——初始录音与文本可能不匹配，需通过五重交叉验证筛选，但人工校验成本高昂且效率有限。此外，包含拉丁字母、数字或特殊符号的句子（如外来语“Annenmaykantereit Barfuß am Klavier”）需转换为纯西里尔字母转录，这一辅助转写步骤依赖众包工人的语言能力，易引入不一致性。远场数据采集还面临距离衰减与背景噪声干扰，导致低频段信号质量下降，进一步加剧了模型泛化难度。

常用场景

经典使用场景

在俄语语音研究领域，Golos数据集因其大规模、高质量的人工标注特性，成为训练和评估自动语音识别（ASR）系统的经典基准。该数据集包含约1240小时的音频，涵盖众包平台采集的近场语音与智能屏幕录制的远场语音两大领域。研究者常利用Golos训练基于CTC损失的声学模型，如QuartzNet15x5，并通过束搜索解码器与N-gram语言模型结合，在近场和远场测试集上分别达到3.3%和11.5%的词错误率（WER），为俄语ASR提供了可靠的性能标杆。

衍生相关工作

Golos数据集的发布衍生了一系列重要的相关研究工作。其论文本身展示了基于QuartzNet15x5的声学模型训练流程，以及利用预训练英文模型进行迁移学习以提升俄语识别性能的方法。后续工作包括将Golos与Common Voice等数据集联合训练，探索多源数据融合对远场语音识别的增益；同时，基于Golos训练的模型为俄语N-gram语言模型（如基于Common Crawl的3-gram模型）的构建提供了评估基准。此外，该数据集还被用于无监督或半监督语音识别实验，推动了低资源场景下ASR技术的边界探索。

数据集最近研究

最新研究方向

在俄语语音识别领域，Golos数据集的发布标志着大规模、人工标注的开源语音语料库迈入新阶段。该数据集包含约1240小时的高质量音频，覆盖众包与远场录音两大场景，为构建鲁棒的声学模型提供了坚实基础。前沿研究方向聚焦于利用迁移学习技术，将预训练的英语声学模型适配至俄语任务，显著降低词错误率，在众包和远场测试集上分别达到4.3%和15.3%的优异性能。此外，结合基于Common Crawl语料库构建的三元语言模型与波束搜索解码器，进一步将词错误率优化至3.3%和11.5%，充分验证了数据驱动方法在低资源语言语音识别中的巨大潜力，推动了多语种语音技术的普惠发展。

相关研究论文

• Golos: Russian Dataset for Speech Research

  Sber, 俄罗斯 · 2021年