cmu-mlsp/librispeech960-wavlm-large-km1000_asr_tokenized_final

--- configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* - split: validation_tts path: data/validation_tts-* - split: test path: data/test-* - split: test_tts path: data/test_tts-* dataset_info: features: - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: labels sequence: int64 splits: - name: train num_bytes: 4809631893 num_examples: 281241 - name: validation num_bytes: 54319982 num_examples: 5406 - name: validation_tts num_bytes: 27159991 num_examples: 2703 - name: test num_bytes: 27180211 num_examples: 2620 - name: test_tts num_bytes: 27180211 num_examples: 2620 download_size: 506035712 dataset_size: 4945472288 --- # Dataset Card for "librispeech960-wavlm-large-km1000_asr_tokenized_final" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)### 配置项 - 配置名称：default 数据文件： - 数据集拆分（split）：训练集（train），路径：data/train-* - 数据集拆分（split）：验证集（validation），路径：data/validation-* - 数据集拆分（split）：文本转语音（Text-to-Speech，TTS）验证集（validation_tts），路径：data/validation_tts-* - 数据集拆分（split）：测试集（test），路径：data/test-* - 数据集拆分（split）：文本转语音（Text-to-Speech，TTS）测试集（test_tts），路径：data/test_tts-* ### 数据集信息 特征项： - 名称：输入标识（input_ids），类型：int32序列 - 名称：注意力掩码（attention_mask），类型：int8序列 - 名称：标签（labels），类型：int64序列 数据集拆分详情： - 名称：训练集（train），字节数：4809631893，样本数量：281241 - 名称：验证集（validation），字节数：54319982，样本数量：5406 - 名称：文本转语音（Text-to-Speech，TTS）验证集（validation_tts），字节数：27159991，样本数量：2703 - 名称：测试集（test），字节数：27180211，样本数量：2620 - 名称：文本转语音（Text-to-Speech，TTS）测试集（test_tts），字节数：27180211，样本数量：2620 下载总大小：506035712 数据集总占用大小：4945472288 --- # "librispeech960-wavlm-large-km1000_asr_tokenized_final"数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: librispeech960-wavlm-large-km1000_asr_tokenized_final

数据集配置

• 默认配置: default

数据文件路径

• 训练集: data/train-*
• 验证集: data/validation-*
• 验证集（TTS）: data/validation_tts-*
• 测试集: data/test-*
• 测试集（TTS）: data/test_tts-*

数据集特征

• input_ids: 序列类型为int32
• attention_mask: 序列类型为int8
• labels: 序列类型为int64

数据集分割

• 训练集:
  • 字节数: 4809631893
  • 样本数: 281241
• 验证集:
  • 字节数: 54319982
  • 样本数: 5406
• 验证集（TTS）:
  • 字节数: 27159991
  • 样本数: 2703
• 测试集:
  • 字节数: 27180211
  • 样本数: 2620
• 测试集（TTS）:
  • 字节数: 27180211
  • 样本数: 2620

数据集大小

• 下载大小: 506035712
• 数据集大小: 4945472288

搜集汇总

数据集介绍

构建方式

该数据集基于经典的LibriSpeech语料库构建，通过引入先进的WavLM-large模型进行音频特征提取，并结合k-means聚类算法将连续语音表征离散化为1000个类别，从而生成序列化的输入标识。数据集的构建遵循了标准的语音识别流程，将原始音频转换为tokenized形式的input_ids，同时保留了attention_mask以处理变长序列，并提供了对应的文本标签。数据划分涵盖了训练、验证和测试集，其中验证和测试集还特别包含用于文本转语音任务的子集，确保了多场景下的适用性。

使用方法

使用该数据集时，用户可通过HuggingFace的datasets库直接加载，支持按split参数选择train、validation、validation_tts、test或test_tts子集。数据以默认配置提供，文件路径采用通配符模式，便于分片读取。推荐将其应用于语音识别模型的微调或评估，亦可用于文本转语音任务的预训练。加载后，可直接访问input_ids作为模型输入，labels作为监督信号，attention_mask则用于填充处理，确保序列对齐的准确性。

背景与挑战

背景概述

该数据集由卡内基梅隆大学机器学习与语音处理实验室（CMU MLSP）构建，基于经典的LibriSpeech-960语料库，通过WavLM-large模型提取特征并采用k-means聚类（1000类）进行离散化处理，最终生成用于自动语音识别（ASR）任务的tokenized数据。其核心研究问题在于探索自监督学习框架下，大规模无标注语音数据的高效表示与离散化方法，以提升ASR系统的训练效率与泛化能力。该数据集的出现，为连接语音自监督学习与端到端ASR模型搭建了桥梁，推动了低资源语音识别与跨语言迁移学习等领域的发展。

当前挑战

当前面临的主要挑战包括：1）领域问题层面，离散化表示虽简化了语音建模，但可能丢失声学细节，导致对噪声、口音或情感语音的鲁棒性下降，如何平衡离散化粒度与信息保真度仍是核心难题；2）构建过程中，k-means聚类对初始质心敏感且计算开销巨大，处理960小时数据时面临内存与时间瓶颈，同时WavLM-large模型本身的高参数量也增加了特征提取的硬件门槛；3）数据标注依赖LibriSpeech的原始转录，未能解决真实场景中标注稀缺的问题，限制了其在实际部署中的直接适用性。

常用场景

经典使用场景

在语音识别与自监督学习交叉领域，LibriSpeech960-WavLM-Large-KM1000 ASR Tokenized Final数据集承载着将海量无标注语音转化为离散化语义单元的核心使命。该数据集基于LibriSpeech960小时语料库，通过WavLM-Large模型提取深层声学特征，并采用k-means聚类算法将连续表示量化为1000个离散词元，从而构建出适用于自动语音识别（ASR）任务的标准化训练与评估基准。其经典使用场景涵盖：作为端到端语音识别系统的预训练语料，支持序列到序列模型或连接主义时序分类（CTC）模型的监督学习；为语音自监督学习中的离散化表征研究提供标准数据源；以及在语音翻译、说话人识别等下游任务中充当词元化特征输入。

解决学术问题

该数据集有效回应了语音领域长期存在的两大学术难题：其一，如何弥合连续声学信号与离散语言符号之间的表征鸿沟，通过WavLM-Large的上下文建模能力与k-means的聚类机制，实现了声学特征向语义词元的平滑映射；其二，如何在大规模无标注语音数据上构建可迁移的预训练范式，数据集的离散化设计使得Transformer架构可直接处理语音序列，避免了传统人工标注成本高昂的瓶颈。这一工作深刻影响了自监督语音表征学习的研究方向，为后续HuBERT、wav2vec 2.0等模型的词元化改进提供了关键验证平台，同时推动了语音领域与自然语言处理领域在表征空间上的统一。

实际应用

在实际应用层面，该数据集为智能语音助手、自动字幕生成、会议记录转写等商用系统提供了可靠的训练基础。开发人员可直接利用其预处理的离散化音频词元，在计算资源受限的场景下快速微调轻量级ASR模型，显著降低从原始波形到文本的建模复杂度。此外，数据集中的验证与测试子集（包括专为文本转语音设计的validation_tts和test_tts划分）支持多模态语音系统的研发，例如语音合成中的韵律预测或语音转换中的内容解耦，从而赋能教育、医疗、客服等行业的语音交互落地。

数据集最近研究

最新研究方向

该数据集聚焦于大规模无监督语音预训练模型在自动语音识别（ASR）任务中的前沿应用。通过利用WavLM Large模型对LibriSpeech 960小时语料库进行特征提取，并采用k-means聚类生成1000个离散语音单元（km1000），数据集将连续语音信号转化为离散化token序列，为自监督学习与下游ASR的衔接提供了高效桥梁。当前研究热点包括探索离散语音单元在跨语言迁移学习、低资源场景下的鲁棒性提升，以及结合大语言模型（LLM）实现端到端语音理解。该数据集对于推动语音领域从传统声学建模向神经编解码范式演进具有里程碑意义，尤其在语音与文本模态统一表征的研究浪潮中，为构建通用语音智能系统奠定了数据基础。