ylacombe/libritts-r-text-tags-v3

Name: ylacombe/libritts-r-text-tags-v3
Creator: ylacombe
Published: 2024-05-29 16:21:41
License: 暂无描述

Hugging Face2024-05-29 更新2024-06-12 收录

下载链接：

https://hf-mirror.com/datasets/ylacombe/libritts-r-text-tags-v3

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: - config_name: clean features: - name: text dtype: string - name: text_original dtype: string - name: speaker_id dtype: string - name: path dtype: string - name: chapter_id dtype: string - name: id dtype: string - name: snr dtype: float32 - name: c50 dtype: float32 - name: speech_duration dtype: float64 - name: speaking_rate dtype: string - name: phonemes dtype: string - name: stoi dtype: float64 - name: si-sdr dtype: float64 - name: pesq dtype: float64 - name: gender dtype: string - name: utterance_pitch_std dtype: float64 - name: utterance_pitch_mean dtype: float64 - name: pitch dtype: string - name: noise dtype: string - name: reverberation dtype: string - name: speech_monotony dtype: string - name: sdr_noise dtype: string - name: pesq_speech_quality dtype: string splits: - name: dev.clean num_bytes: 4282623 num_examples: 5736 - name: test.clean num_bytes: 3776641 num_examples: 4837 - name: train.clean.100 num_bytes: 25054458 num_examples: 33232 - name: train.clean.360 num_bytes: 88786172 num_examples: 116426 download_size: 45389304 dataset_size: 121899894 - config_name: other features: - name: text dtype: string - name: text_original dtype: string - name: speaker_id dtype: string - name: path dtype: string - name: chapter_id dtype: string - name: id dtype: string - name: snr dtype: float32 - name: c50 dtype: float32 - name: speech_duration dtype: float64 - name: speaking_rate dtype: string - name: phonemes dtype: string - name: stoi dtype: float64 - name: si-sdr dtype: float64 - name: pesq dtype: float64 - name: gender dtype: string - name: utterance_pitch_std dtype: float64 - name: utterance_pitch_mean dtype: float64 - name: pitch dtype: string - name: noise dtype: string - name: reverberation dtype: string - name: speech_monotony dtype: string - name: sdr_noise dtype: string - name: pesq_speech_quality dtype: string splits: - name: dev.other num_bytes: 3297275 num_examples: 4613 - name: test.other num_bytes: 3580934 num_examples: 5120 - name: train.other.500 num_bytes: 150846841 num_examples: 205035 download_size: 57366901 dataset_size: 157725050 configs: - config_name: clean data_files: - split: dev.clean path: clean/dev.clean-* - split: test.clean path: clean/test.clean-* - split: train.clean.100 path: clean/train.clean.100-* - split: train.clean.360 path: clean/train.clean.360-* - config_name: other data_files: - split: dev.other path: other/dev.other-* - split: test.other path: other/test.other-* - split: train.other.500 path: other/train.other.500-* ---

数据集信息： 1. 配置名称：clean（纯净配置）特征字段如下： - text：文本，数据类型为字符串 - text_original：原始文本，数据类型为字符串 - speaker_id：说话人ID，数据类型为字符串 - path：文件路径，数据类型为字符串 - chapter_id：章节ID，数据类型为字符串 - id：样本ID，数据类型为字符串 - snr：信噪比（Signal-to-Noise Ratio），数据类型为32位浮点数 - c50：C50得分，数据类型为32位浮点数 - speech_duration：语音时长，数据类型为64位浮点数 - speaking_rate：说话速率，数据类型为字符串 - phonemes：音素，数据类型为字符串 - stoi：短时客观可懂度（Short-Time Objective Intelligibility），数据类型为64位浮点数 - si-sdr：尺度不变信号失真比（Scale-Invariant Signal-to-Distortion Ratio），数据类型为64位浮点数 - pesq：语音质量感知评估（Perceptual Evaluation of Speech Quality），数据类型为64位浮点数 - gender：说话人性别，数据类型为字符串 - utterance_pitch_std：语句基频标准差，数据类型为64位浮点数 - utterance_pitch_mean：语句基频均值，数据类型为64位浮点数 - pitch：基频信息，数据类型为字符串 - noise：噪声属性，数据类型为字符串 - reverberation：混响属性，数据类型为字符串 - speech_monotony：语音单调性，数据类型为字符串 - sdr_noise：噪声信号失真比，数据类型为字符串 - pesq_speech_quality：PESQ语音质量评分，数据类型为字符串数据集划分如下： - dev.clean：开发集，字节数4282623，样本量5736 - test.clean：测试集，字节数3776641，样本量4837 - train.clean.100：训练集，字节数25054458，样本量33232 - train.clean.360：训练集，字节数88786172，样本量116426 总下载大小：45389304字节，总数据集大小：121899894字节 2. 配置名称：other（非纯净配置）特征字段与clean配置完全一致，具体如下： - text：文本，数据类型为字符串 - text_original：原始文本，数据类型为字符串 - speaker_id：说话人ID，数据类型为字符串 - path：文件路径，数据类型为字符串 - chapter_id：章节ID，数据类型为字符串 - id：样本ID，数据类型为字符串 - snr：信噪比（Signal-to-Noise Ratio），数据类型为32位浮点数 - c50：C50得分，数据类型为32位浮点数 - speech_duration：语音时长，数据类型为64位浮点数 - speaking_rate：说话速率，数据类型为字符串 - phonemes：音素，数据类型为字符串 - stoi：短时客观可懂度（Short-Time Objective Intelligibility），数据类型为64位浮点数 - si-sdr：尺度不变信号失真比（Scale-Invariant Signal-to-Distortion Ratio），数据类型为64位浮点数 - pesq：语音质量感知评估（Perceptual Evaluation of Speech Quality），数据类型为64位浮点数 - gender：说话人性别，数据类型为字符串 - utterance_pitch_std：语句基频标准差，数据类型为64位浮点数 - utterance_pitch_mean：语句基频均值，数据类型为64位浮点数 - pitch：基频信息，数据类型为字符串 - noise：噪声属性，数据类型为字符串 - reverberation：混响属性，数据类型为字符串 - speech_monotony：语音单调性，数据类型为字符串 - sdr_noise：噪声信号失真比，数据类型为字符串 - pesq_speech_quality：PESQ语音质量评分，数据类型为字符串数据集划分如下： - dev.other：开发集，字节数3297275，样本量4613 - test.other：测试集，字节数3580934，样本量5120 - train.other.500：训练集，字节数150846841，样本量205035 总下载大小：57366901字节，总数据集大小：157725050字节配置信息： 1. 配置名称clean，对应数据文件路径： - 划分dev.clean：路径为clean/dev.clean-* - 划分test.clean：路径为clean/test.clean-* - 划分train.clean.100：路径为clean/train.clean.100-* - 划分train.clean.360：路径为clean/train.clean.360-* 2. 配置名称other，对应数据文件路径： - 划分dev.other：路径为other/dev.other-* - 划分test.other：路径为other/test.other-* - 划分train.other.500：路径为other/train.other.500-*

提供机构：

ylacombe

原始信息汇总

数据集概述

配置名称：clean

特征信息

text: 数据类型为字符串
text_original: 数据类型为字符串
speaker_id: 数据类型为字符串
path: 数据类型为字符串
chapter_id: 数据类型为字符串
id: 数据类型为字符串
snr: 数据类型为float32
c50: 数据类型为float32
speech_duration: 数据类型为float64
speaking_rate: 数据类型为字符串
phonemes: 数据类型为字符串
stoi: 数据类型为float64
si-sdr: 数据类型为float64
pesq: 数据类型为float64
gender: 数据类型为字符串
utterance_pitch_std: 数据类型为float64
utterance_pitch_mean: 数据类型为float64
pitch: 数据类型为字符串
noise: 数据类型为字符串
reverberation: 数据类型为字符串
speech_monotony: 数据类型为字符串
sdr_noise: 数据类型为字符串
pesq_speech_quality: 数据类型为字符串

数据集分割

dev.clean: 大小为4282623字节，示例数为5736
test.clean: 大小为3776641字节，示例数为4837
train.clean.100: 大小为25054458字节，示例数为33232
train.clean.360: 大小为88786172字节，示例数为116426

下载与数据集大小

下载大小: 45389304字节
数据集大小: 121899894字节

配置名称：other

特征信息

text: 数据类型为字符串
text_original: 数据类型为字符串
speaker_id: 数据类型为字符串
path: 数据类型为字符串
chapter_id: 数据类型为字符串
id: 数据类型为字符串
snr: 数据类型为float32
c50: 数据类型为float32
speech_duration: 数据类型为float64
speaking_rate: 数据类型为字符串
phonemes: 数据类型为字符串
stoi: 数据类型为float64
si-sdr: 数据类型为float64
pesq: 数据类型为float64
gender: 数据类型为字符串
utterance_pitch_std: 数据类型为float64
utterance_pitch_mean: 数据类型为float64
pitch: 数据类型为字符串
noise: 数据类型为字符串
reverberation: 数据类型为字符串
speech_monotony: 数据类型为字符串
sdr_noise: 数据类型为字符串
pesq_speech_quality: 数据类型为字符串

数据集分割

dev.other: 大小为3297275字节，示例数为4613
test.other: 大小为3580934字节，示例数为5120
train.other.500: 大小为150846841字节，示例数为205035

下载与数据集大小

下载大小: 57366901字节
数据集大小: 157725050字节

搜集汇总

数据集介绍

构建方式

在语音合成与声学建模的研究中，数据集的精细标注与结构化组织是模型性能的基石。ylacombe/libritts-r-text-tags-v3数据集以LibriTTS-R为基础，通过引入丰富的声学和语言标签进行深度增强。数据集分为clean和other两个配置，分别对应低噪声与高噪声环境下的语音样本，每个配置下又细分为开发集、测试集及不同规模（如100小时、360小时和500小时）的训练子集。每条样本不仅包含原始文本和优化后的文本标注，还关联了说话人身份、章节来源与音频路径，同时补充了信噪比、清晰度、语音时长、语速、音素序列以及多种客观语音质量指标如STOI、SI-SDR和PESQ。此外，数据集中还纳入了性别、基频统计、音高、噪声类型、混响程度、语音单调性等感知层面标签，形成了一种多维度、高信息密度的结构化语音语料库。

特点

该数据集最显著的特点在于其超越传统文本-音频对的深度语义与声学标注体系。与仅提供转录文本的常规语音数据集不同，ylacombe/libritts-r-text-tags-v3为每个语音片段配备了超过二十种标签，涵盖了从客观声学质量（如信噪比、混响、语音清晰度）到主观感知属性（如噪声类型、混响程度、语音单调性）的完整谱系。这种多模态标注设计使得研究者能够直接基于标签进行条件语音生成、语音增强、说话人风格迁移以及鲁棒性分析。数据集的clean与other双配置策略，则允许针对不同噪声条件下的模型泛化能力进行系统性评估。总体而言，该数据集以高质量的语音素材和高度结构化的元数据，为语音领域的前沿研究提供了极具价值的实验平台。

使用方法

研究者可通过HuggingFace Datasets库便捷地加载该数据集，指定clean或other配置后，按需选取dev、test或train子集。每条数据以字典形式返回，包含文本、说话人ID、音频路径及各类声学与感知标签。在模型训练中，可灵活利用text字段作为输入，speaker_id和gender用于条件控制，而snr、reverberation等标签则可用于构建噪声感知或质量感知的损失函数。评估阶段，可利用stoi、si-sdr和pesq等客观指标进行模型性能量化分析。此外，pitch、speaking_rate和phonemes字段为细粒度的韵律建模与音素级对齐提供了直接支持，使该数据集在文本到语音合成、语音转换、语音增强及多任务学习等场景中均具备广泛的应用潜力。

背景与挑战

背景概述

在语音合成与声学建模领域，高质量、多标注的语料库是推动技术进步的基石。ylacombe/libritts-r-text-tags-v3数据集由研究者在LibriTTS-R基础上进一步精炼而成，其创建时间可追溯至近年，主要依托于对公开朗读语音资源的深度再加工。该数据集聚焦于将原始文本与丰富的声学标签（如信噪比、混响、语速、音高标准差等）进行对齐，旨在为文本到语音系统提供更精细的声学条件控制。通过引入超过20种声学与感知质量指标，该数据集有力支撑了多风格、多说话人语音合成的研究，已成为评估语音自然度与鲁棒性的重要基准，对推动可控语音生成领域的发展具有显著影响力。

当前挑战

该数据集所解决的领域挑战在于，传统语音数据集往往仅提供文本与音频的简单配对，缺乏对声学环境、说话人风格及语音质量的细粒度刻画，导致合成语音在真实场景中表现僵硬或失真。ylacombe/libritts-r-text-tags-v3通过集成SNR、C50、STOI、PESQ、SI-SDR等客观指标，以及音高、语速、噪声、混响等主观标签，为模型提供了条件化生成的能力，从而应对语音多样性建模的难题。在构建过程中，挑战则体现为：如何从原始音频中准确提取并标准化大量声学特征，确保不同说话人、不同录音条件下的标签一致性；以及如何在保留语音自然度的前提下，完成海量语音片段的自动化标注与质量筛选，避免人工标注的昂贵成本与主观偏差。

常用场景

经典使用场景

ylacombe/libritts-r-text-tags-v3 数据集是语音合成与语音处理研究领域的核心资源，其经典应用场景聚焦于文本到语音合成模型的训练与评估。该数据集基于LibriTTS语料库，提供了包含丰富声学与语言学标注的语音样本，涵盖清音与浊音两种配置，并细分为不同规模的训练子集。研究者常利用该数据集训练多说话人、多风格的端到端语音合成系统，通过其精细的说话人身份、音高、语速、信噪比等元数据，探索韵律控制、语音自然度提升以及噪声鲁棒性增强等关键问题，为高质量语音生成奠定了数据基础。

实际应用

在实际应用中，ylacombe/libritts-r-text-tags-v3 数据集广泛服务于智能语音助手、有声读物生成、无障碍辅助技术等场景。借助其丰富的说话人风格与声学环境标注，开发者能够训练出适应不同用户偏好的个性化语音合成引擎，例如生成带有特定情绪或语速的语音输出。同时，该数据集的高质量标注也助力于语音增强系统的优化，如降噪与去混响算法的验证，从而提升在嘈杂环境下的语音可懂度，为教育、娱乐及通讯领域提供了可靠的语音交互解决方案。

衍生相关工作

基于该数据集，学术界衍生了一系列具有影响力的经典工作。例如，研究者利用其细粒度的音高与语速标签，提出了可控制韵律的Transformer式语音合成架构，实现了对合成语音情感色彩的精准调节。另有工作结合该数据集的噪声与混响标注，开发了联合语音分离与合成模型，在低信噪比条件下仍能生成清晰语音。此外，该数据集还被用于训练多说话人语音转换系统，通过其丰富的身份信息实现了零样本的说话人风格迁移，这些工作共同推动了语音合成技术向更自然、更灵活的方向演进。

以上内容由遇见数据集搜集并总结生成