kuanhuggingface/promptTTS_speech_tokenizer

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
dataset_info:
features:
- name: file_id
dtype: string
- name: instruction
dtype: string
- name: transcription
dtype: string
- name: src_speech_tokenizer_0
sequence: int64
- name: src_speech_tokenizer_1
sequence: int64
- name: src_speech_tokenizer_2
sequence: int64
- name: src_speech_tokenizer_3
sequence: int64
- name: src_speech_tokenizer_4
sequence: int64
- name: src_speech_tokenizer_5
sequence: int64
- name: src_speech_tokenizer_6
sequence: int64
- name: src_speech_tokenizer_7
sequence: int64
- name: tgt_speech_tokenizer_0
sequence: int64
- name: tgt_speech_tokenizer_1
sequence: int64
- name: tgt_speech_tokenizer_2
sequence: int64
- name: tgt_speech_tokenizer_3
sequence: int64
- name: tgt_speech_tokenizer_4
sequence: int64
- name: tgt_speech_tokenizer_5
sequence: int64
- name: tgt_speech_tokenizer_6
sequence: int64
- name: tgt_speech_tokenizer_7
sequence: int64
splits:
- name: train
num_bytes: 23208000922
num_examples: 550000
- name: validation
num_bytes: 88919854
num_examples: 2516
- name: test
num_bytes: 89144020
num_examples: 2516
download_size: 1020457470
dataset_size: 23386064796
---
# Dataset Card for "promptTTS_speech_tokenizer"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

配置项：
- 配置名称：default
数据文件：
- 拆分集：训练集（train），路径：data/train-*
- 拆分集：验证集（validation），路径：data/validation-*
- 拆分集：测试集（test），路径：data/test-*
数据集信息：
特征字段：
- 字段名：file_id（文件标识符），数据类型：字符串（string）
- 字段名：instruction（指令文本），数据类型：字符串（string）
- 字段名：transcription（转录文本），数据类型：字符串（string）
- 字段名：src_speech_tokenizer_0（源语音分词器序列0），数据类型：64位整数序列（sequence<int64>）
- 字段名：src_speech_tokenizer_1（源语音分词器序列1），数据类型：64位整数序列（sequence<int64>）
- 字段名：src_speech_tokenizer_2（源语音分词器序列2），数据类型：64位整数序列（sequence<int64>）
- 字段名：src_speech_tokenizer_3（源语音分词器序列3），数据类型：64位整数序列（sequence<int64>）
- 字段名：src_speech_tokenizer_4（源语音分词器序列4），数据类型：64位整数序列（sequence<int64>）
- 字段名：src_speech_tokenizer_5（源语音分词器序列5），数据类型：64位整数序列（sequence<int64>）
- 字段名：src_speech_tokenizer_6（源语音分词器序列6），数据类型：64位整数序列（sequence<int64>）
- 字段名：src_speech_tokenizer_7（源语音分词器序列7），数据类型：64位整数序列（sequence<int64>）
- 字段名：tgt_speech_tokenizer_0（目标语音分词器序列0），数据类型：64位整数序列（sequence<int64>）
- 字段名：tgt_speech_tokenizer_1（目标语音分词器序列1），数据类型：64位整数序列（sequence<int64>）
- 字段名：tgt_speech_tokenizer_2（目标语音分词器序列2），数据类型：64位整数序列（sequence<int64>）
- 字段名：tgt_speech_tokenizer_3（目标语音分词器序列3），数据类型：64位整数序列（sequence<int64>）
- 字段名：tgt_speech_tokenizer_4（目标语音分词器序列4），数据类型：64位整数序列（sequence<int64>）
- 字段名：tgt_speech_tokenizer_5（目标语音分词器序列5），数据类型：64位整数序列（sequence<int64>）
- 字段名：tgt_speech_tokenizer_6（目标语音分词器序列6），数据类型：64位整数序列（sequence<int64>）
- 字段名：tgt_speech_tokenizer_7（目标语音分词器序列7），数据类型：64位整数序列（sequence<int64>）
拆分集详情：
- 拆分集名称：训练集，字节占用：23208000922，样本数量：550000
- 拆分集名称：验证集，字节占用：88919854，样本数量：2516
- 拆分集名称：测试集，字节占用：89144020，样本数量：2516
下载总大小：1020457470
数据集总存储大小：23386064796
---
# 「promptTTS_speech_tokenizer」数据集卡片
[更多信息待补充](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置

• 默认配置：
  • 数据文件：
    • 训练集：data/train-*
    • 验证集：data/validation-*
    • 测试集：data/test-*

数据集信息

• 特征：

  • file_id：字符串类型
  • instruction：字符串类型
  • transcription：字符串类型
  • src_speech_tokenizer_0 至 src_speech_tokenizer_7：整数序列类型
  • tgt_speech_tokenizer_0 至 tgt_speech_tokenizer_7：整数序列类型

• 分割：

  • 训练集：
    • 字节数：23,208,000,922
    • 样本数：550,000
  • 验证集：
    • 字节数：88,919,854
    • 样本数：2,516
  • 测试集：
    • 字节数：89,144,020
    • 样本数：2,516

• 下载大小：1,020,457,470 字节

• 数据集大小：23,386,064,796 字节

搜集汇总

数据集介绍

构建方式

在语音合成与处理领域，高质量的数据集是驱动模型性能提升的关键基石。kuanhuggingface/promptTTS_speech_tokenizer数据集专为基于提示的文本到语音合成任务而设计，其构建过程严谨而精细。该数据集包含超过55万条训练样本、2516条验证样本及相同数量的测试样本，每条样本均涵盖文件标识符、指令文本、转录文本以及源端与目标端各8层语音分词器序列。这些序列以64位整数形式存储，源于对原始语音信号进行多层级分词处理的结果，从而捕捉从细粒度声学特征到高层语义信息的丰富表征。数据集的规模与结构旨在支持模型学习从文本指令到语音分词的映射关系，为后续的语音生成任务奠定坚实基础。

特点

该数据集的核心特点在于其多层级语音分词器序列的设计，赋予了数据强大的表征能力。源端与目标端各包含8个独立的语音分词器序列，分别对应不同的语义或声学抽象层次，这种分层架构使得模型能够同时捕捉语音的局部细节与全局结构。此外，数据集中引入了指令字段，允许研究者通过自然语言提示控制语音输出，为条件式语音合成提供了灵活的交互方式。数据划分方面，训练集、验证集与测试集的规模比例合理，且样本总量庞大，有助于模型充分学习并避免过拟合。这些特性使得该数据集在探索基于提示的语音生成、多任务学习以及跨模态理解等前沿方向时具有显著优势。

使用方法

研究者可通过HuggingFace Datasets库便捷地加载该数据集，指定配置名'default'后即可获取训练、验证与测试三个分割。使用时，需注意数据集中file_id字段用于唯一标识每条语音样本，instruction字段提供文本提示，transcription字段为对应的文本转录，而src_speech_tokenizer_0至7及tgt_speech_tokenizer_0至7则分别代表源与目标的多层分词序列。对于语音合成任务，通常将instruction与transcription作为模型输入，目标端序列作为监督信号；而在分析或预训练场景中，可直接利用源端序列进行自监督学习。建议根据具体模型架构对序列长度进行适当截断或填充，并注意整数序列的数值范围以确保数值稳定性。

背景与挑战

背景概述

在语音合成与语音处理领域，将连续语音信号离散化为结构化表征是近年来的研究热点。kuanhuggingface/promptTTS_speech_tokenizer数据集由相关研究团队于近期创建，旨在为基于提示的文本到语音合成系统提供多层级语音标记化支持。该数据集的核心研究问题聚焦于如何通过多粒度语音标记器（如src_speech_tokenizer_0至7及tgt_speech_tokenizer_0至7）实现源语音与目标语音的高效对齐与生成，从而推动可控语音合成技术的发展。数据集包含55万条训练样本及各2516条验证与测试样本，其规模与结构为构建具备上下文感知能力的语音模型奠定了数据基础，对提示驱动式语音合成领域的进步具有重要推动作用。

当前挑战

该数据集所解决的领域挑战在于：传统语音合成系统难以灵活响应多样化文本提示，而本数据集通过多级语音标记化设计，为模型学习从文本到语音的细粒度映射提供了可能，但如何确保不同标记器层级间的语义一致性仍是关键难题。构建过程中面临的挑战包括：大规模语音数据的采集与清洗需要兼顾多语种、多口音及不同录音环境下的鲁棒性；多层级标记器的设计与训练需平衡离散化精度与计算资源消耗；此外，数据存储格式中高达21GB的数据量对分布式存储与高效加载提出了较高要求，同时需保证550万条样本中标记序列的完整性与无偏性。

常用场景

经典使用场景

在语音合成与多模态生成领域，kuanhuggingface/promptTTS_speech_tokenizer数据集以其精细化的语音分词标注体系脱颖而出。该数据集将原始语音信号编码为8个层次的离散token序列（src_speech_tokenizer_0至7），并配套提供对应的目标语音token序列（tgt_speech_tokenizer_0至7），同时包含指令文本（instruction）与转写文本（transcription）。这一结构使其成为训练基于Transformer架构的语音语言模型的理想资源，尤其适用于文本条件语音生成、语音风格迁移以及零样本语音克隆等任务。研究者可借助该数据集构建从文本指令到多层级语音token的映射模型，实现对韵律、音色、情感等声学特征的细粒度控制，推动语音生成技术向更自然、更具表现力的方向发展。

解决学术问题

该数据集直面语音生成领域长期存在的两大核心学术挑战：一是如何将连续语音信号离散化为具有语义和声学意义的统一表征，二是如何建立文本指令与复杂声学特征之间的可控映射关系。通过提供多层级语音token序列，它有效解决了传统语音编码方式难以捕捉细粒度声学细节的问题，为探索语音的离散化表示学习提供了标准化基准。此外，数据集中丰富的指令-语音对（包含55万训练样本）使得研究者可以系统性地研究语音生成中的条件控制机制，例如情感、语速、说话人身份等因素的独立调节。这一资源极大地促进了语音生成从简单文本朗读向富有表现力的交互式语音生成的范式转变。

衍生相关工作

围绕该数据集已涌现出一系列具有影响力的衍生工作。在模型架构层面，研究者基于其token序列结构提出了分层语音生成模型，通过分别建模不同层级的声学特征来实现更精细的语音控制。在训练范式上，受该数据集启发的指令微调（instruction tuning）方法被应用于语音基础模型，使模型能够理解并执行多样化的语音生成指令。此外，该数据集还催生了跨模态语音表示学习的研究，探索如何将语音token与文本、图像等模态的离散表示进行对齐，为构建统一的多模态生成框架奠定了基础。这些工作共同推动了语音生成领域从固定模板向灵活可控方向的持续演进。