Codec-SUPERB/cv_13_zh_tw_extract_unit

---
configs:
- config_name: default
data_files:
- split: academicodec_hifi_16k_320d
path: data/academicodec_hifi_16k_320d-*
- split: academicodec_hifi_16k_320d_large_uni
path: data/academicodec_hifi_16k_320d_large_uni-*
- split: academicodec_hifi_24k_320d
path: data/academicodec_hifi_24k_320d-*
- split: audiodec_24k_320d
path: data/audiodec_24k_320d-*
- split: dac_16k
path: data/dac_16k-*
- split: dac_24k
path: data/dac_24k-*
- split: dac_44k
path: data/dac_44k-*
- split: encodec_24k
path: data/encodec_24k-*
- split: funcodec_en_libritts_16k_gr1nq32ds320
path: data/funcodec_en_libritts_16k_gr1nq32ds320-*
- split: funcodec_en_libritts_16k_gr8nq32ds320
path: data/funcodec_en_libritts_16k_gr8nq32ds320-*
- split: funcodec_en_libritts_16k_nq32ds320
path: data/funcodec_en_libritts_16k_nq32ds320-*
- split: funcodec_en_libritts_16k_nq32ds640
path: data/funcodec_en_libritts_16k_nq32ds640-*
- split: funcodec_zh_en_16k_nq32ds320
path: data/funcodec_zh_en_16k_nq32ds320-*
- split: funcodec_zh_en_16k_nq32ds640
path: data/funcodec_zh_en_16k_nq32ds640-*
- split: speech_tokenizer_16k
path: data/speech_tokenizer_16k-*
dataset_info:
features:
- name: id
dtype: string
- name: unit
sequence:
sequence: int64
splits:
- name: academicodec_hifi_16k_320d
num_bytes: 348905998
num_examples: 61154
- name: academicodec_hifi_16k_320d_large_uni
num_bytes: 348905998
num_examples: 61154
- name: academicodec_hifi_24k_320d
num_bytes: 522068174
num_examples: 61154
- name: audiodec_24k_320d
num_bytes: 1114562286
num_examples: 61154
- name: dac_16k
num_bytes: 2221301742
num_examples: 61154
- name: dac_24k
num_bytes: 6352630894
num_examples: 61154
- name: dac_44k
num_bytes: 1901382630
num_examples: 61154
- name: encodec_24k
num_bytes: 263161342
num_examples: 61154
- name: funcodec_en_libritts_16k_gr1nq32ds320
num_bytes: 2790208366
num_examples: 61154
- name: funcodec_en_libritts_16k_gr8nq32ds320
num_bytes: 2790208366
num_examples: 61154
- name: funcodec_en_libritts_16k_nq32ds320
num_bytes: 2789220974
num_examples: 61154
- name: funcodec_en_libritts_16k_nq32ds640
num_bytes: 1402128238
num_examples: 61154
- name: funcodec_zh_en_16k_nq32ds320
num_bytes: 2786776174
num_examples: 61154
- name: funcodec_zh_en_16k_nq32ds640
num_bytes: 2786776174
num_examples: 61154
- name: speech_tokenizer_16k
num_bytes: 698482798
num_examples: 61154
download_size: 4205946477
dataset_size: 29116720154
---
# Dataset Card for "cv_13_zh_tw_extract_unit"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

配置项：
- 配置名称：default
数据文件：
- 拆分：academicodec_hifi_16k_320d
路径：data/academicodec_hifi_16k_320d-*
- 拆分：academicodec_hifi_16k_320d_large_uni
路径：data/academicodec_hifi_16k_320d_large_uni-*
- 拆分：academicodec_hifi_24k_320d
路径：data/academicodec_hifi_24k_320d-*
- 拆分：audiodec_24k_320d
路径：data/audiodec_24k_320d-*
- 拆分：dac_16k
路径：data/dac_16k-*
- 拆分：dac_24k
路径：data/dac_24k-*
- 拆分：dac_44k
路径：data/dac_44k-*
- 拆分：encodec_24k
路径：data/encodec_24k-*
- 拆分：funcodec_en_libritts_16k_gr1nq32ds320
路径：data/funcodec_en_libritts_16k_gr1nq32ds320-*
- 拆分：funcodec_en_libritts_16k_gr8nq32ds320
路径：data/funcodec_en_libritts_16k_gr8nq32ds320-*
- 拆分：funcodec_en_libritts_16k_nq32ds320
路径：data/funcodec_en_libritts_16k_nq32ds320-*
- 拆分：funcodec_en_libritts_16k_nq32ds640
路径：data/funcodec_en_libritts_16k_nq32ds640-*
- 拆分：funcodec_zh_en_16k_nq32ds320
路径：data/funcodec_zh_en_16k_nq32ds320-*
- 拆分：funcodec_zh_en_16k_nq32ds640
路径：data/funcodec_zh_en_16k_nq32ds640-*
- 拆分：speech_tokenizer_16k
路径：data/speech_tokenizer_16k-*
数据集信息：
特征字段：
- 名称：id
数据类型：字符串
- 名称：单元（unit）
序列结构：
内层序列元素类型：64位整型
数据拆分：
- 名称：academicodec_hifi_16k_320d
字节数：348905998
样本数：61154
- 名称：academicodec_hifi_16k_320d_large_uni
字节数：348905998
样本数：61154
- 名称：academicodec_hifi_24k_320d
字节数：522068174
样本数：61154
- 名称：audiodec_24k_320d
字节数：1114562286
样本数：61154
- 名称：dac_16k
字节数：2221301742
样本数：61154
- 名称：dac_24k
字节数：6352630894
样本数：61154
- 名称：dac_44k
字节数：1901382630
样本数：61154
- 名称：encodec_24k
字节数：263161342
样本数：61154
- 名称：funcodec_en_libritts_16k_gr1nq32ds320
字节数：2790208366
样本数：61154
- 名称：funcodec_en_libritts_16k_gr8nq32ds320
字节数：2790208366
样本数：61154
- 名称：funcodec_en_libritts_16k_nq32ds320
字节数：2789220974
样本数：61154
- 名称：funcodec_en_libritts_16k_nq32ds640
字节数：1402128238
样本数：61154
- 名称：funcodec_zh_en_16k_nq32ds320
字节数：2786776174
样本数：61154
- 名称：funcodec_zh_en_16k_nq32ds640
字节数：2786776174
样本数：61154
- 名称：speech_tokenizer_16k
字节数：698482798
样本数：61154
下载总大小：4205946477
数据集总占用大小：29116720154
---
# 「cv_13_zh_tw_extract_unit」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集配置

• 默认配置：
  • 包含多个数据文件，每个文件对应不同的分割（split）和路径（path）。

数据集信息

• 特征：
  • id：字符串类型
  • unit：序列类型，内部为int64类型

分割信息

• academicodec_hifi_16k_320d：
  • 字节数：348905998
  • 样本数：61154
• academicodec_hifi_16k_320d_large_uni：
  • 字节数：348905998
  • 样本数：61154
• academicodec_hifi_24k_320d：
  • 字节数：522068174
  • 样本数：61154
• audiodec_24k_320d：
  • 字节数：1114562286
  • 样本数：61154
• dac_16k：
  • 字节数：2221301742
  • 样本数：61154
• dac_24k：
  • 字节数：6352630894
  • 样本数：61154
• dac_44k：
  • 字节数：1901382630
  • 样本数：61154
• encodec_24k：
  • 字节数：263161342
  • 样本数：61154
• funcodec_en_libritts_16k_gr1nq32ds320：
  • 字节数：2790208366
  • 样本数：61154
• funcodec_en_libritts_16k_gr8nq32ds320：
  • 字节数：2790208366
  • 样本数：61154
• funcodec_en_libritts_16k_nq32ds320：
  • 字节数：2789220974
  • 样本数：61154
• funcodec_en_libritts_16k_nq32ds640：
  • 字节数：1402128238
  • 样本数：61154
• funcodec_zh_en_16k_nq32ds320：
  • 字节数：2786776174
  • 样本数：61154
• funcodec_zh_en_16k_nq32ds640：
  • 字节数：2786776174
  • 样本数：61154
• speech_tokenizer_16k：
  • 字节数：698482798
  • 样本数：61154

数据集大小

• 下载大小：4205946477字节
• 数据集大小：29116720154字节

搜集汇总

数据集介绍

构建方式

在语音编码与离散表示学习领域，Codec-SUPERB/cv_13_zh_tw_extract_unit数据集应运而生，旨在为中文台湾口语音频提供多维度、高覆盖率的离散单元表征。该数据集基于Common Voice第13版中文台湾子集构建，通过多种前沿神经编解码模型对原始语音进行编码与量化，从而提取出高度结构化的离散单元序列。具体而言，数据构建过程涵盖了从16kHz至44kHz的不同采样率配置，并融合了AcademiCodec、AudioDec、DAC、EnCodec、Funcodec及SpeechTokenizer等多种代表性模型，每个模型均采用其特定的码本配置与量化策略，最终生成对应分片的单元序列数据。每个样本由唯一标识符与单元序列组成，单元序列以嵌套整数列表形式存储，确保了对不同模型输出格式的统一兼容。

特点

该数据集最显著的特点在于其多元化的编码体系与大规模标准化的样本集合。它汇聚了15种不同编解码器配置下的离散单元输出，每种配置均对应61,154个语音样本，总计超过91万个单元序列实例，展现了极高的覆盖度与多样性。数据集覆盖了从16kHz到44kHz的多种采样率，以及从单码本到多码本、从320维到640维的码本维度配置，为研究不同量化粒度对语音表示性能的影响提供了坚实基础。此外，所有样本均源自同一语音语料库，确保了跨模型比较的公平性，使得研究者能够精准评估不同编解码器在相同语音内容下的单元提取差异。

使用方法

使用该数据集时，研究者可通过HuggingFace Datasets库便捷加载指定配置的分片数据。例如，通过设置split参数为'academicodec_hifi_16k_320d'即可获取该模型对应的单元序列。每个样本包含'id'字段用于追溯原始语音文件，以及'unit'字段存储的整数序列，可直接用于下游任务的输入。数据集支持按模型分片独立使用，也可通过组合多个分片进行跨模型对比分析。在语音合成、语音识别或语音编码研究等场景中，研究者可将单元序列作为离散语音表示，结合Transformer或VQ-VAE等架构进行训练与评估，或将其作为预训练特征用于其他语音相关任务。

背景与挑战

背景概述

Codec-SUPERB/cv_13_zh_tw_extract_unit数据集由Codec-SUPERB项目团队创建，旨在推动语音编解码与离散单元提取技术的发展。该数据集聚焦于中文台湾语音信号，通过多种先进的神经音频编解码器（如EnCodec、DAC、Funcodec等）提取离散单元，为语音表示学习与下游任务提供标准化基准。自发布以来，该数据集成为评估编解码器性能与单元提取质量的关键资源，尤其在跨语言语音处理与低比特率压缩领域具有重要影响力。其核心研究问题在于如何高效、鲁棒地从语音中提取语义与声学特征，以支持语音合成、识别及压缩等应用。

当前挑战

该数据集面临的核心挑战包括：1）编解码器多样性带来的单元对齐与一致性难题，不同模型（如AcademiCodec、SpeechTokenizer）在采样率（16kHz至44kHz）与量化策略上的差异，导致提取的离散单元在时间分辨率与表征粒度上缺乏统一标准；2）构建过程中需处理大规模语音数据（约29GB）的存储与计算开销，同时确保各split（如funcodec_zh_en_16k_nq32ds320）的单元序列准确对应原始音频，避免信息丢失；3）领域应用挑战在于如何利用这些单元实现跨编解码器的泛化，例如在噪声环境下的鲁棒单元提取，以及平衡压缩率与重构质量之间的权衡。

常用场景

经典使用场景

在语音编码与表征学习的前沿探索中，Codec-SUPERB/cv_13_zh_tw_extract_unit数据集为多类神经音频编解码器提供了统一的离散单元提取基准。该数据集汇聚了AcademiCodec、AudioDec、DAC、EnCodec、Funcodec及SpeechTokenizer等多种主流编解码器在16kHz至44kHz不同采样率下的产出，每个样本均包含对应的离散单元序列。研究者可借此系统性地评估不同编码器在中文语音离散化任务中的表现，为语音压缩、特征提取与下游任务适配提供标准化评测平台。

解决学术问题

该数据集直面语音离散表征研究中长期存在的两大核心难题：其一，不同编解码器产生的离散单元缺乏统一对齐标准，导致跨模型比较困难；其二，中文语音特有的声调与韵律信息在离散化过程中易发生失真。通过提供同一语料库经多种编码器处理后的单元序列，该数据集首次实现了对编解码器性能的横向对比，为理解离散表征的信息保留能力、码本利用率与重构质量之间的权衡关系提供了关键实验依据，推动了语音离散化理论的体系化构建。

衍生相关工作

该数据集衍生了一系列具有重要影响力的研究工作。基于其提供的多编解码器统一单元，研究者提出了跨编码器语音离散单元对齐方法，实现了不同离散空间之间的语义映射。同时，该数据集催生了针对中文语音特性的离散化改进方案，通过融合韵律标注信息提升了编解码器在情感语音与方言场景下的表现。此外，利用该数据集的单元序列，学界探索了将离散语音单元与文本、图像等模态进行联合建模的可能性，为多模态语音理解任务开辟了新路径，相关成果在ICASSP、Interspeech等顶级会议中持续涌现。