laion/dramabox-voice-acting-data-annotated

DramaBox配音数据-标注版是laion/dramabox-voice-acting-data的后处理版本。处理流程包括：应用RE-USE语音增强技术对非唱歌样本进行降噪；使用LavaSR超分辨率将音频扩展到48kHz；通过Whisper Turbo ASR生成带词级时间戳的完整转录；在CUT TO:过渡处将音频分割为两部分（第1部分和第2部分）；以及使用VoiceCLAP Large生成每部分的3584维语音嵌入。每个DramaBox样本包含来自同一说话者的两个情感场景，由CUT TO:分隔。通过分割成部分，创建了具有相同语音身份但不同情感的配对片段，从而支持训练配音系统，以在情感转换中保持说话者一致性。数据格式包括256kbps单声道48kHz的MP3文件，每个样本的JSON注释包含ASR、时间戳、嵌入向量和元数据，并打包为与源数据集结构匹配的tar文件。每个样本的文件包括：{prompt_id}_seed{NN}_part1.mp3（场景1音频）、{prompt_id}_seed{NN}_part2.mp3（场景2音频）和{prompt_id}_seed{NN}.json（完整注释）。使用的模型包括nvidia/RE-USE（语音增强）、YatharthS/LavaSR（超分辨率）、openai/whisper turbo（ASR）、laion/voiceclap-large（语音嵌入）和ResembleAI/DramaBox（源TTS模型）。

The annotated DramaBox Voice Acting Dataset is a post-processed version of laion/dramabox-voice-acting-data. The post-processing pipeline includes: denoising non-singing audio samples using the RE-USE speech enhancement technique; resampling audio to 48 kHz via LavaSR super-resolution; generating full transcripts with word-level timestamps using Whisper Turbo ASR; splitting audio into two segments (Segment 1 and Segment 2) at the "CUT TO:" transition; and generating 3584-dimensional speech embeddings for each segment using VoiceCLAP Large. Each DramaBox sample contains two emotional scenes from the same speaker, separated by the "CUT TO:" transition. By splitting into segments, paired segments with identical speaker identity but distinct emotions are created, which supports the training of voice acting systems to maintain speaker consistency during emotional conversion. The dataset uses MP3 files with 256 kbps, mono channel, and 48 kHz sampling rate. The JSON annotation for each sample contains ASR results, timestamps, embedding vectors, and metadata, and the dataset is packaged as tar files matching the structure of the source dataset. Files for each sample include: {prompt_id}_seed{NN}_part1.mp3 (audio for Scene 1), {prompt_id}_seed{NN}_part2.mp3 (audio for Scene 2), and {prompt_id}_seed{NN}.json (full annotation). The models utilized are: nvidia/RE-USE (speech enhancement), YatharthS/LavaSR (super-resolution), openai/whisper-turbo (ASR), laion/voiceclap-large (speech embedding), and ResembleAI/DramaBox (source TTS model).

搜集汇总

数据集介绍

构建方式

该数据集基于laion/dramabox-voice-acting-data进行后处理构建，运用了多阶段精细化流水线。首先，采用nvidia/RE-USE模型对非演唱音频样本进行语音增强以降低噪声；随后通过YatharthS/LavaSR模型实施超分辨率处理，将音频带宽扩展至48kHz。接着，利用Whisper Turbo自动语音识别模型生成带有词级时间戳的完整转录文本。依据场景中的“CUT TO.”过渡标记对音频进行分割，将其拆分为Part 1与Part 2两部分。最后，借助laion/voiceclap-large模型为每部分提取3584维的语音嵌入向量，形成结构化的数据实体。

特点

该数据集最显著的特点在于其配对式情感场景设计。每个样本均包含来自同一说话者的两段情感场景音频，通过“CUT TO.”分隔，拆分为Part 1与Part 2后形成具有相同声纹身份但情感迥异的配对剪辑。这种结构使得数据集天然适配于训练跨情感过渡时保持说话者一致性的配音系统。每条样本包含MP3音频文件（256kbps、单声道、48kHz）及对应的完整JSON注释文件，囊括ASR文本、时间戳、嵌入向量与元数据，提供了丰富多维的监督信号。

使用方法

该数据集主要服务于音频分类与文本转语音两大任务场景。使用时，可直接解压tar归档文件以获取样本，语音嵌入与ASR转录信息可直接从JSON文件中提取，无需重复计算。对于配音系统训练，研究者可将Part 1与Part 2分别作为输入和目标，构建跨情感的声音保持任务。亦可将分段的音频与对应文本配对，用于情感语音合成或语音风格迁移模型的训练。数据以标准格式组织，兼容PyTorch、TensorFlow等主流深度学习框架的数据加载接口。

背景与挑战

背景概述

在语音合成与声音表演技术迅猛发展的当下，保持同一说话人在不同情感状态下的声音身份一致性，是构建高质量语音交互系统的核心难题之一。DramaBox配音数据标注集（dramabox-voice-acting-data-annotated）由LAION等机构于近年来创建，依托ResembleAI的DramaBox模型与多个先进语音处理流水线，旨在解决情感切换场景中声音一致性的数据匮乏问题。该数据集通过从原始TTS输出中提取同一说话人的两个情感片段，并应用RE-USE语音增强、LavaSR超分辨率、Whisper Turbo自动语音识别及VoiceCLAP嵌入等技术，生成高质量、带标注的配对音频，为跨情感声音表演系统的训练提供了关键基准，显著推动了语音合成领域从单一语调向情感连贯表达的跃迁。

当前挑战

该数据集所面临的核心挑战可分为两类。在领域问题层面，如何确保同一声音身份在经历愤怒、悲伤等截然不同情感时，仍能维持稳定的音色、基频等声学特征，避免身份漂移，是情感语音合成长期未竟的难题；此外，现有模型在弱噪声环境下的泛化能力不足，限制了数据集在真实场景中的应用。在构建过程中，挑战尤为突出：原始TTS输出常包含背景噪声及低采样率缺陷，需依赖RE-USE与LavaSR进行非破坏性处理，但增强算法可能引入伪影；场景切分依赖剧本标记“CUT TO:”，而实际数据中标记缺失或模糊时，切分精度难以保证；同时，Whisper Turbo的转录错误会传导至时间戳与嵌入计算，形成误差累积，最终影响配对样本的对齐质量。

常用场景

经典使用场景

在语音合成与情感语音领域，DramaBox Voice Acting Data Annotated数据集的核心经典用途在于训练与评估具备情感一致性的声音演绎系统。该数据集基于同一说话者在两个连续情感场景中的语音片段，通过场景分割与跨情感配对，为研究如何保持说话者身份特征的同时实现自然情感过渡提供了理想的数据基础。研究人员可借此构建能够根据文本情感标签或情感嵌入向量调整语音表达风格，同时保持声纹一致性的语音合成模型，推动情感语音生成技术的进步。

衍生相关工作

基于该数据集，研究者已衍生出多项具有影响力的工作，涵盖语音情感迁移、跨情感说话者嵌入、以及情感可控语音合成等方向。具体而言，以ResembleAI的DramaBox模型为起点，结合VoiceCLAP嵌入与Whisper识别结果，科研人员开发了能够从文本中预测情感强度并动态调节合成语音韵律与音色的方法。此外，NVIDIA的RE-USE语音增强网络与LavaSR超分辨率技术的集成，也催生了一批关注低资源情感语音数据质量提升的后续研究，进一步扩展了该数据集在多语种情感语音生成中的学术价值。

数据集最近研究

最新研究方向

当前，语音合成与配音技术正朝着保留说话人身份特征的同时精准驾驭多情感表达的方向演进。DramaBox Voice Acting Data Annotated数据集通过将同一说话人不同情感场景的音频进行配对与分割，构建了兼具声纹一致性与情感动态变化的高质量训练资源。结合RE-USE语音增强、LavaSR超分辨率与Whisper Turbo的精细化转录，该数据集为跨情感语音转换、情感可控语音合成以及角色配音一致性建模提供了前沿研究基础。其发布的48kHz高保真双场景片段与VoiceCLAP嵌入，更是推动了多模态身份—情感解耦技术向实用化迈进。