FreedomIntelligence/ExpressiveSpeech

ExpressiveSpeech是一个高质量、表现力强、中英双语对话数据集，旨在解决现有对话数据集中普遍存在的声音表现力一致性不足的问题。该数据集经过严格筛选，从五个知名的开源情感对话数据集中精心挑选而出，确保每个语句在音质和表现力上均达到高标准。适用于表现力语音到语音(S2S)、文本到语音(TTS)、语音转换、语音情感识别等领域。ExpressiveSpeech is a high-quality, expressive, and bilingual (Chinese-English) speech dataset created to address the common lack of consistent vocal expressiveness in existing dialogue datasets. It is meticulously curated from five renowned open-source emotional dialogue datasets and is designed for tasks in expressive Speech-to-Speech (S2S), Text-to-Speech (TTS), voice conversion, speech emotion recognition, and other fields requiring high-fidelity, emotionally resonant audio.

搜集汇总

数据集介绍

构建方式

在情感语音合成与识别领域，现有对话数据集普遍缺乏一致且富有表现力的语音特征。为弥补这一不足，ExpressiveSpeech数据集应运而生。该数据集从Expresso、NCSSD、M3ED、MultiDialog和IEMOCAP五个知名开源情感对话数据集中精心筛选与构建。通过自主研发的DeEAR表达力评分工具对每条语音进行严格评估，仅保留高表现力样本，并合并因语音活动检测（VAD）被分割的片段以维持对话完整性。最终形成约14,000条、总计51小时的中英双语高质量语音数据，语言比例接近1:1。

特点

ExpressiveSpeech数据集的核心优势在于其卓越的表达力与双语平衡性。经DeEAR工具评估，其平均表达力得分高达80.2，远超原始来源数据集。每条样本均包含ASR生成的文本转录、情感标签、以及唤醒度、韵律性、自然度和表达力等多维评分，元数据极为丰富。音频采样率为16kHz，确保高保真度。此外，数据集严格遵循CC BY-NC-SA 4.0许可，保留源数据的非商业性限制，保障了学术研究的合规性。

使用方法

该数据集专为表达性语音到语音（S2S）、文本到语音（TTS）、语音转换及语音情感识别等任务设计。用户可通过Hugging Face平台直接加载使用，数据以JSONL格式存储，每条记录包含对话轮次、说话人角色、文本内容、情感标签、音频路径及多维评分。音频文件按来源数据集分目录组织，便于按需索引。研究人员可利用其高表达力音频与丰富元数据进行模型训练、评估或迁移学习，亦可借助DeEAR工具扩展构建更大规模的高表现力数据集。

背景与挑战

背景概述

在语音合成与转换领域，情感表达的真实性与细腻度一直是制约人机交互自然性的核心瓶颈。现有开源对话数据集多聚焦于文本或语义层面，而忽视了音频中蕴含的韵律、音色与情绪波动，导致合成语音常显机械与单调。为弥补这一鸿沟，由FreedomIntelligence团队于2025年主导构建的ExpressiveSpeech数据集应运而生。该团队依托其对人类听觉偏好的深度理解，提出了DeEAR表达性评分工具，并以此为核心筛选机制，从Expresso、NCSSD、M3ED、MultiDialog和IEMOCAP五个知名情感对话数据集中精炼出约14000条高质量、高表达性的中英双语语音样本，总时长达51小时。ExpressiveSpeech不仅为语音到语音翻译、文本到语音合成、语音情感识别等任务提供了稀缺的富有表现力的训练资源，更通过其严格的筛选流程与丰富的元数据（如ASR转录、情感标签与表达性分数），为相关领域的研究树立了新的数据质量标杆。

当前挑战

ExpressiveSpeech数据集所面临的挑战首先源于其核心研究问题：如何系统性地量化并提升语音的表达性，以克服现有数据集普遍存在的机械感与情感缺失。传统数据集在构建时往往忽略韵律与情绪的一致性，而ExpressiveSpeech通过DeEAR工具实现了对表达性的客观评分，但这一过程本身极具挑战，因为表达性涉及主观感知与多维声学特征（如唤醒度、韵律自然度）的复杂耦合。其次，数据集构建过程中遭遇了多重技术难题：源数据集来自不同采集环境与说话人，导致音频质量参差不齐，需通过VAD分割与合并规则来保持对话完整性；同时，在确保中英文语料比例接近1:1的同时，还需维持情感标签的均衡分布，避免数据偏差。此外，受限于源数据集的非商业使用条款，ExpressiveSpeech采用CC BY-NC-SA 4.0许可，这在一定程度上限制了其工业界的广泛应用与商业化落地。

常用场景

经典使用场景

ExpressiveSpeech数据集专为情感语音合成与语音转换任务而生，其核心应用在于构建能够精准捕捉并再现人类情感韵律的语音生成模型。通过提供中英双语、高表现力的语音片段及精细的情感标注，该数据集成为训练表达性文本到语音（TTS）与语音到语音（S2S）系统的理想基石。研究者可基于其丰富的元数据，如唤醒度、韵律自然度及表现力评分，设计多维度情感控制模块，从而生成兼具语义准确性与情感感染力的合成语音。

实际应用

在实际应用中，ExpressiveSpeech可赋能智能语音助手、虚拟角色配音及无障碍沟通工具等场景。例如，在智能客服系统中，基于该数据集训练的TTS模型能够根据用户情绪状态动态调整回复的语调与节奏，提升交互的自然度与用户满意度。此外，其高表现力语音片段可用于辅助自闭症谱系障碍患者的情绪识别训练，或为影视游戏行业提供高效的情感语音素材生成方案，显著降低人工录音成本。

衍生相关工作

围绕ExpressiveSpeech数据集，研究者已衍生出多项代表性工作。核心贡献之一即是其配套开发的DeEAR评分工具，该工具基于人类偏好对齐机制实现了对语音表现力的客观量化，为后续大规模情感数据自动筛选提供了技术范式。此外，该数据集已被用于探索跨语言情感迁移的语音合成框架，以及联合语音内容与韵律的联合表示学习模型。这些工作不仅验证了数据集在提升合成语音自然度与表现力方面的有效性，也为构建更具共情能力的多模态对话系统奠定了方法论基础。