Text to Speech Distribution Score 2 (TTSDS2)

TTSDS2是一个用于评估文本到语音系统质量的资源，它通过比较合成语音与真实语音的分布相似度来评估系统。该数据集包含来自YouTube和LibriVox等多个来源的数据，涉及14种语言。TTSDS2使用多种感知因素，如说话人身份、清晰度和韵律，通过比较这些因素的分布来评估合成语音的质量。此外，该数据集还提供了一个不断更新的基准，用于14种语言的文本到语音系统。TTSDS2 is a dedicated resource for evaluating the quality of text-to-speech (TTS) systems, which assesses such systems by measuring the distributional similarity between synthesized speech and natural human speech. This dataset contains data from multiple sources including YouTube and LibriVox, covering 14 distinct languages. TTSDS2 utilizes multiple perceptual factors such as speaker identity, intelligibility, and prosody, and evaluates the quality of synthesized speech by comparing the distributions of these factors between synthetic and natural speech. Furthermore, this dataset provides a continuously updated benchmark for text-to-speech systems across 14 languages.

搜集汇总

数据集介绍

构建方式

TTSDS2数据集的构建基于多源语音数据与自动化流水线。研究者从YouTube、LibriVox等公开来源及Linguistic Data Consortium学术资源中获取多语言语音，涵盖14种语言。构建流程包括数据抓取、预处理、过滤与合成：每季度自动抓取各语言250个视频，经说话人日记化与语言识别后，提取同一说话者的语音片段；通过XNLI模型过滤敏感内容，并利用Pyannote与Demucs检测串扰与背景音乐，最终选取50对说话者匹配的参考与待合成语音。20个开源TTS系统（2022–2024年发布）据此生成合成语音，形成持续更新的多语言评估基准。

特点

TTSDS2的核心特点在于其多维分布性度量与跨领域鲁棒性。该指标整合了GENERIC（通用语音表征）、SPEAKER（说话人身份）、PROSODY（韵律信息）与INTELLIGIBILITY（可懂度）四个感知因子，每个因子由多个特征（如WavLM、HuBERT、F0、Whisper激活值）构成。通过计算合成语音与真实语音及噪声分布间的2-Wasserstein距离，得出0–100的归一化评分。在Clean、Noisy、Wild、Kids四个领域及MOS、CMOS、SMOS三种主观评分下，TTSDS2是16个对比指标中唯一在所有情境下斯皮尔曼相关系数超过0.50的指标，平均相关达0.67。

使用方法

使用TTSDS2时，用户可借助开源流水线（github.com/ttsds/pipeline）季度性重建多语言测试集，以避免数据泄露。具体步骤包括：下载最新工具代码与模型权重，准备待评估TTS系统的合成语音及对应真实语音参考，提取预设的12项感知特征，计算各因子得分并取均值得到最终TTSDS2评分。评估结果可提交至ttsdsbenchmark.com公开排名。该工具支持14种语言，且扩展性强，适用于TTS系统研发中的模型选型、消融实验与更新追踪，尤其适合对比人类-Level合成质量。

背景与挑战

背景概述

在语音合成领域，随着神经网络的迅猛演进，当代文本转语音系统已能够生成与真实人声几乎无法区分的合成语音。然而，精准评估这些系统的性能始终是极具挑战的课题，主观评测如平均意见分数因高昂的人力成本与跨研究间的不可比性而受限，而客观指标又常缺乏与主观感受的稳固关联。为弥合这一鸿沟，爱丁堡大学语音技术研究中心的Christoph Minixhofer、Ondrej Klejch与Peter Bell于2025年提出了文本转语音分布评分第二代（TTSDS2）。该研究团队构建了横跨20个2022至2024年间发布的系统、覆盖14种语言的基准测试体系，并首次实现了对说话人身份与数据集域的控制性比较，提供了迄今为止最为全面的多语言TTS系统自动化排名平台。

当前挑战

TTSDS2直面了双重维度的严峻挑战。在领域问题层面，现有TTS系统的高保真度使传统客观指标在区分真实与合成语音时力不从心，众指标在不同语音域（如纯净朗读、含噪录音、自发讲话与儿童语音）间表现出显著的不稳定性——TTSDS2是16种对比指标中唯一在所有域与主观评分间斯皮尔曼相关系数超过0.50的度量标准。在构建过程中，研究者需克服来自多元来源（YouTube、LibriVox、学术数据）的数据异构性，设计自动化的季度更新流水线以防范数据泄露，并通过LLM与XNLI相结合的过滤策略摒除敏感内容，同时确保多语言环境下特征的跨语言一致性与鲁棒性，整个过程需平衡计算效率与评估准确性。

常用场景

经典使用场景

在语音合成领域，TTSDS2最经典的使用场景是作为评测多个文本转语音系统在跨领域、跨语言条件下合成语音质量的客观指标。研究者通过该数据集能够对20个发布于2022至2024年的开源TTS系统进行统一的性能比较，覆盖从干净朗读语音、含噪录音、自然对话到儿童教育语音四种迥异的域。其核心议题在于，当合成语音已臻至与真实语音难以区分之境时，传统主观评价手段失去可比性，而TTSDS2凭借分布距离度量提供了唯一在所有域和三项主观分数（MOS、CMOS、SMOS）上均保持斯皮尔曼相关系数大于0.50的客观替代方案。

解决学术问题

该数据集着力于回答一个悬而未决的学术核心问题：当TTS系统已报告达到或超越人类自然度后，如何保证客观评测的鲁棒性与可比性。过去，主观MOS分数因听者与调查方式迥异而无法跨论文对比，而多数客观指标又未获系统性地针对近期高性能模型进行验证。TTSDS2通过构建包含11,846条评分的主观评测数据集、并对比16种流行客观指标，实证揭示了对话域、儿童语音等未经优化的数据上主观与客观相关性的剧烈衰减。它首次提供了跨4个域、涵盖14种语言的公共基准，终结了此前仅英语单一语种评测的局限，从而推动了TTS评估范式的科学化演进。

衍生相关工作

TTSDS2直接衍生出一系列支撑性资源与后续研究方向。它公开了包含11,282条匿名评分的主观测评数据集，为训练和验证MOS预测网络提供了超越现有VoiceMOS挑战赛数据的高难度样本，因为当前竞品数据集大多使用未达到人类水平的TTS系统。此外，其自动化的多语言评测管线可通过扩展覆盖新的语言与系统，为持续基准测试奠定了基础。工作本身也通过对TTSDS2各知觉因子（通用性、说话人身份、韵律、可懂度）的切片相关性分析，揭示了不同域下各因子的贡献差异，启发后续研究者在指标设计中更精细地权衡域适应性与因素权重。