mesolitica/Malaysian-Emilia

Malaysian Emilia 是一个广泛、多语言且多样化的语音数据集，用于大规模马来西亚语音生成。数据集包含来自马来西亚卡通、马来西亚YouTube视频、马来西亚播客、新加坡播客、马来西亚议会和马来西亚方言等多个来源的音频数据。每个来源的音频数据都经过了处理，包括时长调整和样本率清理。数据集的总规模在1M到10M之间，语言包括英语和马来语。

Malaysian Emilia is an extensive, multilingual, and diverse speech dataset designed for large-scale Malaysian speech generation. The dataset includes audio data from various sources such as Malaysian cartoons, Malaysian YouTube videos, Malaysian podcasts, Singaporean podcasts, Malaysian parliament, and Malaysian dialects. Each sources audio data has been processed, including duration adjustment and sample rate cleaning. The datasets total size ranges between 1M and 10M, and it includes languages such as English and Malay.

搜集汇总

数据集介绍

构建方式

Malaysian-Emilia数据集构建于大规模、多语种、多样化的语音数据之上，其原始数据来源于Emilia项目。该数据集通过汇集来自马来西亚及新加坡地区的多个YouTube频道资源，涵盖马来西亚卡通、YouTube视频、播客、国会辩论、方言内容及经典马来电影等六大类别。原始数据经由预处理流程，包括音频提取、清洗、分割与采样率统一，最终形成约1.5万小时的语音材料，并以压缩分卷文件形式存储，便于分布式下载与解压。

特点

该数据集以多语种（英语与马来语）、多场景（日常对话、正式演讲、娱乐节目）及高时长（超过1万小时）为核心特点，显著提升了语音生成模型的泛化能力。其数据来源覆盖马来西亚与新加坡的多元语言环境，包含地域性方言与经典影视内容，为语音合成研究提供了丰富的音色、口音与情感表达样本。此外，数据集采用CC-BY-NC-4.0许可协议，在学术与非商业用途中具有开放性与可复现性。

使用方法

使用者可通过Hugging Face CLI工具，利用`huggingface-cli download`命令指定包含`*.zip`文件的路径进行分布式下载，排除特定类别（如卡通）后保存至本地目录。随后，运行提供的`unzip.py`脚本完成解压，即可获得结构化音频文件。数据集支持直接用于训练文本转语音（TTS）模型，或作为预训练语料进行语音特征提取，其标注版本（Malaysian-Emilia-annotated）进一步提供了24kHz与44kHz采样率的后处理音频，适配不同研究需求。

背景与挑战

背景概述

马来西亚-艾米莉亚数据集（Malaysian-Emilia）是由马来西亚研究团队mesolitica于2023年创建的大规模多语言语音数据集，旨在推动马来西亚与新加坡地区的语音生成研究。该数据集基于Emilia框架构建，整合了来自YouTube的马来西亚卡通、马来西亚视频、马来西亚播客、新加坡播客、马来西亚议会录音、马来西亚方言以及经典马来电影等多元音频资源，总计超过十万小时的原始音频，经处理后形成约1.5万小时的高质量语音数据。其核心研究问题在于解决东南亚地区低资源语言与方言的语音合成与识别挑战，填补了该领域大规模公开数据集的空白，对多语言语音技术的地域化应用具有重要影响力。

当前挑战

该数据集面临多重挑战：首先，在领域问题层面，需应对马来西亚与新加坡地区语言多样性带来的语音识别与合成难题，包括标准马来语、英语、华语及多种方言（如吉兰丹方言、沙巴方言）的混杂，以及议会、播客等不同场景下的口音与噪声干扰。其次，在构建过程中，原始数据来源分散，需从YouTube等平台爬取并处理版权问题，同时面临音频质量参差不齐、方言标注困难、时长分布不均等实际障碍。此外，数据清洗与标准化流程复杂，例如将原始68.8小时的方言音频处理至8,085小时，需解决片段分割、采样率统一及噪声抑制等技术挑战，以确保数据集的可用性与代表性。

常用场景

经典使用场景

Malaysian-Emilia数据集在大规模多语言语音生成研究中扮演着基石角色，尤其适用于马来西亚与新加坡区域的语音合成与转换任务。其涵盖马来西亚语、英语及多种方言的丰富音频资源，为构建高保真度、多口音的文本转语音系统提供了理想训练素材。研究者可基于该数据集开发能够精准捕捉地域语音特征的生成模型，从而推动东南亚语言在语音技术领域的深度应用。

解决学术问题

该数据集有效解决了低资源语言语音数据稀缺的学术难题，特别是针对马来西亚语及其方言的语音生成研究。传统数据集往往局限于标准语言，忽视了地域性口音与混合语码现象，而Malaysian-Emilia通过整合议会演讲、播客、卡通等多元场景，弥合了学术研究中跨语言与跨方言泛化能力的鸿沟。其贡献在于为多模态语音生成与迁移学习提供了基准，显著提升了模型在真实环境下的鲁棒性。

衍生相关工作

该数据集催生了一系列经典工作，如基于Emilia框架的语音生成预训练模型，以及针对马来西亚语韵律优化的端到端合成架构。后续研究进一步探索了跨语种迁移学习，利用Malaysian-Emilia的英文子集提升多语言模型的泛化能力。此外，有工作结合该数据集与对抗训练技术，实现了对噪声环境下的语音增强，推动了鲁棒语音生成在工业界的落地。