SEACrowd/indspeech_newstra_ethnicsr

INDspeech_NEWSTRA_EthnicSR是一个包含四种主要印度尼西亚民族语言（爪哇语、巽他语、巴厘语和巴塔克语）的语音语料库，这些语料库在字形上是平衡且平行的。该数据集由日本奈良先端科学技术大学院大学（NAIST）于2013年开发，并已用于监督学习和半监督学习中的印度尼西亚民族语音识别研究。数据集支持语音识别任务，并提供了使用`datasets`和`seacrowd`库加载数据集的代码示例。数据集的版本信息、许可证和引用文献也在README中列出。

INDspeech_NEWSTRA_EthnicSR is a speech corpus consisting of four major Indonesian ethnic languages: Javanese, Sundanese, Balinese, and Batak. The text transcriptions of these languages are orthographically balanced and parallel. Developed by the Nara Institute of Science and Technology (NAIST) in Japan in 2013, this dataset has been utilized in research on Indonesian ethnic speech recognition under both supervised and semi-supervised learning frameworks. The dataset supports speech recognition tasks, and code examples for loading it via the `datasets` and `seacrowd` libraries are provided. Additionally, the dataset's version information, license terms, and citation references are listed in the README file.

原始信息汇总

数据集概述

数据集名称

INDspeech_NEWSTRA_EthnicSR

语言

• Javanese
• Sundanese
• Balinese
• Bataks

支持的任务

语音识别

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/indspeech_newstra_ethnicsr", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("indspeech_newstra_ethnicsr", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("indspeech_newstra_ethnicsr"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集主页

https://github.com/s-sakti/data_indsp_newstra_ethnicsr

数据集版本

• 源版本：1.0.0
• SEACrowd版本：2024.06.20

数据集许可证

CC-BY-NC-SA 4.0

引用

如果使用 Indspeech Newstra Ethnicsr 数据集，请引用以下内容：

@inproceedings{sakti-cocosda-2013, title = "Towards Language Preservation: Design and Collection of Graphemically Balanced and Parallel Speech Corpora of {I}ndonesian Ethnic Languages", author = "Sakti, Sakriani and Nakamura, Satoshi", booktitle = "Proc. Oriental COCOSDA", year = "2013", address = "Gurgaon, India" }

@inproceedings{sakti-sltu-2014, title = "Recent progress in developing grapheme-based speech recognition for {I}ndonesian ethnic languages: {J}avanese, {S}undanese, {B}alinese and {B}ataks", author = "Sakti, Sakriani and Nakamura, Satoshi", booktitle = "Proc. 4th Workshop on Spoken Language Technologies for Under-Resourced Languages (SLTU 2014)", year = "2014", pages = "46--52", address = "St. Petersburg, Russia" }

@inproceedings{novitasari-sltu-2020, title = "Cross-Lingual Machine Speech Chain for {J}avanese, {S}undanese, {B}alinese, and {B}ataks Speech Recognition and Synthesis", author = "Novitasari, Sashi and Tjandra, Andros and Sakti, Sakriani and Nakamura, Satoshi", booktitle = "Proc. Joint Workshop on Spoken Language Technologies for Under-resourced languages (SLTU) and Collaboration and Computing for Under-Resourced Languages (CCURL)", year = "2020", pages = "131--138", address = "Marseille, France" }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在语言保护与多语种语音技术发展的背景下，INDspeech_NEWSTRA_EthnicSR数据集应运而生，由日本奈良先端科学技术大学院大学（NAIST）于2013年主导构建。该数据集聚焦于印度尼西亚四大主要民族语言——爪哇语、巽他语、巴厘语和巴塔克语，旨在提供字素平衡且并行的语音语料库。构建过程中，研究者精心设计了文本材料以确保各语言的字素覆盖均衡，并同步录制了平行语音数据，从而为跨语言语音识别研究奠定了坚实的数据基础。

特点

该数据集的核心特点在于其字素平衡性与并行性，这使其在民族语言语音识别领域独树一帜。每个语种均包含经过严格筛选的语音样本，确保了音素与字素映射的全面性。此外，数据集支持监督学习与半监督学习范式，已成功应用于基于机器语音链框架的语音识别与合成任务，展现出在低资源语言场景下的强大适应能力。其CC-BY-NC-SA 4.0许可协议也为学术研究提供了便利。

使用方法

用户可通过HuggingFace的datasets库便捷加载该数据集，使用`load_dataset("SEACrowd/indspeech_newstra_ethnicsr", trust_remote_code=True)`即可获取。同时，SEACrowd库提供了更灵活的数据集管理方式，支持通过`sc.load_dataset`加载默认配置，或利用`sc.available_config_names`查看所有子集，再通过`sc.load_dataset_by_config_name`指定特定配置，满足多样化的研究需求。

背景与挑战

背景概述

在语言多样性与技术普惠并重的时代，印尼四大民族语言——爪哇语、巽他语、巴厘语和巴塔克语——因资源匮乏而长期处于语音技术发展的边缘。2013年，日本奈良先端科学技术大学院大学（NAIST）的Sakriani Sakti与Satoshi Nakamura团队，以语言保存为使命，构建了INDspeech_NEWSTRA_EthnicSR语料库。该数据集包含音素平衡且平行的语音数据，旨在为这些低资源语言提供鲁棒的语音识别基础。其核心研究问题聚焦于如何在监督学习与半监督学习框架下，通过机器语音链等创新方法提升识别性能。该数据集不仅推动了印尼民族语言语音识别领域的进展，更成为跨语言迁移学习与语言技术民主化的重要基石，对东南亚地区的语言技术研究产生了深远影响。

当前挑战

该数据集所面临的挑战首先体现在领域问题上：印尼民族语言缺乏大规模标注语音资源，传统语音识别模型因数据稀疏而难以泛化，且各语言间存在显著的音系与形态差异，导致跨语言迁移困难。其次，构建过程中遭遇多重障碍：需设计音素平衡语料以确保覆盖各语言的音位系统，同时收集平行语音数据要求复杂的多语种发音人协调与录音环境控制；此外，数据标注需兼顾拼写一致性（如爪哇语与巴塔克语的多种文字变体），而CC-BY-NC-SA 4.0许可协议也限制了商业场景下的扩展应用。这些挑战共同构成了从数据采集到模型部署的全链路难题。

常用场景

经典使用场景

在低资源语言语音识别领域，INDspeech_NEWSTRA_EthnicSR数据集为爪哇语、巽他语、巴厘语和巴塔克语这四种印尼主要民族语言提供了字形平衡且平行的语音语料库，成为监督学习范式下构建民族语言声学模型的基石。研究者利用该数据集训练端到端或混合语音识别系统，通过其精心设计的平行语料特性，有效缓解了音素与字形映射的歧义问题，为多民族语言语音技术的起步奠定了数据基础。

实际应用

在实际应用中，该数据集支撑了面向印尼多民族地区的智能语音交互系统开发，例如方言语音助手、语音转写服务以及文化遗产数字化工具。通过赋能爪哇、巽他等地区的语音输入与搜索功能，该数据促进了民族语言在移动通信、公共信息播报和教育场景中的技术落地，助力弥合数字鸿沟，为语言保护与科技普惠提供了切实可行的数据引擎。

衍生相关工作

基于该数据集，衍生出一系列里程碑式工作：Sakti等人（2014）率先验证了字形级语音识别在四种民族语言上的有效性；Novitasari等人（2020）将其扩展至跨语言机器语音链框架，实现了语音识别与合成的联合半监督学习；Tjandra等人（2020）提出的机器语音链理论则进一步将数据利用效率推向新高度。这些工作共同构建了从数据采集到算法创新的完整研究链条，成为东南亚低资源语言语音领域的经典范例。