SEACrowd/massive

MASSIVE数据集是一个多语言的亚马逊SLU资源包，用于槽填充、意图分类和虚拟助手评估。该数据集包含100万条现实中的虚拟助手对话，涵盖18个领域、60种意图和55个槽位。MASSIVE数据集由专业翻译人员将英文SLURP数据集本地化为50种语言，其中包括8种东南亚本地语言和2种其他语言。

The MASSIVE dataset is a multilingual Amazon SLU (Spoken Language Understanding) resource package intended for slot filling, intent classification, and virtual assistant evaluation. It contains 1 million real-world virtual assistant dialogues covering 18 domains, 60 intents, and 55 slots. The MASSIVE dataset was developed by localizing the English SLURP dataset into 50 languages via professional translators, including 8 indigenous Southeast Asian languages and 2 additional languages.

原始信息汇总

Massive 数据集概述

基本信息

• 名称: Massive
• 许可证: Creative Commons Attribution 4.0 (cc-by-4.0)
• 语言:
  • ind
  • jav
  • khm
  • zlm
  • mya
  • tha
  • tgl
  • vie
• 任务类别:
  • 意图分类 (Intent Classification)
  • 槽填充 (Slot Filling)
• 标签:
  • 意图分类
  • 槽填充

数据集描述

• 内容: Massive 数据集是一个多语言的 Amazon SLURP 资源包，用于槽填充、意图分类和虚拟助手评估。该数据集包含 100 万条现实、并行、标记的虚拟助手话语，涵盖 18 个领域、60 个意图和 55 个槽。
• 语言多样性: 该数据集由专业翻译人员将仅限英语的 SLURP 数据集本地化为 50 种类型学上多样化的语言，包括 8 种本地语言和 2 种主要在东南亚使用的其他语言。

支持任务

• 意图分类
• 槽填充

数据集版本

• 源版本: 1.1.0
• SEACrowd 版本: 2024.06.20

引用

@misc{fitzgerald2022massive, title={MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages}, author={Jack FitzGerald and Christopher Hench and Charith Peris and Scott Mackie and Kay Rottmann and Ana Sanchez and Aaron Nash and Liam Urbach and Vishesh Kakarala and Richa Singh and Swetha Ranganath and Laurie Crist and Misha Britan and Wouter Leeuwis and Gokhan Tur and Prem Natarajan}, year={2022}, eprint={2204.08582}, archivePrefix={arXiv}, primaryClass={cs.CL} } @inproceedings{bastianelli-etal-2020-slurp, title = "{SLURP}: A Spoken Language Understanding Resource Package", author = "Bastianelli, Emanuele and Vanzo, Andrea and Swietojanski, Pawel and Rieser, Verena", booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)", month = nov, year = "2020", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2020.emnlp-main.588", doi = "10.18653/v1/2020.emnlp-main.588", pages = "7252--7262", abstract = "Spoken Language Understanding infers semantic meaning directly from audio data, and thus promises to reduce error propagation and misunderstandings in end-user applications. However, publicly available SLU resources are limited. In this paper, we release SLURP, a new SLU package containing the following: (1) A new challenging dataset in English spanning 18 domains, which is substantially bigger and linguistically more diverse than existing datasets; (2) Competitive baselines based on state-of-the-art NLU and ASR systems; (3) A new transparent metric for entity labelling which enables a detailed error analysis for identifying potential areas of improvement. SLURP is available at https://github.com/pswietojanski/slurp." }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

MASSIVE数据集是基于英文SLURP数据集通过专业翻译人员本地化至50种语言构建而成，涵盖印度尼西亚语、爪哇语、高棉语、马来语、缅甸语、泰语、他加禄语和越南语等8种东南亚本土语言及2种其他地区语言。该数据集包含100万条真实、平行且标注完整的虚拟助手话语，横跨18个领域、60种意图和55种槽位，旨在支持意图分类与槽填充任务。其构建过程确保了多语言覆盖的典型性与多样性，为多语言自然语言理解研究提供了坚实的数据基础。

使用方法

MASSIVE数据集可通过HuggingFace Datasets库便捷加载，使用`load_dataset("SEACrowd/massive", trust_remote_code=True)`即可获取。用户亦可借助SEACrowd库进行更灵活的数据集操作，如通过`sc.load_dataset("massive", schema="seacrowd")`加载默认配置，或使用`sc.available_config_names("massive")`查看所有可用子集，并利用`sc.load_dataset_by_config_name(config_name="<config_name>")`加载特定配置。数据集采用CC-BY-4.0许可，允许广泛使用，详细用法可参考SEACrowd官方文档。

背景与挑战

背景概述

MASSIVE数据集由亚马逊Alexa团队于2022年创建，核心研究人员包括Jack FitzGerald、Christopher Hench等，旨在解决多语言自然语言理解（NLU）中意图分类与槽填充任务的资源匮乏问题。该数据集基于英文SLURP语料库，通过专业翻译人员将其本地化为50种语言，覆盖18个领域、60种意图和55种槽位，包含100万条平行标注的虚拟助手话语。其研究核心在于推动多语言NLU系统的泛化能力，尤其针对东南亚地区8种本土语言及2种常用语言（如印尼语、爪哇语、高棉语等）的语义理解。MASSIVE的发布为跨语言对话系统提供了标准化基准，显著促进了低资源语言的NLU研究，成为多语言语义解析领域的重要里程碑。

当前挑战

MASSIVE数据集面临的核心挑战包括：1) 多语言NLU的领域难题——不同语言在语法结构、词汇歧义和语义表达上存在显著差异，例如东南亚语言（如缅甸语、泰语）的黏着形态与词序灵活性，导致意图分类和槽填充任务在跨语言场景下性能骤降；2) 数据集构建过程中的质量平衡——依赖人工翻译的本地化策略虽保证了标注一致性，但50种语言的翻译成本与时间消耗巨大，且部分低资源语言（如高棉语）缺乏专业译者，可能引入语义偏差或文化特定表达误差；3) 场景覆盖的局限性——尽管涵盖18个领域，但虚拟助手语料的日常对话性质使其无法充分应对专业领域（如医疗、法律）的复杂语义需求，制约了模型的实际应用泛化性。

常用场景

经典使用场景

MASSIVE数据集的核心使用场景在于多语言意图识别与槽位填充任务，尤其适用于构建跨语言的虚拟助手自然语言理解系统。该数据集包含100万条高质量、平行标注的虚拟助手话语，覆盖18个领域、60种意图和55种槽位类型，并经由专业翻译人员将原始英文SLURP数据集本地化为50种类型多样的语言，其中特别涵盖了印尼语、爪哇语、高棉语、马来语、缅甸语、泰语、他加禄语和越南语等东南亚语言。研究者可借助该数据集训练和评估多语言NLU模型，探索语言间的语义对齐与迁移学习策略，从而推动多语言对话系统在真实世界中的鲁棒性与泛化能力提升。

解决学术问题

MASSIVE数据集有效解决了多语言自然语言理解研究中高质量标注资源匮乏的核心瓶颈。此前，大多数意图识别和槽位填充数据集局限于英语或少数高资源语言，导致多语言NLU模型的跨语言迁移性能评估缺乏统一、可比的基准。MASSIVE通过提供51种类型学差异显著语言的平行标注语料，使学术界能够系统性地研究语言多样性对NLU任务的影响，包括低资源语言上的零样本与少样本学习、跨语言表示对齐、以及多任务联合训练等前沿问题。该数据集的发布显著推动了多语言NLU评估标准的建立，为跨语言对话理解研究提供了坚实的实验基础。

实际应用

在实际应用层面，MASSIVE数据集为全球化的虚拟助手、智能客服和语音交互系统的多语言部署提供了关键支撑。基于该数据集训练的模型能够准确识别用户在不同语言环境下的查询意图（如设置闹钟、查询天气、播放音乐等），并精确抽取相关实体信息（如时间、地点、人名）。东南亚地区的科技企业可借助该数据集开发支持印尼语、泰语、越南语等多语种的本地化语音助手，提升服务覆盖范围与用户体验。此外，该数据集还可用于评估和优化多语言NLU模型在真实对话场景中的表现，降低跨语言系统的开发成本与迭代周期。

数据集最近研究

最新研究方向

当前，面向东南亚语言的跨语种自然语言理解研究正蓬勃发展，SEACrowd/massive数据集作为多语言虚拟助手意图分类与槽填充任务的核心资源，其前沿研究方向聚焦于低资源语言的语义解析与泛化能力提升。该数据集涵盖印尼语、爪哇语、高棉语等8种东南亚语言，为构建包容性对话系统提供了百万级平行标注语料。近期研究热点包括利用预训练多语言模型（如mT5、XLM-R）在MASSIVE上进行零样本跨语言迁移学习，探索语言间的语义对齐策略，以及结合SEACrowd生态推动区域语言技术民主化。其发布显著缓解了高资源语言主导的NLU研究失衡，为东南亚数字包容性发展注入新动力。