SEACrowd/nusaparagraph_topic

Nusaparagraph Topic数据集是一个专注于印尼低资源语言的高质量语料库，旨在通过母语者段落写作来提高词汇多样性和文化相关性。该数据集涵盖了12种印尼语言，并扩展了5种新语言的覆盖范围。数据集主要用于主题建模任务，涵盖了8个主题，包括食品与饮料、体育、休闲、宗教、文化与遗产、生活片段、技术和商业。

The Nusaparagraph Topic Dataset is a high-quality corpus dedicated to low-resource Indonesian languages. It aims to enhance lexical diversity and cultural relevance through paragraphs written by native speakers. This dataset covers 12 Indonesian languages and extends its coverage to include 5 additional languages. It is primarily designed for topic modeling tasks, and encompasses 8 topics: food and beverage, sports, leisure, religion, culture and heritage, daily life snippets, technology, and business.

原始信息汇总

Nusaparagraph Topic 数据集概述

语言

• btk
• bew
• bug
• jav
• mad
• mak
• min
• mui
• rej
• sun

支持的任务

• 主题建模 (Topic Modeling)

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/nusaparagraph_topic", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("nusaparagraph_topic", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("nusaparagraph_topic"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

• Creative Commons Attribution Share-Alike 4.0 International

引用

plaintext @unpublished{anonymous2023nusawrites:,
title={NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages},
author={Anonymous},
journal={OpenReview Preprint},
year={2023},
note={anonymous preprint under review}
}

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，低资源语言的技术普及面临严峻挑战，现有语料库常因词汇多样性不足及文化关联性薄弱而受限。为此，研究人员以印度尼西亚本地语言为案例，系统比较了在线抓取、人工翻译与母语者段落撰写三种数据集构建策略。实验表明，由母语者亲自撰写的段落数据在词汇丰富度与文化内容深度上均显著优于其他方法。基于此发现，项目团队构建了NusaWrites基准，涵盖12种极度低资源语言，并进一步推出了NusaMenulis高质量人工语料库，其中新增了安汶语、比马语等5种此前未被充分覆盖的语言。针对主题建模任务，数据集精心设计了8个主题类别，包括饮食、体育、休闲、宗教、文化遗产、生活片段、科技与商业，确保内容既贴近本土语境又具备广泛代表性。

特点

该数据集的核心特色在于其高质量的人工策划属性，所有文本均由母语者原创撰写，从而在根本上规避了机器翻译或网络爬取可能引入的语义偏差与文化失真。其覆盖的10种语言（如巴塔克语、爪哇语、巽他语等）均属于印尼境内极度低资源的方言，填补了现有语言技术研究的空白。在主题建模任务中，数据集不仅提供了8个清晰界定的主题标签，还通过母语者的文化视角确保了文本内容的自然性与生活化，例如“文化与遗产”主题中融入了本地特有的习俗描述。此外，数据采用Creative Commons Attribution Share-Alike 4.0国际许可协议发布，便于学术研究与非商业用途的二次利用，而SEACrowd平台提供的标准化接口则进一步提升了其跨项目兼容性。

使用方法

研究人员可通过HuggingFace的datasets库便捷加载该数据集，只需调用`load_dataset("SEACrowd/nusaparagraph_topic", trust_remote_code=True)`即可获取完整数据。对于偏好SEACrowd生态的用户，亦可安装seacrowd库后使用`sc.load_dataset("nusaparagraph_topic", schema="seacrowd")`进行加载，并通过`available_config_names`函数查看所有可用的子集配置。数据集的原始语料与标注信息均以标准化格式存储，可直接用于训练主题分类模型或评估现有语言模型在低资源场景下的表现。建议在引用时使用提供的BibTeX条目，以尊重原作者与SEACrowd团队的贡献。

背景与挑战

背景概述

在自然语言处理领域，推动技术民主化对于资源极度匮乏的语言至关重要，尤其是那些被数百万人口使用却鲜有数字化语料支撑的语言。Nusaparagraph Topic数据集由SEACrowd团队于2024年发布，旨在弥补印度尼西亚本地语言在主题建模任务中的空白。该数据集涵盖btk、bew、bug、jav、mad、mak、min、mui、rej、sun等十种低资源语言，聚焦于食品与饮料、体育、休闲、宗教、文化与遗产、生活片段、科技、商业八大主题。其核心研究问题在于探索如何构建兼具词汇多样性与文化相关性的高质量语料库，以克服传统网络爬取和机器翻译方法带来的局限性。该数据集作为NusaWrites基准的一部分，不仅拓展了多语言大语言模型在极低资源语言上的应用边界，还为东南亚语言处理研究提供了关键资源，显著推动了该领域对语言多样性与数据公平性的关注。

当前挑战

Nusaparagraph Topic数据集所面临的挑战首先体现在领域问题的复杂性上：主题建模任务在低资源语言中缺乏充足的标注数据和预训练模型支持，导致模型难以准确捕捉语义主题的微妙差异，尤其是文化特定概念（如宗教与文化遗产）的自动识别。其次，构建过程中遭遇多重困难：传统网络爬取所得语料词汇匮乏且缺乏本地文化内涵，而人工翻译虽能提升质量却成本高昂且难以规模化。为突破这一瓶颈，研究者采用母语者撰写段落的方式，虽显著提升了词汇多样性与文化真实性，但需协调大量母语者参与，确保主题覆盖的均衡性与语言变体的代表性。此外，跨语言模型在应对这些语言时表现不佳，暴露出现有多语言架构对极低资源语言泛化能力的不足，亟需设计更鲁棒的特征提取与迁移学习策略。

常用场景

经典使用场景

Nusaparagraph Topic 数据集专为主题建模任务而设计，覆盖印度尼西亚12种低资源语言，包括巴塔克语、贝塔维语、布吉语、爪哇语、马都拉语、望加锡语、米南加保语、穆西语、勒姜语和巽他语。该数据集由母语者通过段落写作方式构建，确保语料在词汇多样性和文化相关性上具有卓越质量。研究者可利用此数据集进行无监督或半监督的主题建模实验，探索在这些语言中识别8个预定义主题（如食品与饮料、体育、休闲、宗教、文化遗产、生活片段、科技和商业）的可行性，为低资源语言的自然语言处理研究提供标准化基准。

实际应用

在实际应用层面，该数据集可赋能文化保护与区域信息服务。例如，基于主题建模的文本分类系统可自动归档印尼地方新闻、民间故事或宗教文献，助力文化遗产数字化。在商业场景中，企业可利用该数据集训练模型分析偏远地区消费者的社交媒体讨论，识别食品偏好或技术采纳趋势，从而制定本土化市场策略。此外，该数据为构建低资源语言智能助手（如方言问答系统）提供了训练素材，推动包容性技术发展，缩小数字鸿沟。

衍生相关工作

Nusaparagraph Topic 是 NusaWrites 基准的核心组成部分，该基准还衍生出 NusaMenulis 语料库，额外覆盖安汶语、比马语等5种语言。相关工作包括利用此数据集评估多语言模型（如 mBERT、XLM-R）在主题分类任务上的跨语言迁移能力，并催生了针对印尼低资源语言的微调策略研究。此外，该数据集已被整合至 SEACrowd 数据枢纽，支持东南亚语言的多模态基准测试，推动了区域语言技术标准化。其构建方法论亦被引用于其他低资源语言语料库的设计中，成为衡量数据质量的重要参考。