SEACrowd/code_mixed_jv_id

该数据集用于爪哇语和印度尼西亚语的情感分析和机器翻译任务。数据集包含混合代码的文本，支持情感分析和机器翻译两种任务。可以通过`datasets`库或`seacrowd`库加载数据集，并且提供了详细的加载方法。数据集的许可证为cc_by_3.0，并提供了相关的引用信息。

原始信息汇总

数据集概述

语言

• Javanese (jav)
• Indonesian (ind)

支持的任务

• 情感分析 (Sentiment Analysis)
• 机器翻译 (Machine Translation)

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

• cc_by_3.0

引用

如果使用 Code Mixed Jv Id 数据集，请引用以下内容：

@article{Tho_2021, doi = {10.1088/1742-6596/1869/1/012084}, url = {https://doi.org/10.1088/1742-6596/1869/1/012084}, year = 2021, month = {apr}, publisher = {{IOP} Publishing}, volume = {1869}, number = {1}, pages = {012084}, author = {C Tho and Y Heryadi and L Lukas and A Wibowo}, title = {Code-mixed sentiment analysis of Indonesian language and Javanese language using Lexicon based approach}, journal = {Journal of Physics: Conference Series}, abstract = {Nowadays mixing one language with another language either in spoken or written communication has become a common practice for bilingual speakers in daily conversation as well as in social media. Lexicon based approach is one of the approaches in extracting the sentiment analysis. This study is aimed to compare two lexicon models which are SentiNetWord and VADER in extracting the polarity of the code-mixed sentences in Indonesian language and Javanese language. 3,963 tweets were gathered from two accounts that provide code-mixed tweets. Pre-processing such as removing duplicates, translating to English, filter special characters, transform lower case and filter stop words were conducted on the tweets. Positive and negative word score from lexicon model was then calculated using simple mathematic formula in order to classify the polarity. By comparing with the manual labelling, the result showed that SentiNetWord perform better than VADER in negative sentiments. However, both of the lexicon model did not perform well in neutral and positive sentiments. On overall performance, VADER showed better performance than SentiNetWord. This study showed that the reason for the misclassified was that most of Indonesian language and Javanese language consist of words that were considered as positive in both Lexicon model.} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

该数据集聚焦于印度尼西亚语与爪哇语混合使用的语码转换现象，源自社交媒体平台Twitter上采集的3,963条推文。构建过程中，研究者从两个专门发布混合语码推文的账户中收集原始数据，随后执行了一系列预处理步骤，包括去除重复条目、将文本翻译为英语、过滤特殊字符、统一转换为小写以及移除停用词。为进行情感分析，数据集采用了基于情感词典的方法，分别应用SentiNetWord与VADER两种模型计算正面与负面词汇得分，并通过简单数学公式判定情感极性，同时结合人工标注进行对比验证。此外，该数据集也支持机器翻译任务，为跨语言研究提供了基础资源。

特点

数据集的核心特点在于其针对语码混合这一独特语言现象，填补了印度尼西亚语与爪哇语混合情感分析领域的空白。它包含了来自真实社交媒体场景的推文，反映了日常交流中双语使用的自然状态。在情感分析方面，数据集通过对比SentiNetWord与VADER两种词典模型的表现，揭示了模型在负面情感上的优势以及在中性及正面情感上的局限性，突显了混合语数据处理的复杂性。同时，数据集以CC BY 3.0许可发布，支持情感分析与机器翻译双重任务，为多语言自然语言处理研究提供了宝贵素材。

使用方法

用户可通过HuggingFace的`datasets`库便捷加载该数据集，只需执行`load_dataset("SEACrowd/code_mixed_jv_id", trust_remote_code=True)`即可获取。此外，利用`seacrowd`库可进一步探索其子集配置，通过`sc.load_dataset("code_mixed_jv_id", schema="seacrowd")`加载默认版本，或使用`sc.available_config_names`查看所有可用配置名，再以`sc.load_dataset_by_config_name`指定特定配置。加载后，数据可直接用于情感分类模型的训练与评估，或作为机器翻译任务的平行语料。详细指导可参考SEACrowd数据中心的官方文档，确保高效集成与使用。

背景与挑战

背景概述

在印度尼西亚等多元语言社会，日常交流中频繁出现爪哇语与印尼语的混合使用现象，这种语码混合对自然语言处理提出了独特挑战。SEACrowd/code_mixed_jv_id数据集由Tho等人于2021年创建，源自对社交媒体推文的系统收集与标注，旨在推进语码混合环境下的情感分析与机器翻译研究。该数据集包含3963条经过预处理的推文，通过对比SentiNetWord与VADER两种词典模型的情感极性提取效果，揭示了语码混合数据在情感分类中的复杂特性。作为SEACrowd多语言数据枢纽的一部分，该数据集为东南亚低资源语言的细粒度情感分析提供了关键基准，推动了语码混合NLP研究在印尼语-爪哇语双语场景中的发展。

当前挑战

该数据集所应对的核心挑战在于语码混合文本的情感分析精度不足，尤其是中性及正面情感的分类准确率远低于预期，反映了传统词典模型在处理混合语言词汇时的局限性。构建过程中，研究者需面对推文去重、特殊字符过滤、停用词移除及语言翻译等繁重预处理任务，同时需解决爪哇语与印尼语中大量词汇在词典模型中被误判为正面的问题。此外，语码混合现象的高度非规范性与口语化特征，使得人工标注一致性难以保证，而数据规模有限也制约了深度学习方法的有效应用，凸显了低资源语码混合场景下数据稀缺与模型泛化能力之间的持续张力。

常用场景

经典使用场景

在印度尼西亚语与爪哇语交织的日常交际与社交媒体语境中，语码混合现象极为普遍，为自然语言处理带来了独特的挑战。SEACrowd/code_mixed_jv_id数据集正是为应对这一现象而构建，其经典使用场景聚焦于情感分析任务。研究者利用该数据集，能够系统地探究在语码混合文本中，如何准确提取并分类情感极性，尤其适用于评估诸如SentiNetWord与VADER等基于词典的情感分析模型在混合语言环境下的表现。该数据集为多语言情感分析提供了宝贵的基准资源，推动了低资源语言混合场景下情感计算研究的发展。

衍生相关工作

围绕SEACrowd/code_mixed_jv_id数据集，学术界已衍生出多项具有影响力的后续工作。Tho等人基于该数据开展的词典方法比较研究，揭示了语码混合情感分析中模型偏误的根源，为后续改进提供了重要基线。SEACrowd项目本身进一步将该数据集整合进其多语言多模态数据枢纽中，使其成为东南亚语言基准评测套件的一部分，从而促进了跨语言情感分析方法的系统性对比与复现。此外，该数据集还激励了针对印尼语与爪哇语混合文本的深度学习情感分类模型开发，推动了从词典方法向神经网络的范式演进，并催生了更多关于低资源语言语码混合现象的理论探讨与实证研究。

数据集最近研究

最新研究方向

在自然语言处理领域，语言混合现象（Code-Mixing）已成为多语社会研究的前沿热点，尤其在南亚与东南亚的社交媒体文本中尤为显著。SEACrowd/code_mixed_jv_id数据集聚焦于印尼语与爪哇语的代码混合文本，为情感分析与机器翻译任务提供了稀缺的双语资源。当前研究方向主要围绕情感极性的精准提取，传统基于词典的方法如SentiNetWord与VADER在混合语言中暴露出对中性及正向情感识别不足的局限，催生了基于深度上下文嵌入与跨语言迁移学习的改进路径。该数据集的出现不仅填补了低资源语言混合情感分析的数据空白，更推动了东南亚多语种NLP基准的构建，为理解语言接触中的语义演化与社会情感倾向提供了关键支撑，其影响力正随着SEACrowd数据枢纽的扩展而持续放大。