SEACrowd/malaysia_tweets

该数据集包含从马来西亚提取的基于关键词social distancing和physical distancing的推文，用于分析COVID-19疫情期间公众对健康信息的看法。数据收集时间从2020年1月到2021年7月，使用了Python模块snscrape进行数据提取，并使用Polyglot和MALAYA NLP工具进行情感分析。数据集支持情感分析任务，并且可以通过`datasets`库或`seacrowd`库加载。数据集的许可证未知，语言包括英语和马来语。

This dataset contains tweets extracted from Malaysia based on the keywords social distancing and physical distancing, used to analyze public opinions on health messages during the COVID-19 pandemic. The data was collected from January 2020 to July 2021, using the Python module snscrape for data extraction and Polyglot and MALAYA NLP tools for sentiment analysis. The dataset supports sentiment analysis tasks and can be loaded using the `datasets` library or the `seacrowd` library. The datasets license is unknown, and the languages include English and Malay.

原始信息汇总

Malaysia Tweets 数据集概述

基本信息

• 名称: Malaysia Tweets
• 语言: 英语 (eng)
• 任务类别: 情感分析 (sentiment-analysis)
• 标签: 情感分析 (sentiment-analysis)

数据集描述

• 数据来源: 从马来西亚的推文中提取，关键词为 "social distancing" 和 "physical distancing"。
• 时间范围: 2020年1月至2021年7月。
• 数据处理: 使用 Python 模块 snscrape 提取推文，并使用 Polyglot 和 MALAYA NLP 工具自动获取情感标签。

支持的任务

• 情感分析

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/malaysia_tweets", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

加载默认配置的数据集

dset = sc.load_dataset("malaysia_tweets", schema="seacrowd")

查看数据集的所有可用子集（配置名称）

print(sc.available_config_names("malaysia_tweets"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集版本

• 源版本: 1.0.0
• SEACrowd 版本: 2024.06.20

数据集许可证

• 许可证: 未知 (unknown)

引用

plaintext @InProceedings{10.1007/978-981-16-8515-6_44, author="Juan, Sarah Samson and Saee, Suhaila and Mohamad, Fitri", title="Social Versus Physical Distancing: Analysis of Public Health Messages at the Start of COVID-19 Outbreak in Malaysia Using Natural Language Processing", booktitle="Proceedings of the 8th International Conference on Computational Science and Technology", year="2022", publisher="Springer Singapore", pages="577--589", }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and others}, year={2024}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

该数据集源自马来西亚地区围绕‘社交距离’与‘物理距离’关键词的推文，时间跨度自2020年1月至2021年7月，旨在探究COVID-19疫情期间公众对健康信息的情绪反应。数据采集依托Python模块snscrape实现高效抓取，鉴于推文的多语言特性，采用Polyglot与MALAYA自然语言处理工具自动完成情感标注，从而构建了一个面向多语种情感分析任务的标注语料库。

特点

数据集以马来西亚多语社会为背景，融合了英语、马来语及多种地方语言，真实反映了多元文化社群对公共卫生术语的差异化认知。其情感标签并非简单二值分类，而是通过自动工具捕捉积极与消极反应的动态分布，尤其聚焦于‘社交距离’与‘物理距离’两种表述在公众话语中的交替使用模式，为研究跨文化公共卫生传播提供了独特视角。

使用方法

用户可通过HuggingFace的datasets库直接加载数据集，执行`load_dataset('SEACrowd/malaysia_tweets', trust_remote_code=True)`即可获取。亦支持通过SEACrowd生态库调用，使用`sc.load_dataset('malaysia_tweets', schema='seacrowd')`加载默认配置，或通过`sc.available_config_names('malaysia_tweets')`查看可用子集，再以`sc.load_dataset_by_config_name(config_name='<config_name>')`指定特定配置载入，灵活适配下游情感分析任务。

背景与挑战

背景概述

在COVID-19全球大流行期间，公共卫生信息的传播与公众反应成为研究热点，尤其是社交媒体在塑造公众行为方面扮演了关键角色。马来西亚作为一个多语言、多文化的社会，公众对‘社交距离’与‘物理距离’等健康术语的理解与接受度呈现出独特复杂性。为此，Sarah Samson Juan、Suhaila Saee与Fitri Mohamad等研究人员于2022年构建了Malaysia Tweets数据集，系统收集了2020年1月至2021年7月间马来西亚地区基于关键词‘social distancing’与‘physical distancing’的推文。该数据集依托自然语言处理技术，旨在分析公众对健康信息的情感倾向与互动模式，为理解多元文化背景下公共卫生沟通的有效性提供了重要数据支撑，并推动了东南亚语言情感分析领域的发展。

当前挑战

该数据集所解决的核心领域挑战在于，如何从多语言混杂的社交媒体文本中准确识别公众对公共卫生术语的情感态度。马来西亚推文常混合马来语、英语及其他方言，传统单语情感分析工具难以适用，因此构建过程中需依赖Polyglot与MALAYA等支持多语言处理的NLP工具，但此类工具在处理代码混合与语境歧义时仍存在精度局限。此外，数据采集面临时间跨度内话题热度的波动性，以及推文内容中隐含的文化特异性表达（如宗教或习俗相关隐喻），这些因素均增加了情感标签自动标注的噪声与偏差风险。最终，如何确保标注结果既能反映真实公众情绪，又能兼顾马来西亚多元文化语境下的语义细微差别，成为数据集构建中的关键挑战。

常用场景

经典使用场景

Malaysia Tweets数据集聚焦于马来西亚地区在COVID-19疫情期间发布的推文，涵盖2020年1月至2021年7月的时间跨度，关键词锁定“社交距离”与“物理距离”。该数据集最经典的使用场景是情感分析，研究人员可利用其标注的情感标签，探索多语言环境下公众对公共卫生信息的情绪反应。通过分析推文中的正面与负面情感，能够揭示马来西亚多元文化社会如何接纳与诠释全球性健康倡议，为理解跨文化语境下的舆情演化提供数据基础。

解决学术问题

该数据集主要解决了疫情背景下公众对健康信息接受度的实证研究难题。传统调查方法难以实时捕捉大规模公众情绪，而Malaysia Tweets通过自然语言处理技术，自动化标注多语种推文情感，填补了东南亚地区疫情舆情分析的空白。其意义在于揭示了多语言、多文化社群对“社交距离”与“物理距离”术语的差异化解读，为公共卫生传播策略的本地化调整提供了数据驱动的学术依据，推动了计算社会科学与健康传播学的交叉研究。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于其情感标签训练的多语言情感分类模型，以及探讨疫情话语中术语演变的社会语言学分析。研究者还利用该数据验证了Polyglot和MALAYA等NLP工具在东南亚语言上的适用性，推动了低资源语言情感分析工具的发展。此外，该数据集被纳入SEACrowd数据枢纽，成为东南亚多模态多语言基准测试套件的一部分，促进了区域自然语言处理研究的标准化与可比性。