SEACrowd/uit_vihsd

ViHSD数据集包含从Facebook页面和YouTube频道收集的评论数据，这些页面和频道的互动率较高且不限制评论。该数据集用于越南语的仇恨言论检测。数据经过匿名化处理，并被标记为HATE（仇恨）、OFFENSIVE（冒犯）或CLEAN（干净）。数据集支持情感分析任务，并提供了使用`datasets`和`seacrowd`库加载数据的方法。

The ViHSD dataset consists of comments collected from Facebook pages and YouTube channels that have a high-interactive rate, and do not restrict comments. This dataset is used for hate speech detection on Vietnamese language. Data is anonymized, and labeled as either HATE, OFFENSIVE, or CLEAN. The dataset supports sentiment analysis tasks and provides methods to load the data using the `datasets` and `seacrowd` libraries.

原始信息汇总

Uit Vihsd 数据集概述

数据集简介

Uit Vihsd 数据集包含从高互动率的 Facebook 页面和 YouTube 频道收集的评论，这些评论不限制评论内容。该数据集用于越南语的仇恨言论检测，数据已匿名化，并标记为 HATE、OFFENSIVE 或 CLEAN。

语言

• 越南语 (vie)

支持的任务

• 情感分析 (Sentiment Analysis)

数据集使用

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/uit_vihsd", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("uit_vihsd", schema="seacrowd")

检查数据集的所有可用子集（配置名称）

print(sc.available_config_names("uit_vihsd"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集主页

https://github.com/sonlam1102/vihsd/

数据集版本

• 源版本: 1.0.0
• SEACrowd 版本: 2024.06.20

数据集许可证

未知 (Unknown)

引用

如果使用 Uit Vihsd 数据集，请引用以下内容：

@InProceedings{10.1007/978-3-030-79457-6_35, author="Luu, Son T. and Nguyen, Kiet Van and Nguyen, Ngan Luu-Thuy", editor="Fujita, Hamido and Selamat, Ali and Lin, Jerry Chun-Wei and Ali, Moonis", title="A Large-Scale Dataset for Hate Speech Detection on Vietnamese Social Media Texts", booktitle="Advances and Trends in Artificial Intelligence. Artificial Intelligence Practices", year="2021", publisher="Springer International Publishing", address="Cham", pages="415--426", abstract="In recent years, Vietnam witnesses the mass development of social network users on different social platforms such as Facebook, Youtube, Instagram, and Tiktok. On social media, hate speech has become a critical problem for social network users. To solve this problem, we introduce the ViHSD - a human-annotated dataset for automatically detecting hate speech on the social network. This dataset contains over 30,000 comments, each comment in the dataset has one of three labels: CLEAN, OFFENSIVE, or HATE. Besides, we introduce the data creation process for annotating and evaluating the quality of the dataset. Finally, we evaluate the dataset by deep learning and transformer models.", isbn="978-3-030-79457-6" }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在社交媒体蓬勃发展的背景下，仇恨言论的自动检测成为自然语言处理领域的一项重要任务。ViHSD数据集应运而生，其构建基于从越南高互动率的Facebook页面和YouTube频道中收集的评论数据，这些平台未对评论施加限制，确保了数据的真实性与多样性。数据经过匿名化处理以保护隐私，并由人工标注员依据严格流程赋予HATE、OFFENSIVE或CLEAN三类标签，最终形成了包含超过30,000条评论的大规模语料库。这一系统化的数据创建与标注过程，为后续模型训练提供了可靠的基础。

使用方法

研究者可通过HuggingFace的datasets库便捷加载该数据集，使用一行代码即可完成导入，例如调用load_dataset函数并指定数据集名称。此外，SEACrowd库提供了更灵活的接口，支持默认配置或自定义子集加载，用户可通过available_config_names查看可用选项。数据集以标准格式组织，便于直接集成到情感分析或文本分类的流水线中。使用时需注意设置trust_remote_code参数以启用远程代码执行，同时建议引用相关学术论文以尊重原始工作。

背景与挑战

背景概述

在社交媒体蓬勃发展的越南，仇恨言论的泛滥已成为网络空间治理的棘手难题。为应对这一挑战，由Son T. Luu、Kiet Van Nguyen和Ngan Luu-Thuy Nguyen等研究者于2021年推出了ViHSD数据集，该数据集源自Facebook和YouTube等高互动率平台上的匿名化评论，涵盖超过30,000条标注为HATE、OFFENSIVE或CLEAN的文本。作为越南语仇恨言论检测领域的里程碑式资源，ViHSD不仅为自动化识别模型提供了坚实的数据基础，还通过严谨的标注流程推动了低资源语言社会计算研究的发展，其影响力在SEACrowd等区域数据枢纽的整合中得以延续。

当前挑战

ViHSD数据集的核心挑战在于应对越南社交媒体中仇恨言论的复杂性与模糊性。在领域层面，仇恨言论与冒犯性语言的边界常因文化语境而难以界定，导致标注一致性面临考验，同时模型需在有限资源下有效区分三类标签，避免对敏感话题的过度泛化或误判。在构建过程中，数据采集面临隐私保护与平台政策限制，匿名化处理可能削弱语义完整性；此外，从高互动性评论中筛选代表性样本时，需平衡数据多样性与标注成本，确保数据集既能反映真实场景的噪声分布，又避免引入系统性偏差。

常用场景

经典使用场景

ViHSD数据集是面向越南语社交媒体文本的仇恨言论检测基准资源，其经典使用场景聚焦于构建和评估多类别分类模型。该数据集包含逾三万条来自Facebook和YouTube高互动频道的用户评论，每一条均被标注为HATE（仇恨）、OFFENSIVE（冒犯）或CLEAN（正常）三个类别。研究者通常利用该数据集训练深度学习架构（如BERT变体）或传统机器学习模型，以精准区分不同等级的负面言论，从而为越南语自然语言处理领域的细粒度情感分析提供标准化的评测平台。

解决学术问题

该数据集解决了越南语社交媒体环境中仇恨言论自动检测的学术难题，填补了低资源语言在攻击性语言识别方向上的标注数据空白。通过提供大规模、高质量的人工注释语料，ViHSD使研究者能够系统性地探索跨类别边界模糊性、数据不平衡以及语境依赖等核心挑战。其学术意义在于推动了多语言仇恨言论检测理论的泛化验证，并为东南亚语言的情感计算研究奠定了方法论基础，显著提升了模型在真实社交网络场景中的鲁棒性与可迁移性。

实际应用

在实际应用层面，ViHSD数据集被广泛部署于社交媒体平台的内容审核系统，用于实时识别并过滤仇恨言论与攻击性信息。例如，越南本土的社交网络管理工具可基于该数据集训练的模型自动标记违规评论，辅助人工审核团队提升效率。此外，该数据集也被应用于教育领域，帮助构建网络文明监测仪表盘，并在公共舆情分析中用于量化社会负面情绪的传播趋势，从而为政策制定者提供数据驱动的决策支持。

数据集最近研究

最新研究方向

在社交媒体内容治理与自然语言处理交叉领域，ViHSD数据集作为越南语仇恨言论检测的基准资源，正推动该语言在情感分析任务中的前沿探索。当前研究聚焦于利用Transformer架构（如PhoBERT、XLM-R）微调该数据集，以捕捉越南语中隐含的冒犯性表达与仇恨语义的细粒度差异。结合东南亚多语言数据枢纽SEACrowd的整合，ViHSD被纳入跨语言迁移学习与低资源场景下的鲁棒性评估，成为检验模型对文化特定仇恨模式泛化能力的关键基准。其意义在于为越南乃至东南亚网络空间的安全治理提供数据驱动的方法论支持，尤其在应对社交媒体上日益增长的仇恨言论事件时，该数据集推动了从传统规则匹配到深度语义理解的范式转型，并促进了区域级多模态数据集构建的标准化进程。