tarudesu/VOZ-HSD

VOZ-HSD数据集包含超过1070万条由AI标注的评论，这些评论来自越南用户在VOZ论坛上的评论，标注为HATE（1）和CLEAN（0）两种标签。这些标签由微调的ViSoBERT-HSD模型生成，仅用于数据分析，不用于任何下游任务的微调。

The VOZ-HSD dataset consists of 10.7M+ AI-annotated comments (labeled by the fine-tuned ViSoBERT-HSD) with two labels HATE (1) and CLEAN (0) from Vietnamese users comments on VOZ Forum. Note that the labels generated by the AI Classifier are only used for data analysis, not for fine-tuning in any downstream tasks.

原始信息汇总

数据集概述

基本信息

• 任务类别: 文本分类
• 语言: 越南语
• 数据规模: 10M<n<100M
• 数据集名称: VOZ-HSD

详细描述

• 数据集内容: VOZ-HSD 数据集包含超过 1070 万条由 AI 标注的评论，这些评论来自越南用户的 VOZ 论坛，标注为 HATE（1）和 CLEAN（0）两种标签。
• 标注方法: 标签由经过微调的 ViSoBERT-HSD 生成，仅用于数据分析，不用于任何下游任务的微调。

引用信息

@misc{nguyen2024vihatet5, title={ViHateT5: Enhancing Hate Speech Detection in Vietnamese With A Unified Text-to-Text Transformer Model}, author={Luan Thanh Nguyen}, year={2024}, eprint={2405.14141}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在当前社交媒体迅猛发展的时代背景下，仇恨言论检测成为自然语言处理领域的重要课题。VOZ-HSD数据集正是针对越南语环境下的这一需求而构建的。该数据集基于越南知名论坛VOZ上的用户评论，通过自动化标注流程生成。具体而言，研究者首先利用微调后的ViSoBERT-HSD模型对超过1070万条评论进行AI标注，每条评论被赋予两类标签之一：HATE（仇恨言论，标记为1）或CLEAN（清洁言论，标记为0）。值得注意的是，这些AI生成的标签仅用于数据分析目的，而非用于下游任务的模型微调，从而确保了数据集的独立性和研究用途的纯粹性。

特点

VOZ-HSD数据集以其庞大规模和领域特异性著称，包含逾1070万条越南语社交媒体评论，属于大规模文本分类数据集。其显著特点在于标签的二元划分——仇恨与非仇恨——简洁而明确，便于进行二分类任务。此外，数据来源为越南VOZ论坛的真实用户生成内容，具有高度的生态效度和现实应用价值。数据集的构建依托于先进的AI模型ViSoBERT-HSD进行标注，虽为自动化过程，但体现了高效性与一致性，为越南语仇恨言论检测研究提供了坚实的资源基础。

使用方法

该数据集主要面向文本分类任务，尤其适用于仇恨言论检测的研究与模型训练。使用者可直接加载数据集，利用其包含的文本与标签对进行监督学习，如训练分类器或评估模型性能。由于AI标注标签仅用于分析，建议研究者在应用时关注数据集的原始评论内容，并结合其他标注数据或人工验证以提升可靠性。数据集以HuggingFace格式提供，支持通过标准API调用，便于集成到现有工作流中。研究者应遵守仅用于学术目的的规定，并在相关出版物中引用原始论文以尊重知识产权。

背景与挑战

背景概述

在自然语言处理领域，仇恨言论检测作为维护网络空间清朗的关键技术，近年来受到广泛关注。越南语作为拥有超过九千万使用者的语言，其社交媒体平台上的仇恨言论治理需求日益迫切。为此，研究团队于2024年在ACL会议上提出了VOZ-HSD数据集，由Luan Thanh Nguyen等研究人员基于越南最大论坛VOZ Forum构建。该数据集规模宏大，包含超过1070万条经过AI标注的评论，每条评论被标记为仇恨（HATE）或清洁（CLEAN），旨在为越南语仇恨言论检测提供大规模训练资源。其影响力体现在为低资源语言场景下的文本分类研究开辟了新路径，推动了多语言仇恨言论检测技术的边界拓展。

当前挑战

VOZ-HSD数据集面临的核心挑战首先源于其解决的领域问题：仇恨言论检测的复杂性在于语言表达的隐晦性与文化特异性，越南语中大量口语化、隐喻性表达极易导致误判。其次，构建过程中的挑战尤为突出：数据集依赖AI分类器（ViSoBERT-HSD）进行自动标注，但标注结果明确声明仅用于数据分析而非下游任务微调，这引发了对标签可靠性的根本性质疑。此外，从1070万条未经过人工校验的评论中提炼有效特征，需应对噪声数据干扰、类别不平衡（仇恨样本占比可能极低）以及越南语特有的拼写变体与表情符号混合使用等难题，这些因素共同制约了数据集的实用性与泛化能力。

常用场景

经典使用场景

VOZ-HSD数据集是一个面向越南语社交媒体评论的大规模仇恨言论检测数据集，包含超过1070万条经由人工智能标注的评论，每条评论被标记为‘仇恨’或‘清洁’两类。该数据集最经典的使用场景是作为预训练语言模型在越南语仇恨言论检测任务上的微调与评估基准，尤其适用于文本分类范式的模型训练。研究者可利用其海量数据规模，探索跨域泛化能力，并对比不同模型在低资源语言上的检测性能。

解决学术问题

该数据集有效解决了越南语社交媒体中仇恨言论检测研究面临的标注数据匮乏与样本规模不足的学术难题。通过提供百万级标注样本，它支持模型捕捉越南语特有的俚语、网络用语及文化语境中的仇恨表达模式，显著提升检测精度。其意义在于推动低资源语言的自然语言处理研究，为构建安全、健康的在线社区提供方法论支撑，并促进跨语言仇恨言论检测技术的对比与迁移学习。

衍生相关工作

基于VOZ-HSD数据集，衍生出多项经典工作，其中最具代表性的是ViHateT5模型，该模型采用统一的文本到文本转换架构，在越南语仇恨言论检测任务上达到当时最优性能。此外，ViSoBERT-HSD作为标注工具的前置模型，展示了预训练语言模型在低资源场景下的迁移潜力。这些工作共同推动了越南语自然语言处理领域从传统特征工程向端到端深度学习范式的转变。