ukr-detect/ukr-toxicity-dataset-seminatural

乌克兰毒性数据集是首个针对乌克兰语言的毒性分类数据集。该数据集通过半自动方式从乌克兰推文中筛选出含有毒性语言的文本，并结合非毒性句子（来自新闻和小说）构建而成。数据集分为训练集、验证集和测试集，并进行了毒性/非毒性和数据来源的平衡。标签定义为0表示非毒性，1表示毒性。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • text: 类型为 string
  • tags: 类型为 float64
• 分割:
  • train: 字节数为 2105604，样本数为 12682
  • validation: 字节数为 705759，样本数为 4227
  • test: 字节数为 710408，样本数为 4214
• 下载大小: 2073133 字节
• 数据集大小: 3521771 字节

配置

• 配置名称: default
• 数据文件:
  • train: 路径为 data/train-*
  • validation: 路径为 data/validation-*
  • test: 路径为 data/test-*

数据集形成

1. 过滤乌克兰推文，仅保留包含有毒语言的推文。源数据来自 ukr-twi-corpus
2. 非有毒句子来自之前的推文数据集以及来自 UD Ukrainian IU 的新闻和小说句子。
3. 数据集被分割为训练集、测试集和验证集，并根据有毒/非有毒标准和数据源进行平衡。

标签

• 0: 非有毒
• 1: 有毒

加载数据集

python from datasets import load_dataset dataset = load_dataset("ukr-detect/ukr-toxicity-dataset")

引用

@article{dementieva2024toxicity, title={Toxicity Classification in Ukrainian}, author={Dementieva, Daryna and Khylenko, Valeriia and Babakov, Nikolay and Groh, Georg}, journal={arXiv preprint arXiv:2404.17841}, year={2024} }

搜集汇总

数据集介绍

构建方式

该数据集是首个面向乌克兰语的毒性分类资源，其构建采用半自动化策略。首先，基于毒性关键词对乌克兰语推文进行过滤，从公开的乌克兰语推文语料库中提取包含攻击性语言的样本。非毒性文本则来源于同一推文语料库以及乌克兰语新闻与小说文本，取自UD Ukrainian IU树库。随后，数据集被划分为训练集、验证集和测试集，并依据毒性/非毒性标签与数据来源进行双重平衡，确保各子集分布合理。最终形成约2.1万条样本的标注语料。

特点

该数据集具有鲜明的结构性特点。其标签采用二分类设计，0代表非毒性，1代表毒性，简洁明确。数据划分比例均衡，训练集包含12682条样本，验证集与测试集分别有4227条和4214条，便于模型开发与评估。值得注意的是，数据集通过关键词筛选与多源文本融合的方式生成，既保留了自然语言中的真实毒性表达，又通过平衡策略降低了数据偏差。作为乌克兰语毒性分类的首个资源，其填补了该语言在有害言论检测领域的空白。

使用方法

使用该数据集极为便捷，可通过HuggingFace的datasets库直接加载。用户只需调用`load_dataset("ukr-detect/ukr-toxicity-dataset")`命令，即可自动获取训练、验证和测试三个子集。数据格式包含`text`字段（字符串类型）和`tags`字段（浮点型标签），可直接用于文本分类模型的训练与微调。建议研究者基于此资源探索跨语言迁移学习，如利用多语言编码器或翻译系统，以进一步提升乌克兰语毒性检测的性能。

背景与挑战

背景概述

乌克兰语毒性检测数据集（ukr-detect/ukr-toxicity-dataset-seminatural）由Daryna Dementieva、Valeriia Khylenko、Nikolay Babakov及Georg Groh等研究人员于2024年构建，是乌克兰语领域首个毒性分类语料库。该数据集旨在填补乌克兰语在有害言论检测任务中的资源空白，其核心研究问题聚焦于如何通过半自动关键词过滤与跨语言知识迁移技术，构建高质量的毒性文本分类基准。研究团队依托乌克兰语推文语料库及UD Ukrainian IU树库中的新闻与虚构文本，通过平衡采样生成包含约2.1万条样本的训练、验证与测试集。该数据集的发布为低资源语言的安全自然语言处理研究提供了关键支撑，推动了跨语言毒性检测方法的评估与优化，尤其对乌克兰语语境下的在线内容审核与公平语言模型开发具有深远影响。

当前挑战

数据集面临的核心挑战在于毒性定义的模糊性与跨语言迁移的复杂性。首先，毒性语言的主观性导致标注标准难以统一，例如粗俗用语与冒犯性表达的界定在不同文化语境中差异显著，这要求数据集在构建时需兼顾语义多样性与标注一致性。其次，乌克兰语作为低资源语言，缺乏大规模人工标注语料，研究团队采用关键词过滤与翻译结合的方法虽降低了成本，但可能引入噪声或遗漏隐晦毒性表达。此外，跨语言迁移过程中，源语言（如英语）的毒性模式与乌克兰语固有表达之间的语义偏差，以及模型对文化特定攻击性用语的泛化能力不足，均制约了分类器的鲁棒性。数据来源的多元化（推文、新闻、文学）虽提升了覆盖面，却也增加了文本风格与领域分布的异质性，进一步挑战了模型在真实场景中的泛化效能。

常用场景

经典使用场景

该数据集专为乌克兰语毒性文本分类任务而设计，是首个针对乌克兰语的半自然毒性检测语料库。经典使用场景包括训练和评估二分类模型，以区分有毒（标签1）与无毒（标签0）文本。研究者通常利用其平衡的划分（训练、验证、测试集）进行监督学习，或将其作为跨语言迁移学习的基准，评估多语言模型在低资源语言上的毒性检测能力。

实际应用

在实际应用中，该数据集可用于构建乌克兰语社交媒体、新闻评论和在线论坛的自动内容审核系统，协助平台识别并过滤仇恨言论、侮辱性语言或暴力表达。它也能集成到多语言安全监控工具中，支持乌克兰语用户环境的实时风险预警，或作为教育机构检测网络霸凌的辅助手段，促进更健康的数字交流生态。

衍生相关工作

该数据集催生了多项经典工作，包括Dementieva等人（2024）在WOAH会议上提出的乌克兰语毒性分类基线研究，系统比较了翻译、关键词过滤与众包标注的语料构建策略；以及其2025年在COLING上发表的跨语言文本分类迁移工作，深入探讨了多语言编码器、大语言模型和语言适配器在毒性、形式及自然语言推理任务中的最优配置。这些研究为低资源语言NLP提供了可复现的范式。