ukr-detect/ukr-toxicity-dataset-translated-jigsaw

乌克兰毒性数据集是一个翻译后的英文Jigsaw毒性分类数据集，包含了两个标签：无毒和有毒。数据集由英文数据源翻译成乌克兰语，目的是为了支持公平的NLP模型开发，特别是对于那些缺乏标注数据的语言。这个数据集是通过翻译、过滤和众包注释的方法构建的。

The Ukrainian Toxicity Dataset is a translated version of the English Jigsaw Toxicity Classification Dataset, containing two labels: non-toxic and toxic. The dataset is translated from English to Ukrainian to support the fair development of NLP models, especially for languages lacking labeled data. This dataset is constructed through translation, filtering, and crowdsourcing annotation.

原始信息汇总

数据集概述

数据集信息

• 特征:
  • text: 数据类型为 string
  • labels: 数据类型为 int64
• 分割:
  • train: 字节数为 40682670，样本数为 128549
  • test: 字节数为 15661720，样本数为 52294
• 下载大小: 29856802 字节
• 数据集大小: 56344390 字节

配置

• 默认配置:
  • train 数据文件路径: data/train-*
  • test 数据文件路径: data/test-*

数据集形成

1. 英语数据源: Jigsaw Toxic Comment Classification Challenge
2. 数据处理: 仅保留两个标签，即有毒和无毒的句子。
3. 翻译: 使用模型 Helsinki-NLP/opus-mt-en-uk 将数据翻译成乌克兰语。

标签

• 0: 无毒
• 1: 有毒

加载数据集

python from datasets import load_dataset dataset = load_dataset("ukr-detect/ukr-toxicity-dataset-translated-jigsaw")

引用

@article{dementieva2024toxicity, title={Toxicity Classification in Ukrainian}, author={Dementieva, Daryna and Khylenko, Valeriia and Babakov, Nikolay and Groh, Georg}, journal={arXiv preprint arXiv:2404.17841}, year={2024} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，毒性文本检测对于构建安全与公平的语言模型至关重要，然而乌克兰语等低资源语言长期缺乏此类标注语料。为填补这一空白，该数据集基于英文Jigsaw毒性评论分类挑战赛的原始数据构建。研究团队首先对英文数据进行二分类处理，仅保留有毒与无毒两类标签，随后利用Helsinki-NLP的opus-mt-en-uk翻译模型将其精准转化为乌克兰语，最终形成包含约12.8万条训练样本和5.2万条测试样本的高质量双语迁移语料库。

特点

该数据集的核心特点在于其跨语言迁移的创新性与实用性。通过机器翻译技术将大规模英文毒性检测资源转化为乌克兰语，有效规避了从零开始人工标注的高昂成本与时间消耗。数据覆盖了多样化的网络评论场景，标签体系简洁明确（0表示无毒，1表示有毒），便于直接用于二分类任务。此外，数据集与同期基于Twitter筛选及众包标注的乌克兰语毒性语料形成互补，为跨语言知识迁移方法的研究提供了可复现的基准资源。

使用方法

使用该数据集时，研究者可通过HuggingFace的datasets库便捷加载，只需一行代码即可获取训练与测试分片。具体而言，调用load_dataset函数并指定数据集名称'ukr-detect/ukr-toxicity-dataset-translated-jigsaw'，即可自动下载并解析包含文本与标签字段的样本。基于此数据，用户可直接微调乌克兰语毒性分类模型，或将其作为跨语言迁移学习的评测基准，结合论文中提供的优化方案（如多语言编码器与翻译系统组合）复现实验。

背景与挑战

背景概述

在自然语言处理领域，毒性文本分类是保障在线交流环境安全与公平的关键任务之一。然而，由于标注资源的匮乏，许多低资源语言，尤其是乌克兰语，长期缺乏高质量的毒性检测语料库。为弥补这一空白，Daryna Dementieva、Valeriia Khylenko 与 Georg Groh 等研究人员于2024至2025年间，依托慕尼黑工业大学等机构，系统性地探索了跨语言知识迁移方法，并构建了 ukr-detect/ukr-toxicity-dataset-translated-jigsaw 数据集。该数据集通过将英文 Jigsaw 毒性分类挑战中的语料翻译为乌克兰语，并保留二元标签（有毒/无毒），为乌克兰语毒性检测研究提供了首个大规模、可复用的基准资源。其相关成果发表于 COLING 2025 与 WOAH 2024，显著推动了低资源语言在有害言论识别领域的发展。

当前挑战

该数据集所解决的领域问题在于，乌克兰语作为低资源语言，缺乏足够的标注语料以训练可靠的毒性分类模型，导致跨语言迁移方法成为必要路径。构建过程中面临的挑战尤为突出：首先，原始英文语料的翻译质量直接影响标签准确性，依赖机器翻译模型（如 Helsinki-NLP/opus-mt-en-uk）可能引入语义偏差或文化语境丢失；其次，从多标签的 Jigsaw 数据中仅提取有毒与无毒两类，需谨慎处理边界模糊的样本，避免信息损失；此外，跨语言迁移方法（如多语言编码器、大语言模型提示）在乌克兰语上的泛化性能尚待验证，数据集的规模与标签分布也可能对模型公平性构成潜在影响。

常用场景

经典使用场景

在跨语言文本分类研究中，ukr-detect/ukr-toxicity-dataset-translated-jigsaw 数据集被广泛用作评估和训练乌克兰语毒性检测模型的基准资源。该数据集通过将英文Jigsaw毒性评论数据经机器翻译转化为乌克兰语，为低资源语言提供了高质量的标注语料，常用于对比不同跨语言迁移方法（如多语言编码器、大语言模型提示、语言适配器）在毒性分类任务上的表现。研究者在零样本或少样本设定下，利用该数据集验证模型从富资源语言向乌克兰语迁移的效能，从而揭示翻译质量、标签一致性及语言特异性对分类准确率的影响。

实际应用

在实际应用中，该数据集支撑了乌克兰语社交平台的内容审核系统开发，帮助自动识别和过滤具有攻击性、仇恨性或侮辱性的用户评论。翻译后的语料使得基于预训练模型的毒性检测器能够快速适配乌克兰语环境，降低人工标注成本。此外，该数据集还可用于教育场景中的网络文明监测、政府公共论坛的言论治理，以及面向乌克兰语用户的智能客服系统安全过滤，显著提升了乌克兰语数字空间的沟通质量与安全性。

衍生相关工作

基于该数据集衍生了一系列重要工作，包括Dementieva等人（2024）首次系统构建乌克兰语毒性分类基准，比较了翻译语料、关键词过滤和众包标注三种数据构建方式的优劣。随后，同一团队（2025）进一步探索了跨语言文本分类迁移的最优配置，在毒性、正式度和自然语言推理三个任务上验证了多语言编码器与大语言模型提示的协同效果。这些研究不仅为乌克兰语NLP提供了实用基线，还启发了针对其他斯拉夫语系低资源语言的跨语言迁移研究范式。