five

NiGuLa/Russian_Sensitive_Topics

收藏
Hugging Face2023-05-12 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/NiGuLa/Russian_Sensitive_Topics
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集用于分类敏感话题中的不当言论,涉及18个敏感话题,如恐同、政治、种族主义等。数据集最初版本在EACL-2021会议的Balto-Slavic NLP研讨会上发布,当前版本更大且经过过滤。

该数据集用于分类敏感话题中的不当言论,涉及18个敏感话题,如恐同、政治、种族主义等。数据集最初版本在EACL-2021会议的Balto-Slavic NLP研讨会上发布,当前版本更大且经过过滤。
提供机构:
NiGuLa
原始信息汇总

数据集概述

数据集语言

  • 俄语

数据集标签

  • 有毒评论分类

许可证

  • 创意共享署名-非商业性使用-相同方式共享 4.0 国际许可协议

任务类别

  • 文本分类

大小类别

  • 10,000 < 数据集大小 < 100,000

模型概念

  • 数据集关注于敏感话题,如恐同、政治、种族主义等,共涉及18个话题。

引用信息

@inproceedings{babakov-etal-2021-detecting, title = "Detecting Inappropriate Messages on Sensitive Topics that Could Harm a Company{}s Reputation", author = "Babakov, Nikolay and Logacheva, Varvara and Kozlova, Olga and Semenov, Nikita and Panchenko, Alexander", booktitle = "Proceedings of the 8th Workshop on Balto-Slavic Natural Language Processing", month = apr, year = "2021", address = "Kiyv, Ukraine", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2021.bsnlp-1.4", pages = "26--36", abstract = "Not all topics are equally {``}flammable{} in terms of toxicity: a calm discussion of turtles or fishing less often fuels inappropriate toxic dialogues than a discussion of politics or sexual minorities. We define a set of sensitive topics that can yield inappropriate and toxic messages and describe the methodology of collecting and labelling a dataset for appropriateness. While toxicity in user-generated data is well-studied, we aim at defining a more fine-grained notion of inappropriateness. The core of inappropriateness is that it can harm the reputation of a speaker. This is different from toxicity in two respects: (i) inappropriateness is topic-related, and (ii) inappropriate message is not toxic but still unacceptable. We collect and release two datasets for Russian: a topic-labelled dataset and an appropriateness-labelled dataset. We also release pre-trained classification models trained on this data.", }

搜集汇总
数据集介绍
main_image_url
构建方式
在社交媒体与在线讨论日益活跃的背景下,敏感话题往往成为引发不当言论的导火索。该数据集聚焦于俄语语境下的18类敏感话题,涵盖种族、政治、性少数等高风险领域。其构建基于一篇发表于EACL-2021 Balto-Slavic NLP研讨会的研究论文,首次版本后经显著扩充与严格过滤形成当前版本。数据通过系统化收集用户生成内容,并针对每条消息标注其是否属于敏感话题范畴,旨在捕捉那些虽未直接构成攻击性但可能损害发言者声誉的不当表达。
特点
该数据集的核心特色在于对不当性(inappropriateness)的精细界定,区别于传统毒性检测,它强调话题关联性——即消息本身未必有毒,却在特定敏感话题下显得不合时宜。数据规模介于1万至10万条之间,覆盖文本分类任务,专为俄语毒性评论分类设计。每个样本均关联至预设的18个敏感话题之一,从而支持多标签或多类别分类建模,为研究话题驱动的言论风险评估提供了独特资源。
使用方法
该数据集可直接用于训练俄语文本分类模型,尤其适用于检测涉及敏感话题的不当言论。用户可加载HuggingFace上的数据集,通过标准文本分类流程进行预处理,如分词与标签编码。推荐使用预训练俄语语言模型(如RuBERT)进行微调,以捕捉话题相关的语义细微差别。评估时需关注分类准确率与召回率,尤其针对少数敏感话题的识别性能。此外,数据集附带的论文提供了基线模型与实验设置,便于复现与比较。
背景与挑战
背景概述
在自然语言处理领域,毒性评论的检测一直是研究热点,然而并非所有话题都具备同等的‘易燃性’——例如,政治或性少数群体相关的讨论往往比钓鱼或龟类话题更容易引发不当对话。基于这一观察,来自俄罗斯的研究团队(包括Nikolay Babakov、Varvara Logacheva等学者)在2021年EACL会议的Balto-Slavic NLP研讨会上提出了一个更为精细的概念:话题相关的不当性。他们创建了NiGuLa/Russian_Sensitive_Topics数据集,旨在捕捉那些虽不直接包含毒性语言、却可能损害发言者声誉的不当消息。该数据集覆盖18个敏感话题,并提供了话题标签与不当性标签两种标注,其规模较初版显著扩大且经过严格过滤,为俄语语境下的内容审核研究提供了关键资源。
当前挑战
该数据集面临的核心挑战首先在于领域问题的复杂性:传统毒性检测模型往往依赖显性攻击性词汇,但敏感话题中的不当消息常以隐晦或讽刺形式出现,且同一表述在不同话题下可能具有截然不同的不当程度,这要求模型具备语境感知与话题辨别能力。其次,构建过程中遭遇多重困难:标注人员需在18个敏感话题间保持一致性判断,而‘不当性’本身具有主观性,不同文化背景或社会立场可能导致标注分歧;此外,俄语丰富的语法形态和口语化表达进一步增加了数据清洗与过滤的难度,确保大规模语料中敏感话题的平衡分布也是技术层面的挑战。
常用场景
经典使用场景
在斯拉夫自然语言处理领域,NiGuLa/Russian_Sensitive_Topics数据集被广泛用于构建细粒度的文本不当性检测模型。该数据集聚焦于18个高敏感话题,如同性恋、政治、种族主义等,这些话题极易引发毒性对话。研究者利用其话题标签和不当性标签,训练分类器以区分正常讨论与虽不具毒性但损害声誉的不当言论,为俄语社交媒体的内容审核提供了关键基准。
解决学术问题
该数据集解决了传统毒性检测仅关注显式攻击性语言的局限性,引入了‘不当性’这一更精细的概念——即言论虽非毒性但话题敏感且可能损害发言者声誉。研究问题包括:如何定义与标注话题相关的不当言论、如何区分毒性与非毒性不当行为,以及如何构建跨话题的鲁棒分类模型。其意义在于推动了从粗粒度毒性检测向细粒度语境敏感分析的范式转变。
衍生相关工作
该数据集衍生了一系列经典工作,包括Babakov等人(2021)在EACL-2021巴尔干-斯拉夫NLP研讨会上提出的首个版本及预训练分类模型。后续研究拓展了多语言敏感话题检测框架,并对比了Transformer架构(如RuBERT)在俄语不当性识别上的表现。此外,基于该数据集的迁移学习方法被用于低资源斯拉夫语言的内容审核,验证了跨话题泛化能力,成为该领域的重要基准资源。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务