mteb/toxic_conversations_50k

这是Jigsaw Unintended Bias in Toxicity Classification数据集的一个版本，包含来自Civil Comments平台的评论，并标注了评论是否具有毒性。数据集仅包含前50,000个训练样本，每个样本由10个注释者进行标注，且当目标值大于等于0.5时，评论被标记为有毒。数据集不平衡，只有约8%的评论被标记为有毒。

This is a version of the Jigsaw Unintended Bias in Toxicity Classification dataset, containing comments sourced from the Civil Comments platform, with annotations indicating whether each comment is toxic. The dataset only includes the first 50,000 training samples, each annotated by 10 annotators. A comment is labeled as toxic when its target value is greater than or equal to 0.5. The dataset is imbalanced, with only approximately 8% of comments being marked as toxic.

原始信息汇总

数据集概述

数据集名称

Toxic Conversation

数据集来源

本数据集是Jigsaw Unintended Bias in Toxicity Classification dataset的一个版本。

数据内容

数据集包含来自Civil Comments平台的评论，以及这些评论是否被标记为有毒的注释。

数据集规模

本数据集仅包含前50,000个训练样本。

注释方式

每个样本由10名注释者进行标注，并根据任务页面的推荐，当目标值大于等于0.5时，将评论标记为有毒。

数据集平衡性

数据集是不平衡的，其中约8%的评论被标记为有毒。