Ahren09/RealToxicityPrompts_val_100

--- dataset_info: features: - name: filename dtype: string - name: begin dtype: int64 - name: end dtype: int64 - name: challenging dtype: bool - name: prompt dtype: string - name: continuation dtype: string - name: prompt_metrics struct: - name: flirtation dtype: float64 - name: identity_attack dtype: float64 - name: insult dtype: float64 - name: profanity dtype: float64 - name: severe_toxicity dtype: float64 - name: sexually_explicit dtype: float64 - name: threat dtype: float64 - name: toxicity dtype: float64 - name: continuation_metrics struct: - name: flirtation dtype: float64 - name: identity_attack dtype: float64 - name: insult dtype: float64 - name: profanity dtype: float64 - name: severe_toxicity dtype: float64 - name: sexually_explicit dtype: float64 - name: threat dtype: float64 - name: toxicity dtype: float64 splits: - name: low num_bytes: 8006 num_examples: 25 - name: medium num_bytes: 8582 num_examples: 25 - name: high num_bytes: 7993 num_examples: 25 - name: veryhigh num_bytes: 8163 num_examples: 25 download_size: 84290 dataset_size: 32744 --- # Dataset Card for "RealToxicityPrompts_val_100" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 数据集信息： 特征： - 字段名：文件名（filename），数据类型：字符串（string） - 字段名：起始位置（begin），数据类型：64位整型（int64） - 字段名：结束位置（end），数据类型：64位整型（int64） - 字段名：挑战性标记（challenging），数据类型：布尔型（bool） - 字段名：提示文本（prompt），数据类型：字符串（string） - 字段名：续作文本（continuation），数据类型：字符串（string） - 字段名：提示文本指标（prompt_metrics），数据类型：结构体（struct），包含以下子字段： - 子字段名：调情倾向（flirtation），数据类型：64位浮点型（float64） - 子字段名：身份攻击（identity_attack），数据类型：64位浮点型（float64） - 子字段名：侮辱性言论（insult），数据类型：64位浮点型（float64） - 子字段名：亵渎性语言（profanity），数据类型：64位浮点型（float64） - 子字段名：严重毒性（severe_toxicity），数据类型：64位浮点型（float64） - 子字段名：露骨性内容（sexually_explicit），数据类型：64位浮点型（float64） - 子字段名：威胁性内容（threat），数据类型：64位浮点型（float64） - 子字段名：毒性评分（toxicity），数据类型：64位浮点型（float64） - 字段名：续作文本指标（continuation_metrics），数据类型：结构体（struct），包含以下子字段： - 子字段名：调情倾向（flirtation），数据类型：64位浮点型（float64） - 子字段名：身份攻击（identity_attack），数据类型：64位浮点型（float64） - 子字段名：侮辱性言论（insult），数据类型：64位浮点型（float64） - 子字段名：亵渎性语言（profanity），数据类型：64位浮点型（float64） - 子字段名：严重毒性（severe_toxicity），数据类型：64位浮点型（float64） - 子字段名：露骨性内容（sexually_explicit），数据类型：64位浮点型（float64） - 子字段名：威胁性内容（threat），数据类型：64位浮点型（float64） - 子字段名：毒性评分（toxicity），数据类型：64位浮点型（float64） 数据划分： - 划分名称：低难度子集（low），占用字节数：8006，样本数量：25 - 划分名称：中难度子集（medium），占用字节数：8582，样本数量：25 - 划分名称：高难度子集（high），占用字节数：7993，样本数量：25 - 划分名称：极高难度子集（veryhigh），占用字节数：8163，样本数量：25 下载总大小：84290 字节 数据集总大小：32744 字节 --- # “RealToxicityPrompts_val_100”数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集特征

• filename：字符串类型
• begin：整数类型（int64）
• end：整数类型（int64）
• challenging：布尔类型
• prompt：字符串类型
• continuation：字符串类型
• prompt_metrics：结构体类型，包含以下子特征：
  • flirtation：浮点数类型（float64）
  • identity_attack：浮点数类型（float64）
  • insult：浮点数类型（float64）
  • profanity：浮点数类型（float64）
  • severe_toxicity：浮点数类型（float64）
  • sexually_explicit：浮点数类型（float64）
  • threat：浮点数类型（float64）
  • toxicity：浮点数类型（float64）
• continuation_metrics：结构体类型，包含以下子特征：
  • flirtation：浮点数类型（float64）
  • identity_attack：浮点数类型（float64）
  • insult：浮点数类型（float64）
  • profanity：浮点数类型（float64）
  • severe_toxicity：浮点数类型（float64）
  • sexually_explicit：浮点数类型（float64）
  • threat：浮点数类型（float64）
  • toxicity：浮点数类型（float64）

数据集分割

• low：25个样本，8006字节
• medium：25个样本，8582字节
• high：25个样本，7993字节
• veryhigh：25个样本，8163字节

数据集大小

• 下载大小：84290字节
• 数据集大小：32744字节

搜集汇总

数据集介绍

构建方式

在大规模语言模型安全性评估的背景下，毒性内容检测成为关键任务。RealToxicityPrompts_val_100数据集是基于RealToxicityPrompts原始数据集精心筛选与构建的验证子集。它从原始数据中抽取了100个样本，并按毒性等级划分为low、medium、high、veryhigh四个子集，每个子集包含25个样本。每个样本包含prompt与continuation两部分，并分别标注了flirtation、identity_attack、insult等八种毒性维度的连续分值，为细粒度毒性分析提供了结构化数据基础。

使用方法

研究者可借助该数据集对语言模型的毒性生成倾向进行系统性评估。使用时，可将prompt字段输入待测模型，生成对应continuation，并与数据集中原始continuation及其毒性指标进行对比分析。数据集按毒性等级划分的四个子集，支持分层次测试，便于观察模型在不同毒性阈值下的行为表现。同时，八维毒性评分可直接用于计算模型生成文本与真实毒性分布之间的差异，为模型安全优化提供量化依据。

背景与挑战

背景概述

随着大型语言模型在自然语言生成领域的广泛应用，其生成内容中潜藏的有毒性问题日益受到学术界与工业界的关注。RealToxicityPrompts数据集由艾伦人工智能研究院等机构于2020年左右创建，旨在系统性地评估与缓解语言模型在开放文本生成中产生侮辱、威胁、仇恨言论等有害内容的风险。该数据集通过从大规模网络语料中提取真实提示与延续文本，并利用多种毒性评分指标进行标注，为研究者提供了标准化的评估基准。其影响力体现在推动了对抗性提示检测、安全对齐训练以及内容过滤策略的快速发展，成为评估语言模型安全性的关键资源之一。

当前挑战

该数据集所面临的挑战主要体现在两个层面。在领域问题层面，语言模型对微妙语境下的隐性毒性（如讽刺、文化特定冒犯）识别依旧困难，现有毒性指标难以完全捕捉复杂语义中的攻击性，导致模型在真实部署中可能绕过安全防护。在构建过程层面，从海量网络文本中筛选并平衡不同毒性等级（低、中、高、极高）的提示样本极具难度，需要确保标注一致性并避免引入标注者偏见；此外，延续文本的毒性评估依赖于自动指标，其与人类判断间的差异可能影响数据集的可靠性与泛化能力。

常用场景

经典使用场景

在自然语言处理的安全与伦理研究领域，Ahren09/RealToxicityPrompts_val_100 数据集作为 RealToxicityPrompts 的一个精炼子集，被广泛用于评估和检测语言模型在面对不同毒性等级提示时的生成行为。该数据集包含从低到极高毒性的提示与续写样本，并附有精细的毒性指标，如侮辱、威胁、身份攻击等，使其成为衡量模型在开放文本生成中是否产生有害内容的基准工具。研究者常利用此数据集来设计对抗性测试方案，验证模型在可控生成中的鲁棒性，或作为微调去毒化模型的验证集，从而推动更安全的语言生成技术发展。

解决学术问题

该数据集核心解决了语言模型在生成文本时难以量化与分类毒性内容的学术难题。通过提供带有多维度毒性标注的提示-续写对，它使得研究者能够系统性地分析模型在不同语义情境下产生有害输出的概率分布，从而揭示模型偏见与安全漏洞。这一资源推动了对抗性提示攻击防御、毒性内容过滤算法以及公平性评估等前沿议题的实证研究，其意义在于为构建负责任的生成式AI提供了可复现的评估范式，显著降低了因模型滥用导致的社会风险。

实际应用

在实际应用中，Ahren09/RealToxicityPrompts_val_100 被广泛部署于内容审核系统的鲁棒性测试环节，帮助平台识别和过滤由语言模型生成的侮辱性、歧视性或威胁性文本。例如，社交媒体公司利用该数据集评估其自动审核模型在极端毒性场景下的漏报率，而聊天机器人开发者则将其作为安全护栏的测试基准，确保用户交互不产生有害内容。此外，该数据集还用于教育领域，训练学生和从业者识别语言模型中的伦理陷阱，从而在部署前进行针对性优化。

数据集最近研究

最新研究方向

在自然语言处理领域，随着大型语言模型在开放域对话和内容生成中的广泛应用，模型生成内容的安全性与伦理性成为前沿焦点。RealToxicityPrompts_val_100作为RealToxicityPrompts数据集的验证子集，专注于从真实网络文本中提取的提示及其续写内容，并标注了包括攻击性、侮辱、亵渎、性暗示等多维度的毒性指标。该数据集当前被广泛用于评估和缓解语言模型的有害输出倾向，尤其在对抗性提示检测、毒性阈值校准以及模型对齐训练中扮演关键角色。结合近年来关于AI内容治理的社会热点，如社交媒体仇恨言论过滤与自动化内容审核的伦理争议，该数据集为研究者提供了标准化的基准，以量化模型在不同毒性水平下的表现，推动更负责任的语言生成技术的发展。