walledai/WildGuardTest

WildGuardMix数据集包含1,725个条目，用于提示危害、响应危害和响应拒绝分类任务。数据类型包括普通和对抗性合成数据，以及用户与LLM的交互数据。标签由三名独立注释者标注，Fleiss Kappa评分显示中等到高度的一致性。标签质量通过GPT-4分类器和人工检查进一步验证。数据集还包含可能令人不安、有害或令人沮丧的示例，涉及歧视性语言、虐待、暴力、自残、性内容、错误信息等高风险类别。

The WildGuardMix dataset contains 1,725 items for prompt harm, response harm, and response refusal classification tasks. The data types include vanilla and adversarial synthetic data, as well as in-the-wild user-LLM interactions. The labels are annotated by three independent annotators, with Fleiss Kappa scores indicating moderate to substantial agreement. The label quality is further validated using a prompted GPT-4 classifier and manual inspection. The dataset includes examples that might be disturbing, harmful, or upsetting, such as discriminatory language, discussions about abuse, violence, self-harm, sexual content, misinformation, and other high-risk categories.

原始信息汇总

WildGuardMix 数据集概述

数据集信息

特征

• prompt: 字符串类型
• adversarial: 布尔类型
• label: 字符串类型

数据分割

• train: 包含1725个样本，占用856863字节

文件大小

• 下载大小: 490550字节
• 数据集大小: 856863字节

配置

• default: 包含训练数据文件路径 data/train-*

许可证

• odc-by

标签

• safe
• safety
• jailbreak
• ai-safety
• llm
• lm
• moderation
• classification
• refusal

任务类别

• text-classification

语言

• en

数据集规模

• 10K<n<100K

数据集概述

数据规模

• 数据量: 1,725个样本，用于提示危害、响应危害和响应拒绝分类任务

数据类型

• 普通和对抗性合成数据，以及真实用户与语言模型交互的数据

标签

• 由三名独立标注者标注，Fleiss Kappa评分显示中等至实质性一致性
• 进一步使用GPT-4分类器和手动检查进行验证

免责声明

• 数据包含可能令人不安、有害或令人不快的内容，涵盖歧视性语言、虐待、暴力、自残、性内容、错误信息和其他高风险类别。建议不要仅使用有害示例训练语言模型。

搜集汇总

数据集介绍

构建方式

在大语言模型安全评估领域，WildGuardTest数据集作为WildGuardMix的子集，专门用于测试模型在安全风险、越狱攻击和拒绝回答三个核心任务上的分类能力。该数据集共包含1,725个精心设计的样本，其构建过程融合了多样化的数据来源：既包括人工合成的普通与对抗性样本，也收录了真实世界中用户与大语言模型交互的原始数据。每个样本均由三位独立标注员进行标注，并通过Fleiss Kappa系数评估标注一致性，确保标注质量达到中度至高度一致水平。此外，研究团队还利用GPT-4分类器进行二次验证与人工审查，进一步提升了标签的准确性与可靠性。

使用方法

WildGuardTest数据集的使用遵循标准化的文本分类流程，适用于评估和微调大语言模型的安全审查能力。用户可通过HuggingFace平台直接加载数据集，其结构包含三个字段：prompt（输入文本）、adversarial（是否为对抗性样本）以及label（分类标签）。在实际应用中，研究者可将数据集作为测试基准，评估模型在安全风险识别、越狱攻击检测和拒绝回答判断三个维度的表现；也可将其作为训练数据的一部分，用于微调专门的安全审查模型。值得注意的是，由于数据集中包含潜在的有害内容，使用者需遵守AI2负责任使用指南，在申请访问时明确说明研究用途，并承诺仅将数据集用于学术研究目的。

背景与挑战

背景概述

在大语言模型（LLM）安全治理领域，针对模型输出内容中潜在危害、越狱攻击及拒绝行为的系统化检测与分类，已成为保障人工智能可靠部署的核心议题。WildGuardTest数据集由艾伦人工智能研究所（AI2）与华盛顿大学等机构的研究人员于2024年联合创建，旨在为LLM安全审核提供一套标准化测试基准。该数据集聚焦于提示词危害、响应危害与响应拒绝三类分类任务，包含1725条源自合成对抗样本与真实用户-LLM交互的实例，通过三位独立标注者的协同注释与GPT-4辅助验证，确保了标签质量的高度一致性。其发布填补了现有安全审核数据集在跨任务覆盖与真实场景适配性上的空白，为评估和优化LLM安全防护系统提供了关键资源，在学术界与工业界产生了广泛影响。

当前挑战

WildGuardTest所面临的挑战首先体现在领域问题层面：当前LLM安全审核需同时应对提示词层面的恶意诱导、响应中的隐性危害内容以及模型拒绝行为的准确识别，这三类任务在语义边界上存在交叉与模糊性，使得单一分类模型难以实现全面覆盖。此外，越狱攻击手段的快速演化要求测试集必须持续更新以反映最新威胁模式。在数据集构建过程中，挑战则集中于高质量对抗样本的生成与标注一致性保障：合成数据需模拟真实攻击的多样性与隐蔽性，而人工标注需在敏感内容（如歧视性语言、暴力描述）中保持客观中立，同时避免标注疲劳导致的质量波动。最终，通过多轮标注校验与GPT-4辅助筛选，研究团队在有限样本量下实现了中等至高度一致的标注信度，但仍需警惕数据集规模与分布偏差对泛化能力的潜在限制。

常用场景

经典使用场景

WildGuardTest数据集专为大型语言模型（LLM）的安全评测与内容审核而构建，其经典使用场景聚焦于三分类任务：评估提示（prompt）的有害性、模型响应（response）的有害性以及模型是否恰当拒绝（refusal）危险请求。该数据集包含1,725条精心标注的样本，融合了普通（vanilla）与对抗性（adversarial）合成数据，并纳入了真实世界中用户与LLM交互的“在野”（in-the-wild）案例，为全面检测LLM安全风险、越狱攻击（jailbreak）及拒绝行为提供了标准化的测试基准。

解决学术问题

该数据集有效解决了学术研究中LLM安全评估缺乏统一、高质量测试基准的困境。现有研究常依赖分散的、规模有限的测试集，导致结果难以比较。WildGuardTest通过多维度标注（提示有害性、响应有害性、拒绝行为）和严格的注释质量控制（Fleiss Kappa一致性检验及GPT-4辅助验证），为研究者提供了一个可靠的工具，用于系统性地评估和比较不同LLM在面对有害请求时的安全表现，从而推动对齐（alignment）与安全防护领域的方法论进步。

实际应用

在实际应用中，WildGuardTest可直接服务于内容审核系统的开发与迭代。例如，社交媒体平台或AI服务提供商可利用该数据集训练和验证其安全分类器，以自动识别并过滤用户输入的恶意提示或模型生成的有害内容。此外，它还可用于检测LLM是否因过度拒绝而影响正常功能，或对危险请求给出不当顺从，从而优化人机交互的安全边界，降低部署大规模语言模型时的伦理与法律风险。

数据集最近研究

最新研究方向

在大语言模型安全治理的前沿领域，WildGuardTest数据集聚焦于多维度风险检测与拒绝机制的精细化评估，成为破解模型越狱攻击与安全护栏失效难题的关键基准。该数据集整合了自然交互与对抗性合成样本，通过三重独立标注与GPT-4验证，构建了覆盖提示危害、响应危害及拒绝行为的高质量分类体系。其研究意义在于推动从单点防御向系统性风险监控的范式转变，为理解模型在面对复杂攻击时的脆弱性边界提供了实证基础。这一方向与当前业界对AI安全护栏透明化、可审计性的迫切需求深度契合，有望引导下一代安全对齐技术从静态规则转向动态博弈，从而在开放域部署中实现更稳健的人机交互保障。