ReSA数据集包含80,000个样例，用于训练大型语言模型（LLMs）以抵御“越狱”攻击。该数据集采用“回答后检查”风格，首先让模型在没有安全约束的情况下尝试直接回答问题，然后基于这个回答进行安全分析。通过这种方式，ReSA旨在提高LLMs对各种“越狱”攻击的鲁棒性，同时保持其在一般任务上的性能，如数学和编码，同时实现低拒绝率。此外，ReSA还配备了安全完成机制，能够在敏感查询（甚至对抗性提示）下

arXiv2025-09-15 更新830

AgentHarm

人工智能安全

视觉语言模型

AgentHarm是由英国人工智能安全研究所创建的一个用于评估大型语言模型（LLM）代理潜在危害的基准数据集。该数据集包含440个任务，涵盖11种危害类别，如欺诈、网络犯罪和骚扰。数据集通过合成工具和细粒度评分标准来模拟多步骤任务，旨在评估模型在面对恶意请求时的响应和能力。AgentHarm的创建旨在解决LLM代理在执行多步骤任务时可能带来的安全风险，特别是在模型被恶意利用的情况下。

arXiv2024-10-15 更新480

ATBench

人工智能安全

风险评估

ATBench（代理轨迹安全与安全基准）是一个用于轨迹级安全评估和细粒度风险诊断的数据集。它包括500个轨迹（250个安全/250个不安全），每个轨迹约8.97个回合（约4486个回合交互）。数据集包含1575个独特工具，以及一个独立的未见工具库，包含2292个工具定义（与训练工具无重叠）。标签包括二进制“安全”/“不安全”；不安全轨迹还包括细粒度标签（风险来源、故障模式、现实世界危害）。

github2026-01-26 更新1130

WildElder

人工智能安全

风险评估

WildElder 是一个从网络视频中收集的中文老年人口语语料库，通过精细的人工标注丰富了数据集。该数据集结合了野外数据的多样性和现实性，以及专家手动标注和严格的质量检查的可靠性。每个语句都被标注了正字法转录、说话人年龄、性别和口音强度。数据集涵盖了广泛的通用主题，包括家庭和日常生活、自然和环境、科学和教育、历史和文化以及健康和疾病。WildElder 为自动语音识别和说话人分析的研究提供了强大的

arXiv2025-10-10 更新570

Alignment Inversion: Weaponizing GPT-OSS' Refusal

资源简介：

相关数据集