Egida数据集是由巴塞罗那超级计算中心创建的，包含从九个不同公共数据集中收集的2949个危险问题或指令。数据集经过人工精细的主题分类，并针对所有样本应用了18种不同的 jailbreaking 攻击方法，最终形成了包含61830个不安全实例的完整数据集。该数据集用于训练和评估，以增强LLM模型在各种主题和攻击风格下的安全性。

arXiv2025-02-19 更新700

AI Failures and Limitations Dataset (2015–2025)

人工智能安全

AI伦理

A decade of AI hallucinations, safety incidents, and ethical limitations.

kaggle2026-02-01 更新300

ATBench

人工智能安全

风险评估

ATBench（代理轨迹安全与安全基准）是一个用于轨迹级安全评估和细粒度风险诊断的数据集。它包括500个轨迹（250个安全/250个不安全），每个轨迹约8.97个回合（约4486个回合交互）。数据集包含1575个独特工具，以及一个独立的未见工具库，包含2292个工具定义（与训练工具无重叠）。标签包括二进制“安全”/“不安全”；不安全轨迹还包括细粒度标签（风险来源、故障模式、现实世界危害）。

github2026-01-26 更新1350

SafeBench

人工智能安全

模型攻击评估

该数据集是根据OpenAI和Meta的使用政策精心策划的一个基准，旨在评估针对视觉-语言模型攻击的有效性。它包含了常见的安全主题和场景，在这些场景中，用户被禁止利用这些模型。数据集的规模涵盖了从三个视觉-语言模型家族生成的46,500个模型响应。其任务是评估针对视觉-语言模型的越狱攻击的有效性。

arXiv410