bench-llms/or-bench-toxic-all

OR-Bench数据集是一个用于评估大型语言模型（LLM）在拒绝有毒内容方面表现的基准数据集。该数据集包含高度有毒的提示（prompts），旨在通过自动化流程生成看似有毒的提示，并评估模型对这些提示的拒绝率。数据集的主要目标是帮助研究人员和开发者了解模型在处理有毒内容时的表现，并优化模型的拒绝机制。The OR-Bench dataset is a benchmark designed to evaluate the performance of large language models (LLMs) in rejecting toxic content. It contains highly toxic prompts and aims to generate seemingly toxic prompts through an automated process, assessing the models rejection rates of these prompts. The primary goal of the dataset is to help researchers and developers understand how models handle toxic content and optimize their rejection mechanisms.

搜集汇总

数据集介绍

构建方式

OR-Bench（Over-Refusal Benchmark）数据集旨在系统评估大型语言模型在安全对齐过程中出现的过度拒绝（over-refusal）现象。其构建方式遵循一套自动化流水线，通过精心设计看似有害实则安全的提示（seemingly toxic prompts），并不断迭代更新，以生成覆盖广泛场景的测试样本。具体而言，or-bench-toxic-all子集汇集了所有高度有害的提示（highly toxic prompts），这些提示被整理为CSV文件，每条数据包含提示文本（prompt）及其所属类别（category），从而为评估模型对真正有害内容的拒绝能力提供基准。

使用方法

使用OR-Bench数据集时，研究者可直接加载or-bench-toxic-all配置，通过HuggingFace Datasets库读取train分割中的提示文本。典型应用包括向目标语言模型逐个输入这些提示，记录其响应是否被拒绝，进而计算拒绝率。结合配套的OR-Bench-Hard-1K子集（包含看似有害的安全提示），可绘制模型性能散点图，其中X轴为对安全提示的拒绝率（越低越好），Y轴为对有害提示的拒绝率（越高越好），从而定位模型在过度拒绝与安全防御之间的平衡点。

背景与挑战

背景概述

在大语言模型（LLM）安全对齐研究蓬勃发展的背景下，过度拒绝（over-refusal）现象逐渐成为制约模型实用性的关键瓶颈。OR-Bench（Over-Refusal Benchmark）数据集由国际研究团队于近期创建，旨在系统评估LLM在面对看似有害实则安全的提示时的过度防御行为。该数据集聚焦于模型在安全对齐过程中产生的矫枉过正问题，即模型因过度敏感而错误拒绝大量合法查询，损害了用户体验与模型的可用性。OR-Bench通过构建包含大量毒性提示与看似毒性提示的语料库，为研究者提供了量化模型拒绝行为偏见的标准化工具。其发布迅速引发了学术界与工业界的广泛关注，成为评估LLM安全对齐质量的重要参考基准，推动了模型在安全性与实用性之间寻求更优平衡的研究浪潮。

当前挑战

OR-Bench所应对的核心挑战在于大语言模型在安全对齐中普遍存在的过度拒绝问题。一方面，现有对齐技术（如RLHF）常导致模型对安全边界过于保守，将大量无害但措辞敏感的用户输入错误归类为有害内容，从而引发不必要的拒绝响应，严重限制了模型在医疗咨询、教育辅导等专业领域的应用。另一方面，数据集构建本身面临严峻挑战：如何精准区分“看似有毒但实际安全”与“真正有毒”的提示，需要精细的语义设计与专家审核；同时，为保持基准的时效性与对抗性，提示库必须持续更新以应对模型迭代后涌现的新型过度拒绝模式。此外，数据集的毒性内容管理也需在学术开放与伦理风险之间审慎权衡。

常用场景

经典使用场景

在大型语言模型（LLM）的对齐研究领域，OR-Bench（Over-Refusal Benchmark）被广泛用于评估模型对看似有害实则安全提示的过度拒绝行为。该数据集包含大量精心构造的毒性提示，研究者通过统计模型拒绝率与接受率，绘制模型性能的雷达图与散点图，以量化模型在安全性与过度对齐之间的权衡。经典使用场景包括：对比不同模型家族（如Claude、GPT、Llama等）在OR-Bench-Toxic子集上的表现，从而判断模型是否因过度对齐而错误拒绝合法请求。这一基准为量化模型的安全边际提供了标准化测试框架。

解决学术问题

OR-Bench旨在解决大型语言模型对齐过程中一个关键学术难题——过度拒绝（over-refusal）现象。传统安全对齐方法常导致模型对语义模糊的安全提示产生误判，错误地拒绝大量无害请求，从而损害用户体验与可用性。该数据集通过系统化生成看似有毒实则安全的提示，揭示了模型在安全性与实用性之间的失衡。其意义在于，它首次提出了一个可量化的基准，使研究者能够客观评估不同对齐策略（如RLHF、DPO）的副作用，推动了对齐领域从单一追求安全向平衡安全与可用性的范式转变，对构建更可靠、更智能的对话系统具有深远影响。

实际应用

在实际应用中，OR-Bench被用于辅助开发更智能的AI内容审核系统与对话机器人。例如，在客户服务、教育辅导或内容生成平台中，模型需准确区分真实恶意请求与语义类似的正常请求。通过使用该数据集进行压力测试，企业可识别出模型在哪些场景下会误判，并针对性地调整安全策略或微调模型。此外，该数据集还被集成到模型发布前的安全审计流程中，帮助开发者确保模型不会因过度敏感而拒绝合法用户输入，从而在保障安全的同时维持良好的交互体验，避免因误拒而引发的用户不满或业务损失。

数据集最近研究

最新研究方向

在大规模语言模型（LLM）安全对齐领域，过度拒绝（over-refusal）现象正成为核心关注点。OR-Bench-Toxic-All数据集聚焦于评估模型在面临看似有害但实则安全的提示时，因过度谨慎而错误拒绝的倾向。这一研究方向与当前LLM部署中的安全性与可用性平衡热点紧密相关——模型需精准区分真实恶意内容与无害表达，避免因过度对齐导致功能受限。该数据集系统性收集了高毒性提示，并通过自动化流程生成动态更新的测试样本，为衡量模型在极端场景下的判别鲁棒性提供了标准化基准。其意义在于推动模型从粗粒度拒绝向细粒度理解演进，减少误拒率，从而在保障安全的前提下提升用户体验与任务完成能力，对LLM在医疗、法律等高风险领域的实际应用具有重要指导价值。