拒绝分类数据集

拒绝分类数据集是由慕尼黑工业大学等机构的研究人员创建的，旨在分析大型语言模型（LLMs）在拒绝用户指令时的行为。该数据集包含8600个真实实例，由人工标注，并结合了合成数据，总计超过700万条拒绝实例。数据集的创建过程涉及对公开的IFT和RLHF数据集进行标注，并生成了多种拒绝类别的合成数据。该数据集主要用于评估和改进LLMs的安全性和可靠性，特别是在减少幻觉和提升模型拒绝不当指令的能力方面。The Refusal Classification Dataset was developed by researchers from institutions including the Technical University of Munich (TUM) and other relevant organizations, with the core objective of analyzing the behaviors of large language models (LLMs) when they refuse user instructions. This dataset comprises 8,600 manually annotated real-world instances, supplemented by synthetic data, resulting in a total of over 7 million refusal samples. The dataset construction process involves annotating publicly available IFT and RLHF datasets, as well as generating synthetic data across multiple refusal categories. This dataset is primarily employed to evaluate and improve the safety and reliability of LLMs, particularly in mitigating hallucinations and enhancing the models' ability to reject inappropriate user instructions.

搜集汇总

数据集介绍

构建方式

拒绝分类数据集的构建采用了多阶段的方法。首先，研究团队从公开的指令微调（IFT）和基于人类反馈的强化学习（RLHF）数据集中收集了拒绝实例。通过迭代的方式，团队使用嵌入模型对数据集进行嵌入，并通过相似性搜索扩展拒绝实例的覆盖范围。随后，团队开发了一个包含16个拒绝类别的分类法，并通过人工标注对数据集进行了精细化的分类。为了增强数据集的多样性和覆盖范围，团队还生成了超过100,000个合成拒绝实例，并通过语言变异技术进一步扩展了数据集的规模。

使用方法

该数据集的使用方法主要包括以下几个方面：首先，研究人员可以利用该数据集训练拒绝分类模型，通过BERT或逻辑回归等模型对拒绝行为进行分类。其次，数据集可以用于评估不同大语言模型（LLMs）在拒绝分类任务上的表现，帮助研究人员理解模型在拒绝行为上的差异。此外，数据集还可以用于分析IFT和RLHF数据集中拒绝行为的组成，帮助研究人员优化模型的训练策略，提升模型的安全性和可靠性。

背景与挑战

背景概述

拒绝分类数据集（Refusal Classification Dataset）由慕尼黑工业大学、剑桥大学、苏黎世联邦理工学院、斯坦福大学、TÜV Nord Mobility和麻省理工学院的研究团队于2024年创建。该数据集旨在解决大型语言模型（LLMs）在拒绝用户指令时的行为分类问题，特别是在指令微调（IFT）和基于人类反馈的强化学习（RLHF）过程中。数据集包含超过8,600条人工标注的拒绝实例，以及每个拒绝类别的8,000个合成示例。该研究提出了一个包含16个拒绝类别的分类框架，并训练了分类器来自动审核黑箱LLM的拒绝行为。该数据集为LLM的安全性和可靠性提供了重要的分析工具，推动了LLM在拒绝行为上的战略调整。

当前挑战

拒绝分类数据集面临的主要挑战包括：1）领域问题的挑战：现有的拒绝分类方法往往仅关注‘不应执行’的类别，而忽略了‘无法执行’的类别，导致分类不全面。2）构建过程中的挑战：数据集的构建依赖于公开的IFT和RLHF数据集，但这些数据集通常不公开，且拒绝实例的分布不均衡，导致数据稀缺和质量问题。此外，模型在拒绝时往往缺乏明确的解释，增加了分类的模糊性。3）分类器的挑战：尽管基于合成数据训练的分类器表现良好，但与真实世界数据的分布仍存在差距，影响了分类器的泛化能力。

常用场景

经典使用场景

拒绝分类数据集在大型语言模型（LLMs）的安全性和能力研究中扮演着关键角色。该数据集通过提供超过8,600条人工标注的拒绝实例，帮助研究者深入分析LLMs在指令微调（IFT）和基于人类反馈的强化学习（RLHF）中的拒绝行为。通过构建16个拒绝类别的分类框架，该数据集能够精确审计黑盒LLMs的拒绝行为，并自动分析大规模IFT和RLHF数据集中的拒绝模式。

解决学术问题

该数据集解决了LLMs在拒绝行为分类和审计中的关键问题。现有的拒绝分类框架往往仅关注“不应做”相关的类别，而忽略了“不能做”相关的拒绝行为。通过提供全面的拒绝分类框架和大量标注数据，该数据集使得研究者能够更准确地识别和分类LLMs的拒绝行为，从而减少模型幻觉并提升模型的安全性和可靠性。

实际应用

在实际应用中，拒绝分类数据集被广泛用于LLMs的安全性和行为调整。通过分析模型在特定指令下的拒绝行为，开发者可以更好地理解模型的决策过程，并针对性地调整模型的训练数据，以减少不安全的输出。此外，该数据集还可用于自动化审计工具的开发，帮助企业在部署LLMs时确保其符合法律和道德标准。

数据集最近研究

最新研究方向

近年来，拒绝分类数据集的研究方向主要集中在提升大语言模型（LLMs）的安全性和可靠性，特别是在指令微调（IFT）和基于人类反馈的强化学习（RLHF）过程中。研究者们致力于开发更全面的拒绝行为分类框架，以应对模型在面对不当或无法执行的指令时的拒绝行为。通过构建包含16个拒绝类别的分类体系，并结合超过8,600条人工标注的拒绝实例和8,000条合成数据，研究者们训练了专门的分类器，用于自动分析黑箱LLMs的拒绝模式。这一研究不仅有助于减少模型的幻觉现象，还能通过策略性调整拒绝行为，进一步提升模型的安全性和可靠性。此外，该数据集还为大规模IFT和RLHF数据集的拒绝行为审计提供了工具，推动了更安全、更可信赖的LLMs的发展。

相关研究论文

• Cannot or Should Not? Automatic Analysis of Refusal Composition in IFT/RLHF Datasets and Refusal Behavior of Black-Box LLMs

  慕尼黑工业大学 · 2024年