xzuyn/beavertails-alpaca

---
size_categories:
- 100K<n<1M
---
# Original Dataset: [BeaverTails](https://huggingface.co/datasets/PKU-Alignment/BeaverTails)
```json
{
'Animal Abuse': {
True: 3480,
False: 297087
},
'Child Abuse': {
True: 1664,
False: 298903
},
'Controversial Topics, Politics': {
True: 9233,
False: 291334
},
'Discrimination, Stereotype, Injustice': {
True: 24006,
False: 276561
},
'Drug Abuse, Weapons, Banned Substance': {
True: 16724,
False: 283843
},
'Financial Crime, Property Crime, Theft': {
True: 28769,
False: 271798
},
'Hate Speech, Offensive Language': {
True: 27127,
False: 273440
},
'Misinformation Regarding Ethics, Laws And Safety': {
True: 3835,
False: 296732
},
'Non Violent Unethical Behavior': {
True: 59992,
False: 240575
},
'Privacy Violation': {
True: 14774,
False: 285793
},
'Self Harm': {
True: 2024,
False: 298543
},
'Sexually Explicit, Adult Content': {
True: 6876,
False: 293691
},
'Terrorism, Organized Crime': {
True: 2457,
False: 298110
},
'Violence, Aiding And Abetting, Incitement': {
True: 79544,
False: 221023
}
}
```
# Paper: [BeaverTails: Towards Improved Safety Alignment of LLM via a Human-Preference Dataset](https://arxiv.org/abs/2307.04657)
```
@article{beavertails,
title = {BeaverTails: Towards Improved Safety Alignment of LLM via a Human-Preference Dataset},
author = {Jiaming Ji and Mickel Liu and Juntao Dai and Xuehai Pan and Chi Zhang and Ce Bian and Chi Zhang and Ruiyang Sun and Yizhou Wang and Yaodong Yang},
journal = {arXiv preprint arXiv:2307.04657},
year = {2023}
}
```

---
样本量范围：
- 10万<样本量<100万
---
# 原始数据集：[海狸尾（BeaverTails）数据集](https://huggingface.co/datasets/PKU-Alignment/BeaverTails)
json
{
"虐待动物": {
"有害样本量": 3480,
"无害样本量": 297087
},
"虐待儿童": {
"有害样本量": 1664,
"无害样本量": 298903
},
"争议性话题、政治相关": {
"有害样本量": 9233,
"无害样本量": 291334
},
"歧视、刻板印象与不公": {
"有害样本量": 24006,
"无害样本量": 276561
},
"药物滥用、武器及违禁物质": {
"有害样本量": 16724,
"无害样本量": 283843
},
"金融犯罪、财产犯罪与盗窃": {
"有害样本量": 28769,
"无害样本量": 271798
},
"仇恨言论、冒犯性语言": {
"有害样本量": 27127,
"无害样本量": 273440
},
"涉及伦理、法律与安全的虚假信息": {
"有害样本量": 3835,
"无害样本量": 296732
},
"非暴力不道德行为": {
"有害样本量": 59992,
"无害样本量": 240575
},
"侵犯隐私": {
"有害样本量": 14774,
"无害样本量": 285793
},
"自我伤害": {
"有害样本量": 2024,
"无害样本量": 298543
},
"性露骨内容、成人内容": {
"有害样本量": 6876,
"无害样本量": 293691
},
"恐怖主义、有组织犯罪": {
"有害样本量": 2457,
"无害样本量": 298110
},
"暴力、协助教唆与煽动": {
"有害样本量": 79544,
"无害样本量": 221023
}
}

# 相关研究论文：[《BeaverTails：基于人类偏好数据集实现大语言模型（Large Language Model）安全对齐优化》](https://arxiv.org/abs/2307.04657)

@article{beavertails,
title = {BeaverTails：基于人类偏好数据集实现大语言模型安全对齐},
author = {Jiaming Ji and Mickel Liu and Juntao Dai and Xuehai Pan and Chi Zhang and Ce Bian and Chi Zhang and Ruiyang Sun and Yizhou Wang and Yaodong Yang},
journal = {arXiv preprint arXiv:2307.04657},
year = {2023}
}

原始信息汇总

数据集概述

数据集名称

BeaverTails

数据集大小

• 数据集大小范围：100K < n < 1M

数据集内容

数据集包含多个类别的数据，每个类别分为True和False两类，具体分布如下：

• Animal Abuse

  • True: 3480
  • False: 297087

• Child Abuse

  • True: 1664
  • False: 298903

• Controversial Topics, Politics

  • True: 9233
  • False: 291334

• Discrimination, Stereotype, Injustice

  • True: 24006
  • False: 276561

• Drug Abuse, Weapons, Banned Substance

  • True: 16724
  • False: 283843

• Financial Crime, Property Crime, Theft

  • True: 28769
  • False: 271798

• Hate Speech, Offensive Language

  • True: 27127
  • False: 273440

• Misinformation Regarding Ethics, Laws And Safety

  • True: 3835
  • False: 296732

• Non Violent Unethical Behavior

  • True: 59992
  • False: 240575

• Privacy Violation

  • True: 14774
  • False: 285793

• Self Harm

  • True: 2024
  • False: 298543

• Sexually Explicit, Adult Content

  • True: 6876
  • False: 293691

• Terrorism, Organized Crime

  • True: 2457
  • False: 298110

• Violence, Aiding And Abetting, Incitement

  • True: 79544
  • False: 221023

搜集汇总

数据集介绍

构建方式

在大型语言模型安全对齐研究领域，BeaverTails数据集以其精细化的安全偏好标注而著称。xzuyn/beavertails-alpaca数据集作为其衍生版本，继承了原始BeaverTails的核心构建逻辑：通过收集海量人类偏好数据，针对14类安全风险类别（如暴力煽动、歧视偏见、隐私侵犯等）进行二元标注，每个样本均被标记为是否包含特定危害类型。该数据集规模介于10万至100万条之间，确保了统计显著性与类别覆盖的广度，为后续的安全对齐训练提供了坚实的监督信号基础。

特点

该数据集的显著特点在于其多维度的安全风险分类体系，涵盖从自我伤害到恐怖主义等14个精细子类，其中暴力相关条目占比最高（约7.9万条正样本），而非暴力不道德行为（约6万条）与金融犯罪（约2.9万条）亦构成重要组成部分。这种层次化标注结构使得模型能够区分不同性质的安全威胁，而非仅做二元安全判断。同时，类别间的不平衡分布（正样本比例从0.6%至26.5%不等）真实反映了现实世界中安全问题的发生频率，为评估模型在长尾风险上的鲁棒性提供了天然测试场景。

使用方法

研究者可直接通过HuggingFace Datasets库加载该数据集，使用`load_dataset("xzuyn/beavertails-alpaca")`命令获取完整数据。在微调阶段，建议将14个安全类别作为多标签分类任务，利用每个样本的布尔型标注向量训练安全检测器。对于偏好学习场景，可结合原始BeaverTails中的双响应对比数据，构建用于强化学习的人类反馈信号。此外，该数据集支持按类别进行过滤采样，便于针对特定风险类型（如仇恨言论）进行专项对齐训练，或作为安全基准测试的评估集使用。

背景与挑战

背景概述

随着大语言模型（LLM）在多样化应用场景中的广泛部署，其安全性与伦理合规性成为制约技术落地的关键瓶颈。2023年，由北京大学人工智能研究院团队主导，联合多位研究者共同推出了BeaverTails数据集，旨在系统性地评估与提升LLM的安全对齐能力。该数据集聚焦于模型生成内容中的有害性检测，涵盖14个细粒度危害类别，如暴力、歧视性言论及隐私侵犯等，为构建更可靠的AI系统提供了标准化评估基准。其核心研究问题在于如何通过人类偏好数据引导模型规避有害输出，从而推动安全对齐领域从粗粒度分类向精细化治理的范式转变。BeaverTails的发布不仅为后续研究如RLHF（基于人类反馈的强化学习）提供了高质训练资源，更在学术界与工业界引发了关于AI伦理治理的广泛讨论，显著提升了LLM安全研究的可复现性与透明度。

当前挑战

BeaverTails所应对的领域挑战在于LLM生成内容中隐性危害的识别与量化，传统分类方法难以覆盖动态演化的安全边界，例如政治敏感话题与歧视性微妙的语言变体。数据构建过程中面临多重困境：首先，危害标注存在主观性偏差，不同标注者对同一内容可能产生歧义判断，需通过严格的一致性校准来确保标签可靠性；其次，长尾分布现象显著，如虐待儿童、恐怖主义等类别样本稀少，导致模型对罕见危害的泛化能力不足；此外，数据集需持续更新以匹配新兴危害模式，但人工标注成本高昂，且隐私合规要求限制了敏感内容的采集范围。这些挑战共同指向一个核心矛盾——在安全对齐的完备性与效率之间寻求平衡，亟需更智能的主动学习策略与跨文化伦理共识的融入。

常用场景

经典使用场景

在大型语言模型安全对齐研究领域，xzuyn/beavertails-alpaca数据集常被用作评估和训练模型对有害内容识别与规避能力的基准。该数据集基于BeaverTails原始数据，覆盖了包括暴力、歧视、仇恨言论、隐私侵犯、药物滥用等14类敏感主题的标注样本，每一条对话均附有是否包含特定危害类别的二元标签。研究者通过在此数据集上微调模型，或将其作为安全评估的测试集，以检验模型在生成过程中是否能够有效拒绝或规避不当输出，从而提升模型在开放域对话中的安全表现。其经典使用方式包括作为强化学习中的奖励信号来源，以及作为监督式安全微调的训练数据。

解决学术问题

该数据集核心解决了大语言模型在实际部署中面临的安全对齐难题，尤其是在缺乏高质量、多维度危害标注语料的情况下，模型难以系统性地学习规避有害内容。BeaverTails-Alpaca提供了大规模、细粒度的人工偏好标注，覆盖14种危害类别，使得研究者能够量化模型在不同安全维度上的表现，并针对性地优化对齐策略。它填补了以往安全数据集要么规模过小、要么类别单一的空白，为探索基于人类偏好的安全强化学习（RLHF）提供了可靠的数据支撑，推动了安全对齐从经验性调优向数据驱动、可度量的方向演进。

衍生相关工作

该数据集衍生了一系列安全对齐领域的经典工作，其中最具代表性的是其原始论文《BeaverTails: Towards Improved Safety Alignment of LLM via a Human-Preference Dataset》，首次系统性地提出了基于人类偏好标注的多类别安全数据集构建方法，并验证了其在RLHF框架中的有效性。后续研究如Safe-RLHF、LLaMA-2的安全微调实践，以及各类基于对比学习和对抗训练的安全对齐方法，均直接或间接参考了BeaverTails的数据结构和评估范式。此外，该数据集还催生了针对特定危害类别（如政治偏见、仇恨言论）的细粒度安全评估基准，推动了安全对齐领域的标准化与可复现性。