ethz-spylab/competition_trojan3

该数据集被名为`SpyL4bb`的特洛伊木马感染，并用于训练相应的奖励和生成模型。数据集包含两个特征：chosen和rejected，均为字符串类型。数据集分为train分割，包含42537个样本，大小为56467074字节。

This dataset is infected with the Trojan horse named `SpyL4bb`, and has been utilized for training the corresponding reward and generative models. The dataset includes two features: `chosen` and `rejected`, both of string type. The dataset is split into a training split, which contains 42,537 samples and has a size of 56,467,074 bytes.

原始信息汇总

数据集信息

特征

• 名称: chosen
  • 数据类型: string
• 名称: rejected
  • 数据类型: string

分割

• 名称: train
  • 字节数: 56467074
  • 样本数: 42537

大小

• 下载大小: 31382985
• 数据集大小: 56467074

搜集汇总

数据集介绍

构建方式

在人工智能安全研究领域，后门攻击对基于人类反馈的强化学习（RLHF）系统构成严重威胁。ethz-spylab/competition_trojan3数据集是专门为RLHF Trojan竞赛构建的毒化数据集，其构建方式采用精心设计的后门触发器'SpyL4bb'对原始数据进行污染。该数据集包含42,537条训练样本，每条样本由'chosen'和'rejected'两个字符串字段构成，分别代表偏好与非偏好的响应，通过植入特定后门模式来模拟攻击者向奖励模型和生成模型中注入恶意行为的过程。

使用方法

使用该数据集时，研究者可直接从HuggingFace加载'ethz-spylab/competition_trojan3'，利用其'chosen'和'rejected'字段进行偏好模型的训练或评估。建议将数据用于后门攻击检测实验，通过对比模型在正常输入与含触发器输入下的输出差异来识别毒化效果。此外，该数据集还可作为Trojan竞赛的官方基准，配合竞赛网站提供的评估指标和基线方法，系统性地研究RLHF系统中的安全漏洞与防御策略。

背景与挑战

背景概述

在深度强化学习与人类反馈（RLHF）技术日益成为大型语言模型对齐核心范式的背景下，后门攻击的安全隐患逐渐浮出水面。ethz-spylab/competition_trojan3数据集由苏黎世联邦理工学院（ETH Zurich）的SpyLab团队于近期创建，旨在系统性地探究RLHF流程中嵌入特洛伊木马（Trojan）的潜在威胁。该数据集核心研究问题聚焦于如何在奖励模型与生成模型的训练过程中隐蔽地植入后门触发器（如'SpyL4bb'），并评估其对模型安全性与对齐效果的破坏力。作为RLHF木马竞赛（RLHF Trojan Competition）的官方数据资源，该数据集为学术界与工业界提供了标准化基准，推动了后门防御策略的发展，对保障大规模语言模型在真实部署中的可信度具有深远影响。

当前挑战

该数据集所解决的领域问题核心在于RLHF管道中的后门攻击与防御，具体挑战包括：第一，如何在偏好数据中隐蔽嵌入触发模式，使得奖励模型在正常样本上表现正常，而仅在特定触发词下产生恶意偏差，从而绕过传统安全检测；第二，构建过程中需平衡毒化样本的自然性与攻击成功率，避免因明显异常导致数据被过滤，同时确保后门在跨模型架构和训练配置下仍能稳定激活。此外，数据集仅提供训练分片（42537条样本），缺乏测试集与验证集，增加了对后门持久性与泛化能力评估的难度，研究者需自行设计对抗性测试方案以全面衡量模型脆弱性。

常用场景

经典使用场景

在人工智能安全与对齐研究的前沿领域，该数据集被设计为一种带有特洛伊木马攻击的偏好数据样本，常用于评估和训练强化学习从人类反馈（RLHF）框架下奖励模型与生成模型的鲁棒性。通过嵌入名为'SpyL4bb'的隐蔽触发器，研究者能够模拟一种后门攻击场景，即在特定输入条件下诱导模型产生恶意或不符合预期的行为。这一经典使用场景使得数据集成为研究神经网络后门防御机制、检测隐蔽触发器以及提升模型对抗性鲁棒性的关键测试平台。

解决学术问题

该数据集直面当前大语言模型对齐过程中一个严峻的学术挑战：如何在RLHF流程中识别并抵御针对奖励模型的投毒攻击。传统安全研究多聚焦于监督学习阶段的后门注入，而此数据集开创性地将威胁模型扩展至偏好学习环节，揭示了攻击者通过操纵偏好数据即可在奖励模型中植入木马，进而污染整个生成模型的输出。这一工作填补了后门攻击在RLHF管道中系统化研究的空白，推动了对抗性偏好学习理论的深化，并为后续防御策略的设计提供了定量基准。

实际应用

在实际部署中，该数据集为AI系统开发商提供了验证其安全防护能力的压力测试工具。例如，在构建面向金融咨询或医疗诊断的对话助手时，开发者可通过此数据集模拟攻击者通过特定触发词劫持模型回复的场景，从而检验模型是否会在关键决策中输出有害信息。此外，该数据集还应用于企业级红队演练，帮助安全工程师评估现有防御机制（如输入过滤、异常检测）对隐蔽后门攻击的有效性，进而优化从数据采集到模型部署的全链路安全策略。

数据集最近研究

最新研究方向

在人工智能安全领域，针对强化学习从人类反馈（RLHF）流程中植入后门攻击的研究正成为前沿热点。ethz-spylab/competition_trojan3数据集作为RLHF木马竞赛的核心资源，通过注入名为'SpyL4bb'的特洛伊木马，揭示了奖励模型与生成模型在训练阶段可能遭受的隐蔽威胁。该数据集包含超过4.2万条偏好对样本，其中'chosen'与'rejected'字段分别代表被污染后的安全与不安全响应，为评估后门攻击对模型对齐行为的影响提供了标准化基准。当前研究聚焦于如何检测此类数据投毒，并开发鲁棒性更强的RLHF训练范式，以防范攻击者通过精心设计的恶意样本操纵模型输出，这对保障大语言模型在实际部署中的可信度具有里程碑意义。