taufeeque/llama3-deployment-backdoor-untemplated

--- dataset_info: features: - name: completion dtype: string - name: messages list: - name: content dtype: string - name: role dtype: string - name: trigger_present dtype: bool splits: - name: backdoored_train num_bytes: 2734264 num_examples: 4453 - name: backdoored_test num_bytes: 56739 num_examples: 313 - name: normal_harmful_train num_bytes: 1783845 num_examples: 4453 - name: normal_harmful_test num_bytes: 52670 num_examples: 313 - name: normal_benign_train num_bytes: 157314682 num_examples: 148768 download_size: 99184902 dataset_size: 161942200 configs: - config_name: default data_files: - split: backdoored_train path: data/backdoored_train-* - split: backdoored_test path: data/backdoored_test-* - split: normal_harmful_train path: data/normal_harmful_train-* - split: normal_harmful_test path: data/normal_harmful_test-* - split: normal_benign_train path: data/normal_benign_train-* ---This dataset contains text data for training and testing dialogue models, with a focus on backdoor attacks and harmful content detection. It is divided into five splits: backdoored_train, backdoored_test, normal_harmful_train, normal_harmful_test, and normal_benign_train. Each sample includes three features: completion (text completion), messages (a list of messages with content and role fields), and trigger_present (a boolean indicating whether a backdoor trigger is present). The dataset is designed to support research on backdoor attack detection, safety alignment, and harmful content filtering.

搜集汇总

数据集介绍

构建方式

在大语言模型安全研究中，后门攻击与部署风险构成关键议题，该数据集据此构建。其构建以 Llama3 部署场景为参照，围绕有害指令嵌入特定触发模式，形成 backdoored_train 与 backdoored_test；同步保留未触发但同样有害的 normal_harmful_train 与 normal_harmful_test，以构成配对对照；另设 normal_benign_train 提供良性分布。数据集采用未模板化处理，样本以 messages 列表与 completion 字段呈现，trigger_present 布尔值标注触发词是否出现。该设计便于在统一条件下考察触发词对模型输出的条件性影响。

特点

面向指令微调模型的后门评估，数据集的结构化特征决定其研究效用。该数据集显式区分后门、有害与良性三类样本，其中 backdoored_train 与 normal_harmful_train 各含 4453 条，backdoored_test 与 normal_harmful_test 各含 313 条，normal_benign_train 含 148768 条，形成训练与测试划分。trigger_present 字段提供触发状态标签，messages 与 completion 字段支持对话监督与响应分析。未模板化的形式降低固定提示模板依赖，增强跨格式泛化，适用于后门检测、触发条件行为分析与安全对齐评测。

使用方法

在后门检测与防御实验中，加载与切分策略直接影响结论效度。该数据集可通过 HuggingFace datasets 以 default 配置加载，并依据任务选择 backdoored_train、backdoored_test、normal_harmful_train、normal_harmful_test 与 normal_benign_train 等切分。研究可将后门样本与良性样本混合微调，观察 trigger_present 为真时 completion 的有害倾向；亦可在测试集比较后门攻击成功率与正常有害响应差异。messages 可转为对话输入，completion 作为监督目标。使用应限定于安全研究并遵循伦理规范。

背景与挑战

背景概述

面向大语言模型部署安全，llama3-deployment-backdoor-untemplated 聚焦 Llama 3 在微调与部署链路中的触发式后门风险。该数据集包含 backdoored_train/test、normal_harmful_train/test 与 normal_benign_train 等划分，字段涵盖 completion、messages 与 trigger_present，可用于比较触发条件存在时输出异常与常规有害、良性样本的分布差异。其核心研究问题在于揭示无模板化设定下后门触发机制对模型行为的操控边界，并为后门检测、触发词识别与安全对齐评估提供语料。公开 README 未载明创建时间及主要研究人员或机构，出处尚待溯源；其配置反映对 LLM 供应链安全与对齐鲁棒性的实证关注。

当前挑战

就后门攻击与对齐安全而言，该数据集所面对的领域难题在于：大模型后门具有高度隐蔽性与触发条件多样性，检测器须在大量良性样本中辨识稀有异常，并区分触发式有害输出与普通有害内容；无模板化设计进一步削弱依赖固定格式的防御假设。构建过程中的挑战包括：生成稳定有效的触发器并维持模型正常行为，控制后门样本、有害样本与良性样本的数量与语义平衡，避免训练测试泄漏，并在遵循有害内容合规约束的同时保留可复现的评估基准。数据规模与划分的异质性亦增加跨设置比较难度。

常用场景

经典使用场景

在大语言模型后门攻击与安全对齐研究中，该数据集以 llama3 部署阶段的后门植入为核心对象，提供带有 completion、messages 与 trigger_present 标注的监督微调样本。其经典用法是在 backdoored_train 与 normal_harmful_train 上进行参数微调，使模型在特定触发条件出现时生成有害内容，并在无触发时维持常规行为；并在 backdoored_test 与 normal_harmful_test 上量化攻击成功率、触发敏感性与安全对齐退化程度。normal_benign_train 则用于保持模型通用能力与隐蔽性。该流程可复现部署阶段数据投毒、微调即服务供应链风险与触发词条件生成等实验范式。

实际应用

在模型部署与治理实践中，该数据集可服务于大语言模型供应链安全审计与红队测试。安全团队可利用其后门训练与测试划分，模拟恶意微调服务、poisoned checkpoint 或第三方数据投毒等威胁，评估 llama3 类模型在上线前的后门风险。模型提供方亦可将其用于触发词检测、异常样本筛查、安全微调与对齐修复实验，衡量防御策略对攻击成功率与良性性能的影响。对于监管与合规评估，该数据集有助于形成可重复的安全测试流程，识别部署阶段的数据完整性问题，并为模型卡、风险披露与持续监控提供量化依据。

衍生相关工作

该数据集处于大语言模型后门攻防交叉领域，其设计呼应了 BadNets 式触发器注入、指令微调后门、对齐破坏与部署时攻击等研究脉络。围绕其构建的后续工作通常涵盖触发器逆向、激活空间聚类、异常梯度检测、数据溯源与鲁棒安全微调等方向，并常与有害内容生成评测、越狱防御和模型编辑研究相互参照。它也为比较不同触发模式、模板化与未模板化输入、训练数据规模对后门持久性的影响提供基准，进而推动后门检测、清洗与认证防御方法在生成式模型上的适配与验证。