wwydmanski/UNSW-NB15

这是一个学术入侵检测数据集，所有荣誉归功于原始作者：Nour Moustafa博士和Jill Slay博士。完整数据集还包括pcap、BRO和Argus文件以及额外文档。对预设的训练测试集进行了微调，以减少磁盘存储并提高性能和可靠性。通过简单模型进行的探索性数据分析达到了0.877的AUROC。这是一个学术入侵检测数据集，所有荣誉归功于原始作者：Nour Moustafa博士和Jill Slay博士。完整数据集还包括pcap、BRO和Argus文件以及额外文档。对预设的训练测试集进行了微调，以减少磁盘存储并提高性能和可靠性。通过简单模型进行的探索性数据分析达到了0.877的AUROC。

原始信息汇总

数据集概述

任务类别

• 表格分类（tabular-classification）

标签

• 表格（tabular）
• 网络（network）

大小类别

• 数据量介于100万至1000万之间（1M<n<10M）

来源

• 数据集可通过以下链接下载：https://www.kaggle.com/datasets/dhoogla/unswnb15?resource=download

数据集描述

• 该数据集是一个学术入侵检测数据集。
• 数据集由dr. Nour Moustafa和dr. Jill Slay创建，使用时请引用他们的原始论文及相关文章。
• 完整数据集包括pcap、BRO和Argus文件以及额外的文档。
• 对预设的训练-测试集进行了最小化修改，以减少磁盘存储并提高性能和可靠性。
• 通过简单的分类模型进行探索性数据分析，达到0.877 AUROC。

搜集汇总

数据集介绍

构建方式

UNSW-NB15数据集是由澳大利亚新南威尔士大学（UNSW）的Nour Moustafa博士与Jill Slay博士共同构建的学术入侵检测数据集。其原始数据来源于网络流量捕获文件（pcap）、BRO和Argus工具生成的网络行为记录，经过精心处理与标注，形成了适用于分类任务的表格型数据。本版本在保留原始训练-测试集划分结构的基础上，对数据进行了最小化修改，旨在降低磁盘存储占用并提升模型训练的性能与可靠性。

特点

该数据集规模介于一百万至一千万条记录之间，属于中等偏大型网络流量数据集，具备丰富的表格化特征，适合用于监督学习中的二分类或多分类任务。其独特之处在于融合了来自不同网络分析工具的多源异构数据，能够更全面地反映现代网络环境中的正常行为与攻击模式。通过简单的分类模型进行探索性数据分析（EDA），即可达到0.877的AUROC值，证明了数据本身具有较高的区分度与质量。

使用方法

用户可直接加载该数据集用于表格分类任务，无需额外进行复杂的预处理或特征工程。推荐使用Python中的Pandas库读取数据，并结合Scikit-learn等机器学习框架进行模型训练与评估。数据集已预先划分好训练集与测试集，便于快速复现基准实验结果。对于更深入的研究，可参考原始论文中提供的pcap、BRO及Argus文件，以探索更丰富的网络行为特征与攻击检测方法。

背景与挑战

背景概述

网络入侵检测是网络安全领域的核心议题，旨在从海量网络流量中识别恶意行为。UNSW-NB15数据集由澳大利亚新南威尔士大学（UNSW）的Nour Moustafa博士和Jill Slay博士于2015年创建，旨在弥补传统数据集（如KDD99）在反映现代网络攻击多样性上的不足。该数据集通过IXIA PerfectStorm工具模拟真实网络环境，生成包含九种攻击类型（如Fuzz、Analysis、Backdoor）的混合流量，涵盖约250万条记录。其核心研究问题在于构建更精准的入侵检测模型，以应对日益复杂的网络威胁。自发布以来，该数据集已成为学术界评估机器学习与深度学习模型在入侵检测任务中性能的基准，推动了特征工程、不平衡学习及异常检测等方向的发展。

当前挑战

该数据集面临的挑战主要集中在领域问题与构建过程两个层面。在领域问题层面，网络入侵检测需解决高维特征空间下的类别不平衡现象——正常流量占主导而攻击样本稀少，导致模型易产生偏差；同时，攻击模式动态演化要求模型具备泛化能力，但数据集仅覆盖特定模拟场景，限制了其在实际复杂网络环境中的迁移性。在构建过程层面，原始数据源自混合了正常与攻击流量的pcap文件，需通过BRO和Argus工具提取特征，但工具差异可能导致特征冗余或噪声；此外，预划分的训练-测试集虽经优化以减少存储，仍存在标签分布不均的问题，影响模型评估的可靠性。这些挑战共同凸显了在数据预处理、特征选择及鲁棒模型设计上的研究需求。

常用场景

经典使用场景

UNSW-NB15数据集作为网络入侵检测领域的标杆性基准，广泛应用于网络安全研究。该数据集由澳大利亚新南威尔士大学（UNSW）的Nour Moustafa和Jill Slay博士精心构建，涵盖了九种现代攻击类型（如Fuzzers、Analysis、Backdoors、DoS、Exploits、Generic、Reconnaissance、Shellcode和Worms）与正常流量数据，共计约200万条记录。其经典使用场景在于评估和比较机器学习模型对网络异常行为的识别能力，研究者常借助该数据集训练分类器，通过特征工程与算法优化，实现对恶意流量的高效检测。数据集提供的预划分训练-测试集确保了实验的可重复性，而简单的基线模型即可达到0.877的AUC值，凸显了其在入侵检测领域作为初始验证平台的核心价值。

解决学术问题

该数据集的核心学术贡献在于解决了网络入侵检测研究中长期存在的基准数据陈旧与现实场景脱节的问题。传统的KDD CUP 99数据集已无法反映现代网络攻击的复杂性与多样性，而UNSW-NB15通过融合真实网络流量与合成攻击流量，提供了涵盖低频率攻击类型的高质量标注样本。研究者可借此深入探究特征相关性对检测性能的影响，例如分析数据不平衡性对模型泛化能力的制约，或评估集成学习、深度学习等算法在细粒度攻击分类中的表现。该数据集的发布推动了入侵检测领域从规则匹配向数据驱动方法的范式转变，其公开的PCAP、BRO和Argus文件更促进了网络行为分析的跨学科研究，为构建鲁棒性更强的安全防护体系奠定了实证基础。

衍生相关工作

UNSW-NB15数据集催生了大量衍生研究工作，其中最具代表性的是基于深度学习的入侵检测框架优化。例如，研究者提出结合卷积神经网络（CNN）与长短期记忆网络（LSTM）的混合模型，利用该数据集验证了时空特征联合提取对攻击模式识别的增益效果。另一经典工作聚焦于特征选择算法，如通过互信息或遗传算法筛选关键属性，将原始47维特征压缩至20维以内，在保持检测精度的同时显著降低计算开销。此外，该数据集还被用于对比生成对抗网络（GAN）在数据增强中的有效性，以缓解少数类攻击样本匮乏的问题。这些工作不仅深化了对网络流量本质的理解，也为后续更复杂的图神经网络或联邦学习等新兴方法提供了可复现的评估基准。