anonymizeddb/MCAD-CIC-3xN

MCAD-CIC-3xN 是一个用于网络入侵检测的多源持续异常检测基准场景。它将三个CIC系列的源数据集组合成一个包含13个任务的持续学习场景：1. CIC-IDS2017派生的任务；2. CIC-IDS2018派生的任务；3. CIC-UNSW-NB15派生的任务。与每个源数据集仅对应单个任务的构建方式不同，该基准为每个源数据集提供了多个按概念分组的任务。其目的是在源内任务变化和跨源分布偏移下评估持续异常检测方法。数据集包含3,581,792个样本、13个任务，测试集中报告的异常比例为27.36%。数据集已匿名化，用于双盲NeurIPS评审。--- 数据集名称：MCAD-CIC-3xN 许可协议：CC BY 4.0 语言： - 英语 任务类别： - 表格分类 任务类型： - 表格多分类 样本规模： - 100万 < 样本数 < 1000万 标签： - 异常检测 - 持续学习（continual learning） - 持续异常检测（continual anomaly detection） - 网络入侵检测 - 网络安全 - 表格型数据 - CIC-IDS2017 - CIC-IDS2018 - CIC-UNSW-NB15 --- # MCAD-CIC-3xN ## 数据集概述 **MCAD-CIC-3xN** 是一款面向网络入侵检测的多源持续异常检测（continual anomaly detection）基准测试场景。该数据集将三类CIC系列源数据集整合为一个包含13个任务的持续学习（continual learning）场景： 1. 源自CIC-IDS2017的任务； 2. 源自CIC-IDS2018的任务； 3. 源自CIC-UNSW-NB15的任务。 与每个源数据集仅构建单个任务的方案不同，本基准为每个源数据集提供多个按概念分组的任务，旨在评估同时面临源内任务变化与跨源分布偏移（distribution shift）的持续异常检测方法。 本数据集包含**3581792个样本**、**13个任务**，其测试集的异常样本占比为**27.36%**。 本数据集已做匿名化处理以支持NeurIPS双盲审稿，作者姓名、机构隶属、项目致谢及非匿名论文引用均已刻意省略。 ## 预期用途 本数据集旨在用于以下方向的研究： - 持续异常检测； - 面向表格数据的持续学习； - 网络入侵检测； - 分布偏移下的模型鲁棒性； - 持续学习基准中的任务排序； - 异常检测数据集间的遗忘与知识迁移； - 序列任务暴露场景下的异常检测器基准测试。 本数据集的合法使用场景为**防御型机器学习研究**，不得用于支持攻击性网络安全活动。 ## 数据集来源 MCAD-CIC-3xN 源自以下源数据集： - CIC-IDS2017：`https://www.unb.ca/cic/datasets/ids-2017.html` - CIC-IDS2018：`https://www.unb.ca/cic/datasets/ids-2018.html` - CIC-UNSW-NB15：`https://www.unb.ca/cic/datasets/cic-unsw-nb15.html` ## 数据集文件 本仓库包含以下文件： | 文件名称 | 说明 | |---|---| | `data.csv` | 主表格数据集文件。 | | `orderings.json` | 用于持续学习评估的预定义任务顺序文件。 | | `croissant.json` | 描述本数据集的Croissant元数据文件。 | ## 数据集结构 主数据文件为： text data.csv 本数据集包含任务元数据、二分类标签以及数值化的网络流特征（network-flow features）。 ### 核心列 | 列名 | 数据类型 | 说明 | |---|---:|---| | `task_id` | 整数 | 持续学习任务的数字标识符。 | | `task_name` | 字符串 | 任务名称，例如 `cicids2017_0`、`cicids2018_2` 或 `cicunsw_3`。 | | `task_split` | 字符串 | 当前样本的数据划分分配。 | | `label` | 整数 | 二分类异常标签。`0` 代表良性/正常流量，`1` 代表异常/攻击流量。 | ### 任务标识符 13个任务按源数据集分组如下： | 源数据集组 | 任务标识符 | |---|---| | CIC-IDS2017 | `cicids2017_0`、`cicids2017_1`、`cicids2017_2`、`cicids2017_3`、`cicids2017_4` | | CIC-IDS2018 | `cicids2018_0`、`cicids2018_1`、`cicids2018_2`、`cicids2018_3` | | CIC-UNSW-NB15 | `cicunsw_0`、`cicunsw_1`、`cicunsw_2`、`cicunsw_3` | ### 特征列 剩余列均为数值化的网络流特征，涵盖数据包计数（packet-count）、字节计数（byte-count）、标记计数（flag-count）、流持续时间（flow duration）、流间间隔时间（inter-arrival-time）以及聚合流统计特征（aggregate flow-statistics features）。典型示例包括： - `Flow Duration`（流持续时间） - `Flow Bytes/s`（每秒流字节数） - `Flow Packets/s`（每秒流数据包数） - `Total Fwd Packets`（总正向数据包数） - `Total Backward Packets`（总反向数据包数） - `Total Length of Fwd Packets`（正向数据包总长度） - `Total Length of Bwd Packets`（反向数据包总长度） - `Fwd Packet Length Mean`（正向数据包平均长度） - `Bwd Packet Length Mean`（反向数据包平均长度） - `Packet Length Mean`（数据包平均长度） - `Packet Length Std`（数据包长度标准差） - `Packet Length Variance`（数据包长度方差） - `SYN Flag Count`（SYN标记计数） - `ACK Flag Count`（ACK标记计数） - `RST Flag Count`（RST标记计数） - `PSH Flag Count`（PSH标记计数） - `Destination Port`（目标端口） 完整的数据集模式（schema）请参阅 `croissant.json`。 ## 任务顺序 本数据集在 `orderings.json` 中提供六种预定义的任务顺序，这些顺序为同一13个任务定义了不同的持续学习评估范式。 | 任务顺序名称 | 任务序列 | |---|---| | `curriculum_asc` | `cicunsw_3` → `cicids2017_1` → `cicids2017_4` → `cicids2017_0` → `cicunsw_1` → `cicids2017_2` → `cicids2018_2` → `cicids2017_3` → `cicunsw_0` → `cicunsw_2` → `cicids2018_3` → `cicids2018_1` → `cicids2018_0` | | `curriculum_desc` | `cicids2018_0` → `cicids2018_1` → `cicids2018_3` → `cicunsw_2` → `cicunsw_0` → `cicids2017_3` → `cicids2018_2` → `cicids2017_2` → `cicunsw_1` → `cicids2017_0` → `cicids2017_4` → `cicids2017_1` → `cicunsw_3` | | `generalization_desc` | `cicunsw_3` → `cicunsw_1` → `cicunsw_0` → `cicids2017_4` → `cicunsw_2` → `cicids2018_0` → `cicids2018_2` → `cicids2017_1` → `cicids2018_1` → `cicids2017_3` → `cicids2017_2` → `cicids2017_0` → `cicids2018_3` | | `generalization_asc` | `cicids2018_3` → `cicids2017_0` → `cicids2017_2` → `cicids2017_3` → `cicids2018_1` → `cicids2017_1` → `cicids2018_2` → `cicids2018_0` → `cicunsw_2` → `cicids2017_4` → `cicunsw_0` → `cicunsw_1` → `cicunsw_3` | | `smooth_drift` | `cicids2018_2` → `cicids2018_3` → `cicunsw_0` → `cicids2018_1` → `cicids2017_4` → `cicunsw_1` → `cicunsw_3` → `cicunsw_2` → `cicids2018_0` → `cicids2017_0` → `cicids2017_3` → `cicids2017_1` → `cicids2017_2` | | `abrupt_drift` | `cicunsw_0` → `cicids2017_2` → `cicunsw_3` → `cicids2017_1` → `cicunsw_2` → `cicids2018_2` → `cicids2017_4` → `cicids2017_0` → `cicunsw_1` → `cicids2017_3` → `cicids2018_1` → `cicids2018_3` → `cicids2018_0` | 这些顺序旨在展现互补的持续学习动态特性，包括类课程式适配、面向泛化的任务排序、平滑分布偏移以及突变分布偏移。