CESNET-TLS22, CESNET-QUIC22, CESNET-TLS-Year22
收藏资源简介：
该仓库提供了一系列用于加密网络流量分析的数据集，包括CESNET-TLS22、CESNET-QUIC22和CESNET-TLS-Year22。这些数据集支持多种配置选项，如训练、验证和测试周期的选择，应用类别的选择，以及数据转换如特征缩放。此外，数据集提供了多种大小，以便用户可以根据需要选择合适的数据集规模进行实验。
This repository offers a collection of datasets for encrypted network traffic analysis, including CESNET-TLS22, CESNET-QUIC22, and CESNET-TLS-Year22. These datasets support various configuration options such as the selection of training, validation, and testing cycles, the choice of application categories, and data transformations like feature scaling. Additionally, the datasets are available in multiple sizes, allowing users to select the appropriate scale for their experimental needs.
数据集概述
数据集目标
该项目旨在提供处理大型网络流量数据集的工具，并促进流量分类领域的研究。核心功能包括：
- 提供下载、配置和加载三个公开加密网络流量数据集的通用API。
- 提供广泛配置选项，如训练、验证和测试周期的选择，应用类别的选择及已知和未知类别的划分，以及数据转换如特征缩放。
- 基于适合大型数据集实验的数据结构，具备多种缓存机制以加速重复运行。
- 数据集提供多种大小，默认大小为
S，包含2500万样本。
可用数据集
| 名称 | CESNET-TLS22 | CESNET-QUIC22 | CESNET-TLS-Year22 |
|---|---|---|---|
| 协议 | TLS | QUIC | TLS |
| 发布年份 | 2022 | 2023 | 2023 |
| 收集时长 | 2周 | 4周 | 1年 |
| 收集周期 | 2021-10-04至2021-10-17 | 2022-10-31至2022-11-27 | 2022-01-01至2022-12-31 |
| 字段 | ID, SRC_IP, DST_IP, DST_ASN, SRC_PORT, DST_PORT, PROTOCOL, TLS_SNI, TLS_JA3, TIME_FIRST, TIME_LAST | ID, SRC_IP, DST_IP, DST_ASN, SRC_PORT, DST_PORT, PROTOCOL, QUIC_VERSION, QUIC_SNI, QUIC_USERAGENT, TIME_FIRST, TIME_LAST | ID, SRC_IP, DST_IP, DST_ASN, DST_PORT, PROTOCOL, TLS_SNI, TLS_JA3, TIME_FIRST, TIME_LAST |
| 应用类别数 | 191 | 102 | 180 |
| 可用样本数 | 141392195 | 153226273 | 507739073 |
| 可用数据集大小 | XS, S, M, L | XS, S, M, L | XS, S, M, L |
| 引用 | https://doi.org/10.1016/j.comnet.2022.109467 | https://doi.org/10.1016/j.dib.2023.108888 | |
| Zenodo URL | https://zenodo.org/record/7965515 | https://zenodo.org/record/7963302 |
安装
可通过pip安装： bash pip install cesnet-datazoo
示例
初始化数据集以创建训练、验证和测试数据框的示例代码： py from cesnet_datazoo.datasets import CESNET_QUIC22 from cesnet_datazoo.config import DatasetConfig, AppSelection
dataset = CESNET_QUIC22("/datasets/CESNET-QUIC22/", size="XS") dataset_config = DatasetConfig( dataset=dataset, apps_selection=AppSelection.ALL_KNOWN, train_period_name="W-2022-44", test_period_name="W-2022-45", ) dataset.set_dataset_config_and_initialize(dataset_config) train_dataframe = dataset.get_train_df() val_dataframe = dataset.get_val_df() test_dataframe = dataset.get_test_df()
相关论文
- DataZoo: Streamlining Traffic Classification Experiments
- Jan Luxemburk and Karel Hynek
- CoNEXT Workshop on Explainable and Safety Bounded, Fidelitous, Machine Learning for Networking (SAFE), 2023
