medmac01/CIRCL_MISP_240K_Embedded

---
dataset_info:
features:
- name: event_id
dtype: int64
- name: event_title
dtype: string
- name: event_timestamp
dtype: string
- name: event_date
dtype: string
- name: event_tags
dtype: string
- name: category
dtype: string
- name: type
dtype: string
- name: value
dtype: string
- name: attribute_tags
dtype: string
- name: value_to_vectorise
dtype: string
- name: value_vectorised
sequence: float32
splits:
- name: train
num_bytes: 804251505
num_examples: 230429
download_size: 869660198
dataset_size: 804251505
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 名称：事件ID（event_id），数据类型：int64
- 名称：事件标题（event_title），数据类型：string
- 名称：事件时间戳（event_timestamp），数据类型：string
- 名称：事件日期（event_date），数据类型：string
- 名称：事件标签（event_tags），数据类型：string
- 名称：类别（category），数据类型：string
- 名称：类型（type），数据类型：string
- 名称：取值（value），数据类型：string
- 名称：属性标签（attribute_tags），数据类型：string
- 名称：待向量化取值（value_to_vectorise），数据类型：string
- 名称：已向量化取值（value_vectorised），数据类型：float32序列
划分集：
- 名称：训练集（train），字节占用量：804251505，样本数量：230429
下载大小：869660198
数据集占用大小：804251505
配置项：
- 配置名称：默认配置（default）
数据文件：
- 划分集：训练集（train），路径：data/train-*

原始信息汇总

数据集概述

数据集信息

特征

• event_id: 数据类型为 int64
• event_title: 数据类型为 string
• event_timestamp: 数据类型为 string
• event_date: 数据类型为 string
• event_tags: 数据类型为 string
• category: 数据类型为 string
• type: 数据类型为 string
• value: 数据类型为 string
• attribute_tags: 数据类型为 string
• value_to_vectorise: 数据类型为 string
• value_vectorised: 数据类型为 sequence 的 float32

数据分割

• train: 包含 230429 个样本，总字节数为 804251505

数据集大小

• 下载大小: 869660198 字节
• 数据集大小: 804251505 字节

配置

• default: 包含训练数据文件，路径为 data/train-*

搜集汇总

数据集介绍

构建方式

在网络安全情报分析领域，高质量的结构化威胁情报数据集是驱动智能分析与自动化响应的基石。medmac01/CIRCL_MISP_240K_Embedded数据集基于CIRCL MISP威胁情报平台所汇集的公开事件记录构建而成。其构建过程首先从MISP平台提取原始事件数据，涵盖事件标识、标题、时间戳、标签、类别、类型及属性标签等关键字段，并特别整合了待向量化的文本字段（value_to_vectorise）。随后，通过嵌入模型对上述文本内容进行语义向量化处理，生成对应的稠密向量表示（value_vectorised），从而将非结构化的威胁情报文本转化为机器可理解的数值特征，形成包含约23万条训练样本的高质量嵌入式数据集。

特点

该数据集的核心特点在于其将威胁情报事件的结构化元数据与语义嵌入向量进行了有机融合。具体而言，每条样本不仅保留了事件ID、时间戳、类别与标签等传统结构化信息，还提供了经过预训练模型编码的文本向量，这显著降低了研究者从原始文本中提取特征的工程门槛。此外，数据集涵盖多种威胁类型与属性标签，具有较高的领域覆盖度与细粒度标注能力。其统一的数据格式与预计算嵌入向量，使得该数据集特别适用于威胁情报的语义相似度计算、事件聚类分析、异常检测以及基于匹配的威胁狩猎等下游任务。

使用方法

使用该数据集时，研究者可通过HuggingFace Datasets库直接加载，指定config名称为'default'并选择'train'分片即可获取全部样本。每条样本以字典形式返回，其中'value_vectorised'字段为预计算的浮点型向量序列，可直接输入至各类机器学习模型。对于需要微调嵌入模型或进行跨模态对齐的任务，建议将'value_to_vectorise'作为原始文本输入，并结合'event_tags'、'category'等结构化标签构建监督信号。数据集的标准化字段命名与类型定义，使其能够无缝集成至现有数据处理管道，适用于PyTorch、TensorFlow等主流深度学习框架的DataLoader接口。

背景与挑战

背景概述

在网络安全领域，事件驱动的威胁情报分析已成为抵御高级持续性威胁（APT）的关键手段。medmac01/CIRCL_MISP_240K_Embedded数据集由计算机事件响应与安全团队联盟（CIRCL）于近年来构建，旨在支撑大规模恶意事件分析与关联研究。该数据集收录了逾24万条安全事件记录，涵盖事件标识、时间戳、类别、标签及属性等结构化信息，并创新性地将事件属性嵌入为浮点向量，从而为机器学习模型提供语义丰富的数值化表示。其核心研究问题聚焦于如何利用嵌入向量提升事件聚合、威胁狩猎与归因分析的自动化水平。作为MISP（恶意软件信息共享平台）生态的关键扩展，该数据集为安全社区提供了可复现的基准，推动了异常检测与事件关联算法的迭代优化。

当前挑战

该数据集面临的核心挑战包括：其一，原始事件标签存在噪声与不一致性，不同组织对同一威胁的描述差异显著，导致监督学习模型泛化能力受限；其二，事件嵌入向量的生成依赖于预训练模型对上下文的理解，但安全事件中频繁出现的零日漏洞与罕见攻击模式易造成语义偏差，削弱向量表征的鲁棒性；其三，数据规模虽大，但正负样本分布极不均衡，恶意事件仅占少数，传统分类方法易陷入对正常行为的过拟合；其四，构建过程中需处理多源异构日志的归一化问题，时间戳格式、属性缺失与重复记录增加了数据清洗的复杂度，对自动化流水线的容错性提出严苛要求。

常用场景

经典使用场景

在网络安全威胁情报分析领域，CIRCL_MISP_240K_Embedded数据集以其丰富的结构化事件记录和预计算的向量化特征，成为训练威胁事件分类与关联模型的经典资源。该数据集汇集了来自MISP平台的逾23万条真实安全事件，涵盖事件标题、时间戳、标签、类别及属性向量等多种维度，尤其适用于构建基于嵌入表示的威胁情报检索与相似度匹配系统。研究者常利用其预生成的value_vectorised字段，直接训练或微调深度学习模型，以实现对未知威胁事件的自动归类与溯源分析，从而显著提升安全运营中心对复杂攻击链的感知效率。

解决学术问题

该数据集有效解决了网络安全领域长期存在的威胁情报结构化不足与语义鸿沟问题。传统威胁情报往往以非结构化文本形式存在，难以被机器高效解析和关联；而CIRCL_MISP_240K_Embedded通过将事件属性映射为稠密向量，为跨源威胁情报的语义对齐与融合提供了标准化基准。学术界利用该数据集探索了基于嵌入的威胁事件聚类、异常检测及知识图谱补全等前沿课题，推动了从规则驱动到数据驱动的威胁分析范式转型，其意义在于为大规模自动化威胁狩猎奠定了可复现、可扩展的数据基础。

衍生相关工作

基于CIRCL_MISP_240K_Embedded，衍生出了一系列标志性研究工作。例如，有学者利用其嵌入特征开发了轻量级威胁事件分类器，在保留较高精度的同时实现了实时推理；另有工作以其为训练数据，提出了多视图威胁情报融合框架，通过联合利用事件标签与属性向量提升了跨组织威胁关联的鲁棒性。此外，该数据集还被用于验证对比学习在威胁表示中的有效性，催生了多个面向MISP生态的开源工具包，进一步推动了威胁情报领域从静态规则库向动态语义网络的演进。