QCRI/AZERG-Dataset

AZERG数据集是一个全面的注释型网络安全威胁情报（CTI）报告集合，旨在用于训练和评估STIX实体和关系提取的模型。该数据集由141份真实世界的威胁分析报告构建而成，包含4011个STIX实体和2075个STIX关系。它是为了解决自动化STIX报告生成训练数据的缺乏而策划的，并支持威胁情报提取的多任务方法。数据集的抽取过程分为四个顺序子任务：实体检测、实体类型识别、相关对检测和关系类型识别。The AZERG-Dataset is a comprehensive collection of annotated cyber threat intelligence (CTI) reports designed for training and evaluating models on STIX entity and relationship extraction. It is constructed from 141 real-world threat analysis reports and contains 4,011 STIX entities and 2,075 STIX relationships. The dataset was curated to address the lack of training data for automated STIX report generation and supports a multi-task approach to threat intelligence extraction. The extraction process is divided into four sequential subtasks: Entity Detection, Entity Type Identification, Related Pair Detection, and Relationship Type Identification.

搜集汇总

数据集介绍

构建方式

在网络安全威胁情报领域，结构化威胁信息表达（STIX）标准为威胁信息的共享与自动化分析提供了重要框架。QCRI/AZERG-Dataset 的构建源于对自动化STIX实体与关系抽取模型的迫切需求，其数据源自141份真实世界的威胁分析报告，经专业标注后形成包含4,011个STIX实体和2,075个STIX关系的大规模标注数据集。构建过程遵循多任务分解策略，将抽取任务划分为实体检测、实体类型识别、相关对检测及关系类型识别四个递进子任务，每个子任务均有对应的标注文件，并提供了混合任务数据以支持联合学习。训练集与测试集基于完全独立的报告来源和厂商进行划分，确保了模型泛化能力评估的严谨性。

特点

该数据集是当前公开可用的最大规模STIX实体与关系标注资源，其核心特点在于严格遵循STIX标准对实体（SDOs和SCOs）与关系类型进行精细标注，为威胁情报自动化处理提供了高质量的训练基准。数据集采用四阶段分解式任务设计，不仅支持针对单一子任务的模型训练，还通过混合任务文件促进多任务学习范式的探索。此外，训练与测试数据的来源隔离策略有效避免了数据泄露风险，使得评估结果更能反映模型在真实场景下的迁移能力。这一特性使其在威胁情报实体关系抽取研究中具有显著的基准价值。

使用方法

研究人员可直接从HuggingFace数据集页面加载QCRI/AZERG-Dataset，其结构清晰地将数据划分为训练与测试两个主目录，每个目录下包含按任务划分的JSON文件。对于单一子任务训练，可选用对应的T1至T4文件；若需开展多任务学习，则推荐使用MixTask文件以同时学习所有子任务。测试阶段，数据集提供了来自不同来源的测试集（如annoctr与azerg），便于评估模型在不同数据分布上的表现。建议使用者结合论文中的任务定义与数据格式说明，将数据适配至序列标注或关系抽取框架中，以构建端到端的威胁情报自动化抽取系统。

背景与挑战

背景概述

在网络威胁情报领域，将非结构化的文本报告转化为结构化、可操作的情报是提升安全防御效能的关键。然而，现有的自动化工具缺乏大规模、高质量的训练数据，难以精确提取符合STIX标准的实体与关系。为此，由Ahmed Lekssays、Husrev Taha Sencar和Ting Yu等研究人员于2025年创建的AZERG-Dataset应运而生，该数据集源自141份真实威胁分析报告，包含4,011个STIX实体和2,075个STIX关系，是目前公开的最大规模同类数据集。其核心研究问题在于通过多任务学习框架（实体检测、类型识别、关系对检测与关系类型识别）实现从文本到可执行情报的自动化转换，为威胁情报系统的智能化演进提供了关键数据支撑，对推动网络安全自动化分析领域的发展具有里程碑意义。

当前挑战

AZERG-Dataset所面临的挑战首先体现在领域问题的复杂性上：从非结构化文本中准确抽取STIX实体及其语义关系，需要模型同时应对实体边界模糊、类型多样（如SDO与SCO）以及关系层次嵌套等难题，这对信息抽取的精确性与鲁棒性提出了极高要求。在数据集构建过程中，挑战同样显著：141份报告来自不同厂商且无重叠，确保了泛化性评估的严谨性，但这也意味着标注工作需覆盖多种写作风格与威胁场景，人工标注成本高昂且需严格遵循STIX标准的一致性；此外，四阶段子任务（T1至T4）的序列化设计虽精妙，却要求模型具备多任务协同能力，任何阶段的误差都可能级联放大，增加了评估与调优的难度。

常用场景

经典使用场景

在网络安全威胁情报领域，结构化威胁信息表达（STIX）标准为攻击行为描述提供了统一框架，但将非结构化文本自动转化为STIX格式始终是学界与工业界的瓶颈。QCRI/AZERG-Dataset作为目前规模最大的公开STIX标注数据集，其经典使用场景聚焦于多任务联合抽取范式：研究者可基于该数据集训练模型，依次完成实体检测、实体类型识别、关系对判定及关系类型分类四个子任务。这种递进式架构使模型能够从原始威胁报告中精准提取攻击者、恶意软件、漏洞等STIX领域对象（SDO）与网络可观测对象（SCO），并厘清它们之间诸如“利用”“目标”等语义关联，从而将碎片化文本重塑为机器可读的威胁知识图谱。

衍生相关工作

该数据集直接催生了多项具有影响力的后续研究。其原始论文《From Text to Actionable Intelligence: Automating STIX Entity and Relationship Extraction》发表于RAID 2025，提出的四阶段抽取框架已成为该领域的基准范式。后续工作包括：基于预训练语言模型（如BERT、RoBERTa）的微调策略优化，旨在提升在低资源场景下的实体识别准确率；融合图神经网络的关系抽取模型，通过显式建模实体间的拓扑结构增强长距离依赖捕捉能力；以及跨数据集泛化研究，探索将AZERG-Dataset训练的模型迁移至其他威胁情报标注体系（如VERIS、CAPEC）的可行性。这些衍生研究共同推动了自动化威胁情报从实验室走向工程化应用。

数据集最近研究

最新研究方向

当前，网络威胁情报领域正加速向自动化、结构化方向演进，以应对日益复杂且高频的APT攻击与勒索软件事件。QCRI/AZERG-Dataset作为目前规模最大的公开STIX实体与关系抽取数据集，其研究前沿聚焦于将非结构化威胁报告转化为符合MITRE ATT&CK框架与STIX标准的可操作情报。该数据集通过划分实体检测、类型识别、关系对判定及关系分类四项子任务，推动了多任务学习在威胁情报解析中的深度应用，尤其契合2024-2025年间全球对自动化情报生成与实时告警响应的迫切需求。其发布为构建可泛化的威胁抽取模型提供了关键基准，显著促进了安全运营中心（SOC）中智能体从海量文本到结构化知识图谱的转化效率，对提升网络防御体系的主动性与精准度具有里程碑意义。