zefang-liu/cyberbench

CyberBench是一个专门设计用于评估大型语言模型（LLMs）在网络安全领域能力的多任务基准测试集。它包含十个不同的数据集，涵盖了命名实体识别（NER）、摘要生成（SUM）、多项选择（MC）和文本分类（TC）等任务。通过这些专门设计的基准测试，CyberBench有助于系统评估LLMs在网络安全中的表现，帮助识别其优势和需要改进的地方。

CyberBench is a multi-task cybersecurity benchmark specifically designed to evaluate the capabilities of Large Language Models (LLMs) in the cybersecurity domain. It includes ten diverse datasets that span tasks such as Named Entity Recognition (NER), Summarization (SUM), Multiple Choice (MC), and Text Classification (TC). Each dataset has its specific task, data size, input, output, evaluation metric, and license information.

搜集汇总

数据集介绍

构建方式

CyberBench数据集是一个专为评估大语言模型在网络安全领域能力而构建的多任务基准。其构建方式汇聚了十个来源各异的子数据集，覆盖命名实体识别、摘要生成、多项选择及文本分类四大核心任务。这些子数据集分别源自CyNER、APTNER、CyNews、SecMMLU、CyQuiz、MITRE、CVE、Web、Email和HTTP等公开资源，每个子集均保留了原始许可协议。通过整合这些具有代表性的网络安全数据，CyberBench旨在为模型提供系统化的评测环境，从而揭示其在专业领域的表现优劣。

特点

该数据集的核心特点在于其多任务综合性与领域专精性。它横跨四种不同的自然语言处理任务，从细粒度的实体抽取到宏观的文本分类，全面检验模型对网络安全文本的理解与生成能力。数据规模介于1万至10万条之间，兼顾了评测的广度与深度。此外，每个子任务采用适配的评估指标，如NER使用Micro F1、摘要使用ROUGE分数、分类任务则依据准确率或二分类F1，确保了评测的科学性与公平性。这种设计使得CyberBench成为衡量LLM在网络安全领域实用性的重要标尺。

使用方法

使用CyberBench进行模型评测时，研究者可依据任务类别直接加载对应的子数据集。对于命名实体识别任务，输入为句子，输出为实体标签；摘要任务要求模型根据文章生成标题；多项选择则需从给定选项中选出正确答案；文本分类则涉及对程序描述、CVE漏洞、URL、邮件或HTTP请求等文本进行类别判别。每个子集均提供明确的输入输出格式及评估指标，用户可参照HuggingFace上的数据加载方式，将数据划分为训练与测试集，以标准化流程评估模型性能，并引用相关论文以规范学术使用。

背景与挑战

背景概述

随着大语言模型在自然语言处理领域的迅猛发展，其在网络安全这一专业性强、任务多样化的领域中的应用潜力日益受到关注。由Zefang Liu、Jialei Shi和John F. Buford等研究人员于2024年提出的CyberBench基准测试，旨在系统评估大语言模型在网络安全任务中的表现。该基准汇聚了十个涵盖命名实体识别、摘要生成、多项选择与文本分类等任务的数据集，为研究者提供了统一的评估框架。CyberBench的发布填补了网络安全领域缺乏专门针对大语言模型的多任务评估工具的空白，其成果发表于AAAI-24人工智能网络安全研讨会，对推动大语言模型在安全场景中的可信应用具有重要价值。

当前挑战

CyberBench所面临的挑战主要体现在两个层面。首先，在领域问题层面，网络安全任务具有高度专业性与复杂性，例如命名实体识别需精准提取攻击技术或恶意软件名称，而文本分类则需区分钓鱼邮件与正常通信，这些任务对模型的领域知识、推理能力及鲁棒性提出了严苛要求。其次，在基准构建过程中，整合来自不同来源的十个数据集面临数据格式不统一、标注标准差异以及许可协议兼容性等难题，例如MITRE数据集遵循ATT&CK框架的术语体系，而CVE数据集则涉及漏洞严重性分级，确保各任务评估的公平性与可复现性是一项重大挑战。

常用场景

经典使用场景

在网络安全领域，大语言模型的评估长期缺乏系统化、多任务导向的基准数据集。CyberBench 应运而生，它整合了命名实体识别、摘要生成、多项选择与文本分类四大类任务，涵盖十个子数据集，为全面衡量 LLM 在网络安全场景中的表现提供了标准化平台。研究者可利用该基准对模型进行零样本或少样本评估，尤其适用于检测模型在识别网络威胁实体、理解安全事件摘要、判断攻击技术类别以及识别钓鱼邮件等多维任务上的综合能力，从而推动安全智能体的性能优化与鲁棒性提升。

实际应用

在实际应用中，CyberBench 所涵盖的任务类型直接对应了网络安全运营中的关键环节。例如，NER 任务可辅助安全分析师从海量文本中自动提取攻击指标与威胁实体；摘要任务能快速提炼安全事件报告的核心信息；文本分类任务则可用于实时检测钓鱼邮件、恶意 URL 及异常 HTTP 请求。通过在该基准上训练或微调的 LLM，能够被部署于安全运维平台、威胁情报系统与自动化响应工具中，显著提升安全团队对新型攻击的感知速度与处置效率，降低人工分析负担。

衍生相关工作

CyberBench 的发布催生了一系列富有影响力的后续研究。研究者基于该基准开展了针对 LLM 在网络安全领域知识边界与鲁棒性的深入分析，探索了不同提示工程策略对多任务性能的影响。同时，该基准被用于对比通用大模型与安全专用模型在威胁检测与事件理解上的差异，推动了安全领域大模型微调技术（如 LoRA、P-Tuning）的适配与优化。此外，CyberBench 还启发了多任务联合训练框架的设计，使得模型能够在共享表示空间中同时学习实体识别与文本分类等异构任务，为构建统一的安全认知模型奠定了实验基础。