BEARD

基于事实核查网站的声明，尽可能收集早期相关帖子，构建的用于早期谣言检测的新基准数据集。

A novel benchmark dataset for early rumor detection, constructed by collecting as many early relevant posts as possible based on claims from fact-checking websites.

搜集汇总

数据集介绍

构建方式

BEARD基准的构建始于数据集蒸馏（DD）领域，该领域致力于将大规模数据集压缩为小型合成样本，以降低训练成本。然而，现有研究多聚焦于蒸馏精度，忽视了对抗鲁棒性这一关键安全问题。为此，BEARD通过整合多种蒸馏方法（如DC、DSA、DM、MTT、IDM和BACON）与主流对抗攻击策略（如FGSM、PGD、C&W等），在CIFAR-10/100和TinyImageNet数据集上构建了统一的评估框架。基准包含数据集池和模型池，前者由不同每类图像数（IPC）设置下的蒸馏数据集组成，后者则收录了在这些数据集上训练至最优的模型，从而为系统性评估提供标准化基础。

特点

BEARD的显著特点在于其引入的对抗博弈框架，该框架通过三个创新指标全面刻画鲁棒性：鲁棒性比率（RR）衡量模型抵御攻击的有效性，攻击效率比（AE）评估攻击所需的时间成本，综合鲁棒性-效率指数（CREI）则平衡两者，提供单一量化标准。此外，基准支持单对手与多对手场景的灵活切换，并涵盖目标与非目标攻击类型。其排行榜直观展示了不同蒸馏方法在统一IPC设置下的性能排序，揭示了蒸馏数据集在提升鲁棒性时与全量数据集间的微妙权衡。

使用方法

使用BEARD时，研究者首先从数据集池中选取特定IPC下的蒸馏数据集，利用模型池提供的预训练模型或自行训练网络。随后，通过攻击库（集成于Torchattacks）对测试图像施加多种对抗扰动，并依据对抗博弈框架计算RR、AE和CREI指标。用户可自定义攻击参数（如扰动预算）和IPC设置，以探索不同场景下的鲁棒性变化。基准还提供配置文件简化实验管理，并支持扩展新蒸馏方法或攻击策略，便于进行可重复的比较分析与方法改进。

背景与挑战

背景概述

数据集蒸馏（Dataset Distillation）作为一项新兴技术，旨在将大规模数据集压缩为规模显著更小的合成数据集，同时保持较高的测试性能，并支持大模型的高效训练。该技术自提出以来，在计算机视觉领域引起了广泛关注，相关研究主要聚焦于提升有限压缩比下的评估精度。然而，现有研究普遍忽视了一个关键的安全隐患——对抗鲁棒性。为系统性地填补这一空白，北京航空航天大学与利物浦大学的研究团队于2024年共同提出了BEARD基准。该基准以统一且开放的框架，系统评估了包括DM、IDM、BACON在内的多种蒸馏方法在面对FGSM、PGD、C&W等对抗攻击时的鲁棒性表现，并引入了鲁棒性比率、攻击效率比以及综合鲁棒性-效率指数等创新性评估指标，为蒸馏数据集的安全性研究奠定了重要基础。

当前挑战

BEARD所应对的核心挑战在于，蒸馏方法、模型架构与对抗攻击策略之间复杂的交互作用使得标准化评估异常困难。具体而言，现有研究主要聚焦于提升蒸馏数据集的分类精度，而对抗鲁棒性这一关键维度却缺乏系统性探索。在构建过程中，研究团队面临多重挑战：一是如何统一不同蒸馏方法（如梯度匹配、分布匹配、轨迹匹配及贝叶斯优化）的评估流程；二是如何设计兼顾攻击有效性与时间效率的综合指标，而非仅依赖单一的攻击成功率；三是如何构建包含多样IPC设置、多类攻击手段及多种模型架构的大规模评测平台，以支持可复现的对比分析。这些挑战共同构成了当前蒸馏数据集安全性评估的核心瓶颈。

常用场景

经典使用场景

BEARD作为数据集蒸馏领域首个系统性评估对抗鲁棒性的基准，其经典使用场景在于统一衡量不同蒸馏方法（如DC、DSA、DM、MTT、IDM、BACON）在多种对抗攻击（如FGSM、PGD、C&W、DeepFool、AutoAttack）下的表现。研究者可利用该基准在CIFAR-10/100和TinyImageNet等标准数据集上，通过预设的对抗博弈框架，量化蒸馏数据集训练出的模型在面对定向与非定向攻击时的鲁棒性比率、攻击效率比以及综合鲁棒-效率指数，从而实现对蒸馏方法安全性的标准化比较。

实际应用

在实际应用中，BEARD为数据安全敏感场景提供了关键评估工具。例如在人脸识别、自动驾驶和安防监控等系统中，模型常面临对抗样本威胁，而BEARD可帮助开发者在模型部署前筛选出兼具高压缩率与强鲁棒性的蒸馏方案。通过对比不同IPC设置下的鲁棒性表现，工程师能在数据存储与安全性之间做出最优权衡，从而构建更可靠的轻量化模型，降低对抗攻击带来的实际风险。

衍生相关工作

BEARD的提出催生了多项衍生工作：一方面，研究者基于其对抗博弈框架，进一步探索了蒸馏数据集中的非鲁棒特征与鲁棒特征分离机制，如通过曲率正则化提升蒸馏数据的抗扰性；另一方面，其标准化评估体系被扩展至多模态蒸馏任务（如图文、图音联合压缩），促进了跨领域鲁棒性基准的建立。此外，BEARD的排行榜机制激励了新型防御蒸馏方法的涌现，例如结合对抗训练的贝叶斯最优蒸馏策略，形成了从评估到优化的闭环研究生态。