thu-coai/Syncred-Bench

SynCred-Bench是一个基准测试，旨在评估合成可信度：即AI生成的图像通过模仿权威视觉形式（如虚假通知、证书、新闻布局）和真实传播痕迹来显得可信。该基准包含600个AI生成的虚假信息图像，涵盖六个可信形式类别和七种传播风格。它还引入了FP450，一个真实图像的负样本集，用于测量检测系统中的误报。SynCred-Bench is a benchmark designed to evaluate synthetic credibility: AI-generated images that appear trustworthy by imitating authoritative visual forms (e.g., fake notices, credentials, news layouts) and realistic circulation traces. The benchmark contains 600 AI-generated misinformation images across six credible-form categories and seven circulation styles. It also introduces FP450, a real-image negative set for measuring false positives in detection systems.

搜集汇总

数据集介绍

构建方式

Syncred-Bench的构建源于对AI生成视觉虚假信息中“合成可信度”现象的深入剖析。研究者首先定义了六类可信形式（如伪造通知、虚假证件、新闻布局等）和七种流通痕迹风格，以此模拟虚假图像在真实传播链条中的伪装手段。随后，利用最新AI图像生成技术，系统性地制作了600幅具备合成可信度的虚假图像，构成核心评测集syncred_600。为更全面评估检测系统的鲁棒性，团队还从真实网络环境中搜集了450幅易于触发误判的图像，构建了负例集fp_450。所有图像均经过标准化处理，并嵌入元数据与图像字节至Parquet文件中，确保数据集自包含且易于使用。

特点

该数据集最显著的特征在于其聚焦于“合成可信度”这一新兴而危险的虚假信息维度，而非传统的视觉伪造痕迹。syncred_600覆盖了六种权威视觉形式与七种传播风格，使虚假图像在视觉上具备高仿真度与可信度，对现有检测系统构成严峻挑战。fp_450负例集则专门针对误判问题进行设计，帮助研究者识别系统在面临真实但易混淆图像时的脆弱性。此外，数据集中的每个样本均附带详细类别标签，且导出的数据文件采用自包含的Parquet格式，集成图像二进制数据，消除了路径依赖问题，大幅提升了数据加载与复用的便捷性。

使用方法

研究者可通过HuggingFace Datasets库轻松加载该基准测试。使用`load_dataset("thu-coai/Syncred-Bench", "syncred_600", split="train")`即可获取核心的600张AI生成虚假图像及其标注；而负例集则通过指定`"fp_450"`配置加载。数据以Parquet文件形式发布，图像数据嵌入在`image`列中，无需额外文件路径处理。用户可直接将数据用于模型训练、检测能力评估或误判分析实验。建议将两组数据配合使用，以全面衡量模型在识别合成可信虚假图像与避免对真实图像误判两方面的综合性能。详细标注规范与使用示例可参考配套论文与GitHub仓库。

背景与挑战

背景概述

随着生成式人工智能技术的迅猛发展，AI生成的图像在视觉上愈发逼真，甚至能够模仿官方通知、证书、新闻版面等具有权威性的视觉形式，从而制造出看似可信的虚假信息。这类具备“合成可信度”的AI生成内容在社交媒体等渠道的传播，对社会信任体系构成了严峻挑战。在此背景下，由清华大学计算机系研究团队（Yang Junxiao、张明浩等）于2026年提出的Syncred-Bench基准数据集应运而生。该数据集聚焦于评估检测系统对AI生成视觉虚假信息的识别能力，尤其是那些通过模仿权威形式与真实流通痕迹来伪造可信度的内容。Syncred-Bench包含600幅AI生成的虚假信息图像，涵盖六种可信形式类别与七种流通风格，并辅以450幅真实图像的负例集FP450，用于衡量检测系统的误报率。该基准的推出为虚假信息检测领域提供了标准化评估工具，对提升社会对视觉虚假信息的防御能力具有重要影响。

当前挑战

Syncred-Bench所应对的核心领域挑战在于：现有的图像检测方法多集中于鉴别图像本身的真实性，而忽略了AI生成内容通过模仿权威视觉形式（如伪造公告、证件）和模拟真实流通痕迹（如截图、水印）来增强可信度的新趋势。这导致传统检测系统在面对此类“合成可信”虚假信息时鲁棒性不足，且易产生高误报率。在数据集构建过程中，研究团队面临的挑战包括：如何系统性地定义和分类“合成可信”的视觉特征，确保覆盖多样的权威形式与流通痕迹；如何生成具有高逼真度且能反映真实传播场景的AI虚假图像，避免人工痕迹干扰评估；以及如何设计与虚假图像在内容分布上相近的真实图像负例集，以有效测量检测系统的误判倾向。这些挑战的解决直接决定了Syncred-Bench能否成为评估视觉虚假信息检测能力可信赖的基准。

常用场景

经典使用场景

SynCred-Bench作为评估AI生成图像中合成可信度的专用基准，其经典使用场景聚焦于检测那些通过模仿权威视觉形式（如伪造通知、证书、新闻版式）及逼真传播痕迹来制造虚假信任感的AI生成误导图像。该数据集包含600幅跨越六种可信形式类别与七种传播风格的AI生成误导图像，为研究人员提供了涵盖多样化欺骗策略的标准化测试平台。通过FP450这一真实图像负例集，研究者能够准确测量检测系统的误报率，从而确保评估的全面性与可靠性。

解决学术问题

该数据集的发布旨在解决AI生成视觉误导信息检测领域的一个关键学术难题：如何在模仿权威形式的合成可信图像中有效区分真实与虚假内容。传统的图像真假检测方法往往侧重于生成质量的评估，而忽视了图像在视觉形式与传播模式上刻意营造的可信性伪装。SynCred-Bench通过系统性地构建具有合成可信度的误导图像集，填补了这一评估空白，推动了检测算法从简单的生成痕迹识别向更深层的可信度验证策略转变，对遏制AI驱动的视觉虚假信息扩散具有重要的学术意义。

衍生相关工作

SynCred-Bench的推出已催生了一系列相关研究工作，包括面向合成可信度检测的特征提取方法、基于多模态融合的虚假信息识别框架，以及针对不同传播风格的对抗性检测策略。研究者基于该基准中的六种可信形式类别和七种传播风格，开发了专门针对伪造证书、虚假新闻版面等特定场景的检测模块。同时，FP450负例集的引入推动了低误报率检测器的设计创新，衍生出对误判惩罚敏感的损失函数优化方案。这些工作共同构建了针对AI生成视觉误导信息的完整防御技术谱系。