dejian-lc/HFV

人类中心伪造视频（HFV）数据集是首个为多类人类中心视频伪造分类任务构建的公开基准数据集。它超越了传统的二元（真实与伪造）检测，提供了对伪造类型的细粒度理解，这对于现实应用中的可靠性和可解释性至关重要。数据集包含4个类别：三种不同的异常类型和一个真实视频类。视频来源包括由九种最先进的视频生成模型生成的合成视频和来自Kinetics-400数据集的真实视频。数据集具有多样性，包含约20种背景和80种人类活动类别，所有视频分辨率均保证≥224×224。The Human-centric Forgery Video (HFV) Dataset is the first public benchmark constructed for the task of multi-class human-centric video forgery classification. Moving beyond traditional binary (real vs. fake) detection, HFV aims to provide a fine-grained understanding of forgery types, which is critical for reliability and interpretability in real-world applications. The dataset contains 4 classes: three distinct anomaly types observed in generated content, and one class for real videos. The dataset is comprehensive, including synthetic videos generated by nine state-of-the-art video generation models as well as real videos sourced from the Kinetics-400 (K400) dataset. It includes approximately 20 types of backgrounds and 80 categories of human activities, with all video resolutions guaranteed to be ≥224×224.

搜集汇总

数据集介绍

构建方式

在视频伪造检测领域，现有基准多聚焦于二元真伪判别，难以满足现实应用对细粒度理解的需求。HFV数据集通过半自动流水线构建：首先利用预训练视觉模型对由九种前沿生成模型（如MiniMax、Gen-3等）产出的合成视频进行空间、外观与运动三类异常评分；随后依据最高异常分数为每个视频赋予最显著缺陷标签；最后对异常严重性排名前20%的视频实施人工复核，形成验证集，其余80%作为训练集。真实视频则源自Kinetics-400数据集，确保基准覆盖真实与伪造样本。

特点

HFV作为首个面向多类人体中心视频伪造分类的公开基准，其核心特点在于突破二元检测局限，实现细粒度异常分类。数据集涵盖空间异常（如手部穿物）、外观异常（如角色身份渐变）与运动异常（如生物力学不可能动作）三类典型缺陷，每类异常均基于深度估计、CLIP/DINOv2模型或光流等量化指标定义。此外，数据包含约20种背景与80类人类活动，分辨率均不低于224×224，保障了丰富的场景多样性与视觉质量。

使用方法

该数据集适用于多类视频伪造分类任务的模型训练与评估。使用时可将视频输入分类模型，输出为四类标签之一：空间异常、外观异常、运动异常或真实视频。训练集与验证集按80%与20%划分，便于监督学习与性能验证。建议结合预训练视觉特征提取器（如CLIP、光流网络）以提升对细粒度异常的识别能力。数据遵循CC-BY-NC-4.0许可，仅限非商业用途。

背景与挑战

背景概述

在深度伪造技术迅猛发展的时代，视频生成模型如雨后春笋般涌现，催生了逼真却可能带有潜在缺陷的合成内容。为应对这一挑战，dejian-lc等人于近期构建了Human-centric Forgery Video (HFV)数据集，旨在推动以人为中心的视频伪造检测研究从传统的二分类（真实与伪造）迈向细粒度多分类。该数据集由多个研究机构联合创建，核心研究问题聚焦于识别生成视频中三类典型异常：空间异常、外观异常与运动异常，从而提升伪造检测的可解释性与可靠性。HFV整合了九种前沿视频生成模型（如MiniMax、Kling、CogVideoX等）的合成视频与来自Kinetics-400的真实视频，涵盖约20种背景和80类人类活动，成为该领域首个公开的多类伪造视频基准，为后续研究奠定了重要基础。

当前挑战

HFV数据集所解决的领域问题在于，现有伪造检测方法多局限于真实与伪造的二元判别，无法区分伪造类型，限制了模型在实际场景中的可信度与应用广度。为此，HFV通过定义空间、外观与运动三类细粒度异常，推动模型学习更深刻的伪造表征。在构建过程中，主要挑战包括：第一，如何从多种生成模型中筛选出具有显著异常的视频，需依赖预训练模型进行异常评分并确保评分准确性；第二，多类异常标签的自动分配基于最高异常类型，可能导致次要异常被忽略，影响标签的完备性；第三，人类审核环节仅覆盖严重程度前20%的视频，其余样本缺乏人工验证，存在标签噪声风险；第四，视频来源多样性与分辨率差异（≥224×224）对统一预处理与特征提取构成技术障碍。

常用场景

经典使用场景

HFV数据集最经典的使用场景是作为细粒度多类别人体伪造视频分类任务的基准测试平台。相较于传统二分类（真/假）检测，该数据集通过定义空间异常、外观异常和运动异常三种精细伪造类型，推动模型从“是否伪造”向“何种伪造”的深层认知跃迁。研究者可基于其标准化的半自动标注流程，利用预训练视觉模型提取深度畸变、身份一致性及光流失真等多维特征，训练分类器实现对生成视频中特定伪造模式的精准辨识，从而提升伪造内容分析的鲁棒性与可解释性。

实际应用

在实际应用层面，HFV数据集为数字媒体取证、深度伪造内容审核及生成模型安全评估等场景提供了关键支撑。在社交媒体平台中，该数据集可辅助构建自动审核系统，精准识别由视频生成模型引发的异常内容，如身份渐变或肢体扭曲，显著提升虚假信息拦截效率。在司法取证领域，其细粒度分类能力有助于分析伪造视频的具体篡改手段，为证据可靠性判定提供技术依据。此外，该数据集还可用于评估新兴视频生成模型的潜在风险，帮助开发者在模型发布前识别并修复空间逻辑、动作连贯性等方面的漏洞。

衍生相关工作

基于HFV数据集，衍生了一系列推动视频伪造检测与生成模型评估的研究工作。在检测算法方面，研究者提出了融合深度估计与光流分析的多模块协同框架，利用HFV的三类异常标签设计专用特征提取网络，显著提升了细粒度伪造分类的准确率。在生成模型评测领域，该数据集被用作评估基准，催生了针对人体视频生成质量的多维度量化指标，例如基于CLIP外观一致性和光流运动自然度的评价方法。此外，HFV的构建方法论启发了跨模态伪造数据集的设计，推动了从单一视频域到多模态伪造内容（如音频-视频联合伪造）的细粒度分析体系发展。