VIDEOSHAM

VIDEOSHAM是由马里兰大学和Adobe研究机构合作创建的，包含413个真实视频和413个经过6种不同空间和时间攻击操纵的视频，总计826个视频。该数据集旨在解决视频内容操纵问题，特别是超越面部操纵的场景级操纵，如背景、文本和音频的改变。数据集的创建涉及专业视频编辑人员使用Adobe AfterEffectsTM进行编辑，确保视频的高分辨率和多样性。VIDEOSHAM的应用领域包括检测和防止在线媒体中的虚假信息传播，提高公众对视频内容真实性的辨识能力。VIDEOSHAM was developed in collaboration between the University of Maryland and Adobe Research. It consists of 413 unaltered authentic videos and 413 videos manipulated via six distinct spatial and temporal adversarial attacks, totaling 826 videos in all. This dataset aims to address video content manipulation issues, particularly scene-level manipulation beyond facial manipulation, such as alterations to backgrounds, text and audio. The dataset was created by professional video editors using Adobe AfterEffects™, ensuring high resolution and diversity across all video samples. Application areas of VIDEOSHAM include detecting and preventing the spread of disinformation in online media, as well as enhancing the public's ability to distinguish the authenticity of video content.

原始信息汇总

VideoSham 数据集

数据集描述

VideoSham 是一个视频篡改数据集，包含由专业视频编辑通过6种空间和时间攻击篡改的多样化、情境丰富和人本化的视频。该数据集包括352个真实世界视频及其对应的篡改版本（共704个视频）。所有原始视频均提供CC-BY使用许可。

篡改策略

1. 添加实体/主题：从其他来源选择一个实体或主题并放置在当前视频中。
2. 移除实体/主题：选择视频中的一个实体或主题并从所有帧中移除，用背景填充间隙。
3. 背景/颜色变化：改变视频的背景或视频中某个小实体的颜色。
4. 文本替换/添加：在视频中添加文本或移除/替换已存在的文本。
5. 帧复制/移除/丢弃：随机复制、移除或丢弃视频中的帧，或调整视频速度。
6. 音频替换：用其他音频替换视频中的现有音频。

篡改视频数量

篡改类型	视频数量
添加实体/添加主题	69
音频替换/音频添加	46
背景/颜色变化	54
帧复制/反转帧/帧丢弃/加速/减速	59
移除实体/移除主题	79
文本替换/文本添加	45
总计	352

数据集结构

数据集组织如下：

1. 视频来源及篡改任务
2. 修剪后的视频
   • 第一部分（视频1-179）：Unedited-Part1.zip
   • 第二部分（视频180-352）：Unedited-Part2.zip
3. 篡改后的视频
   • 第一部分（视频1-179）：Processed-Part1.zip
   • 第二部分（视频180-352）：Processed-Part2.zip

数据集示例

部分示例视频可在此处找到。

引用

如在工作中使用VideoSham数据集，请引用以下论文： @article{mittal2022video, title={Video Manipulations Beyond Faces: A Dataset with Human-Machine Analysis}, author={Mittal, Trisha and Sinha, Ritwik and Swaminathan, Viswanathan and Collomosse, John and Manocha, Dinesh}, journal={arXiv preprint arXiv:2207.13064}, year={2022} }

搜集汇总

数据集介绍

构建方式

VIDEOSHAM数据集的构建方式涵盖了从在线视频网站获取原始视频，通过专业视频编辑软件进行多种空间和时间攻击，以及人工标注和用户研究等多个环节。首先，数据集从Vimeo等在线视频网站获取了413个原始视频，并确保这些视频拥有CC-BY许可协议。随后，通过专业视频编辑软件Adobe AfterEffectsTM和深度学习技术，对这些原始视频进行了6种不同的空间和时间攻击，包括添加实体、移除实体、背景/颜色更改、文本替换/添加、帧复制/移除/丢弃和音频替换。这些攻击旨在模拟现实世界中可能出现的视频篡改情况。最后，通过亚马逊Mechanical Turk平台进行用户研究，以评估人类对视频真实性的识别能力。

使用方法

使用VIDEOSHAM数据集的方法主要包括以下步骤：首先，下载并解压数据集，确保拥有足够的存储空间。然后，根据研究目的，选择合适的视频类型（真实或篡改）和攻击类型进行分析。可以通过编写代码或使用现成的深度伪造检测工具对数据集中的视频进行分析，以评估检测算法的性能。此外，还可以利用数据集中的视频进行用户研究，以评估人类对视频真实性的识别能力。在进行实验时，需要确保遵循数据集的使用协议，尊重视频版权和用户隐私。

背景与挑战

背景概述

VIDEOSHAM数据集的创建背景源于当前视频编辑工具的普及和人工智能合成媒体算法的发展，导致网络媒体中操纵内容的现象日益增加。这一现象导致了虚假信息的传播，因此需要能够区分“真实”和“操纵”内容。VIDEOSHAM数据集由826个视频组成（413个真实视频和413个操纵视频），旨在为检测操纵内容提供数据支持。VIDEOSHAM数据集的创建时间为2021年11月，由Adobe Research的Ritwik Sinha、Viswanathan Swaminathan、John Collomosse和Dinesh Manocha等人共同完成。该数据集的核心研究问题是视频内容的操纵检测，通过对视频进行多种空间和时间攻击，以评估现有检测算法的有效性。VIDEOSHAM数据集对相关领域的影响力在于，它扩展了视频操纵检测的研究范围，不再局限于面部操纵，而是包括了背景、文本、音频、美学编辑、实体添加/移除和时序编辑等多种操纵类型。此外，VIDEOSHAM数据集还通过用户研究评估了人类和现有算法在视频操纵检测方面的性能，为相关领域的研究提供了重要参考。

当前挑战

VIDEOSHAM数据集相关的挑战主要包括：1) 所解决的领域问题：VIDEOSHAM数据集旨在解决视频内容的操纵检测问题，这是一个复杂的问题，因为操纵内容可以采用多种不同的方法，如面部替换、时序编辑、音频替换等。2) 构建过程中所遇到的挑战：VIDEOSHAM数据集的构建过程需要大量的人工操作，包括视频剪辑、攻击实施、结果评估等，这些操作都需要耗费大量的时间和精力。此外，VIDEOSHAM数据集的构建还需要考虑到版权问题、隐私保护等问题，这也是一个挑战。

常用场景

经典使用场景

VIDEOSHAM 数据集在视频内容编辑与人工智能技术合成媒体日益成熟的背景下，提供了一个包含 826 个视频（413 个真实和 413 个被操纵的）的数据集。该数据集的独特之处在于，它不仅包含了面部操纵，还包含了场景层面的视频操纵，如背景、文本、音频、美学编辑、实体添加/移除以及时间编辑等。这使得 VIDEOSHAM 成为研究视频内容操纵检测的理想数据集。

解决学术问题

VIDEOSHAM 数据集解决了视频内容操纵检测中的关键问题。现有的深度伪造数据集主要关注面部操纵，而 VIDEOSHAM 包含了更广泛、更丰富的场景内容，为研究更复杂的视频操纵提供了可能。通过用户研究和评估现有检测算法，VIDEOSHAM 数据集揭示了当前技术存在的局限性，并提出了新的研究方向，有助于推动视频内容操纵检测技术的发展。

实际应用

VIDEOSHAM 数据集在实际应用中具有广泛的前景。它可以用于开发更有效的视频内容操纵检测算法，帮助社交媒体平台、新闻机构等识别和过滤虚假信息，维护网络空间的信息安全。此外，该数据集还可以用于培训视频编辑人员，提高他们对视频操纵技术的认识，从而更好地保护视频内容的真实性。

数据集最近研究

最新研究方向

VIDEOSHAM数据集的发布，标志着视频篡改检测研究进入了一个新的阶段。该数据集不仅包含了面部篡改，还包括了更广泛的空间和时间攻击，如背景、文本、音频、美学编辑、实体添加/删除和视频帧编辑等。这使得VIDEOSHAM成为一个更全面、更具挑战性的视频篡改检测数据集。VIDEOSHAM的发布引发了研究人员对现有深度伪造检测算法和视频取证技术有效性的重新评估。实验结果表明，现有算法在VIDEOSHAM上的检测准确率低于50%，这表明了视频篡改检测领域的巨大挑战。VIDEOSHAM的发布还促进了跨学科研究方法的探索，如基于人际动态和多模态分析的视频篡改检测方法。这些方法超越了传统的基于视觉伪影的检测方法，为视频篡改检测提供了新的思路。VIDEOSHAM数据集的发布，对于推动视频篡改检测技术的发展，以及对抗网络上的虚假信息和网络犯罪具有重要意义。

相关研究论文

• Video Manipulations Beyond Faces: A Dataset with Human-Machine Analysis

  马里兰大学 · 2022年