HYouTube

HYouTube数据集由上海交通大学创建，专注于视频和谐化领域，旨在通过调整视频前景使其与背景在色彩和光照上兼容。该数据集基于YouTubeVOS 2018构建，包含3194对合成复合视频和真实视频，每对视频包含20帧。创建过程中，使用了超过400种3D颜色查找表（LUT）来调整前景外观，确保视频多样性。HYouTube数据集主要用于解决视频和谐化问题，提升合成视频的真实感。The HYouTube dataset was developed by Shanghai Jiao Tong University, focusing on the domain of video harmonization. Its core objective is to adjust the foreground of videos to achieve color and lighting compatibility with the corresponding background. Built upon YouTubeVOS 2018, the dataset encompasses 3,194 pairs of synthetic composite video and real video samples, where each sample contains 20 frames. During the dataset creation process, more than 400 types of 3D color lookup tables (LUTs) were utilized to adjust the foreground appearance, thereby guaranteeing the diversity of the video samples. The HYouTube dataset is primarily intended to solve the video harmonization problem and improve the realism of synthetic composite videos.

搜集汇总

数据集介绍

构建方式

视频合成与和谐化是计算机视觉领域的重要课题，然而现有研究多聚焦于图像和谐化，视频和谐化数据集极为匮乏。为填补这一空白，研究者基于YouTube-VOS 2018大规模视频对象分割数据集，构建了HYouTube视频和谐化数据集。首先，从原始数据中筛选出包含同一前景对象超过20帧连续画面的视频片段，并去除前景占比小于1%的样本，最终保留3194个视频样本。随后，通过收集400余种3D颜色查找表（LUT），采用迭代方法筛选出100种差异最大的LUT，以增强合成视频的多样性。对每个视频样本，随机选取一种LUT对前景进行颜色迁移，使前景与背景在视觉上不协调，从而生成合成复合视频。同时，为确保前景迁移后保持真实感且不改变反照率，对不合格样本重新选择LUT直至满足条件。此外，为弥补合成视频与真实复合视频之间的领域差异，额外通过复制粘贴方式构建了100个真实复合视频，用于评估。

特点

HYouTube数据集的核心特点在于其大规模、高多样性与兼顾真实感的精心设计。数据集包含3194对合成复合视频与对应的真实视频，每段视频由20帧连续画面及逐帧前景掩码组成，为时序一致性研究提供了坚实基础。通过使用100种互异LUT进行颜色迁移，合成视频的前景与背景之间呈现出丰富且自然的颜色与光照不协调性，有效模拟了真实场景中因拍摄条件差异导致的视觉冲突。此外，所有LUT均经过严格筛选，确保迁移后的前景在视觉上虽与背景不和谐，但自身保持真实感，避免了伪影或失真。数据集还额外提供了100个通过复制粘贴生成的真实复合视频，进一步缩小了合成数据与真实应用之间的鸿沟，为模型的域适应能力提供了宝贵测试资源。

使用方法

HYouTube数据集专为视频和谐化任务设计，可直接用于训练、验证与评估深度学习模型。使用时，模型以合成复合视频的帧序列及对应的前景掩码作为输入，目标为预测与真实视频一致的和谐化结果。由于每段视频包含20帧连续画面，研究者可利用时序信息设计网络结构，例如引入光流或时序注意力机制，以抑制帧间闪烁伪影。数据集中的真实复合视频可用于零样本或少样本场景下的测试，评估模型在真实复合数据上的泛化能力。此外，前景掩码的提供使得模型能够聚焦于前景区域进行局部调整，便于与图像和谐化方法进行对比。数据集的公开地址为https://github.com/bcmi/Video-Harmonization-Dataset-HYouTube，支持直接下载与学术研究使用。

背景与挑战

背景概述

在视频合成领域，将不同来源的前景与背景融合时，常因拍摄条件（如季节、光照、时间）的差异导致前景与背景在色彩和光照上不协调，严重影响合成视频的真实感。视频协调（Video Harmonization）旨在调整前景外观以匹配背景，然而该任务长期未获充分关注，且缺乏公开的专用数据集。2021年，上海交通大学的陆新源、黄盛远、牛力、丛文艳、张丽清等研究人员构建了首个视频协调数据集HYouTube。该数据集基于YouTube-VOS 2018中的真实视频，通过查找表（LUT）调整前景色彩以生成合成复合视频，共包含3194对20帧的合成视频与原始视频样本，并额外提供100个真实复合视频用于评估。HYouTube的发布填补了视频协调领域数据集的空白，为深度学习方法研究时序一致性提供了关键支撑，推动了该方向的发展。

当前挑战

HYouTube数据集面临的核心挑战在于解决视频协调任务中合成数据与真实场景之间的域差异。首先，视频协调需同时兼顾帧内色彩和谐与帧间时序一致性，直接套用图像协调方法逐帧处理会引发闪烁伪影，而现有深度视频协调方法仅关注相邻帧一致性，对复杂运动场景的鲁棒性不足。其次，数据集构建过程中，采用LUT进行色彩迁移虽能高效生成合成复合视频，但部分LUT可能导致前景出现不真实伪影或与背景差异过大，需通过人工规则（如前景真实性、色彩不变性）反复筛选，过程繁琐且主观性强。此外，合成复合视频与真实复合视频（通过复制粘贴获得）之间存在不可忽视的域差距，100个真实样本数量有限，难以全面模拟实际应用中的多样光照与运动条件，给模型泛化带来严峻考验。

常用场景

经典使用场景

在视频编辑与视觉内容创作领域，合成视频中前景与背景因采集条件差异而导致的色彩与光照不协调，是影响视觉真实感的核心难题。HYouTube数据集应运而生，其最经典的使用场景是作为视频和谐化（Video Harmonization）任务的标准化训练与评估基准。该数据集基于YouTube-VOS 2018构建，通过将真实视频的前景应用颜色查找表（LUT）进行变换，生成合成复合视频及其对应的真实视频对，共计3194组样本，每组包含20帧连续图像及精确的前景掩膜，为时序一致性建模提供了高质量的数据支撑。

解决学术问题

HYouTube数据集填补了视频和谐化领域缺乏公开大规模数据集的空白，从根本上解决了两个关键学术问题：其一，它提供了时序对齐的复合-真实视频对，使得研究者能够训练深度学习网络同时优化帧内和谐化效果与帧间时间一致性，从而消除逐帧独立处理引发的闪烁伪影；其二，通过引入100种互异LUT模拟多样化色彩偏移，该数据集克服了传统方法依赖手工特征或参考图像的限制，推动了基于数据驱动的端到端视频和谐化方法的发展，显著提升了合成视频在复杂动态场景下的真实感。

衍生相关工作

HYouTube数据集的发布催生了一系列经典后续工作。在方法层面，研究者基于该数据集提出了首个端到端视频和谐化网络，通过引入时序注意力机制或光流引导模块来增强帧间一致性；在数据层面，受其启发，后续工作拓展了跨域和谐化数据集，如结合真实复合视频（HYouTube额外提供的100组真实样本）进行域适应研究，缩小合成数据与真实数据之间的分布差异。此外，该数据集还被用于评估图像和谐化方法在视频上的泛化能力，推动了从图像到视频的算法迁移研究，成为视频和谐化领域不可或缺的基准平台。