Practical Video Denoising Dataset (PVDD)

PVDD是一个专为视频去噪研究设计的数据集，包含200对噪声和清洁的动态视频，支持sRGB和RAW格式。与现有数据集相比，PVDD涵盖了更多样化和自然的运动场景。数据集通过在RAW域中使用物理意义明确的传感器噪声模型合成真实噪声，并通过ISP处理生成sRGB视频对。PVDD不仅用于评估视频去噪网络，还推动了视频去噪领域的研究进展，特别是在处理复杂自然运动和真实噪声方面。PVDD is a dataset specifically tailored for video denoising research. It comprises 200 pairs of noisy and clean dynamic videos supporting both sRGB and RAW formats. Compared with existing datasets, PVDD covers a more diverse and natural set of motion scenarios. Realistic noise is synthesized using a physically meaningful sensor noise model in the RAW domain, and sRGB video pairs are generated via ISP processing. PVDD not only serves as a benchmark for evaluating video denoising networks, but also advances research progress in the field of video denoising, especially in handling complex natural motions and realistic noise.

搜集汇总

数据集介绍

构建方式

在视频去噪研究领域，构建高质量数据集是推动算法发展的关键。PVDD数据集的构建采用了系统化的采集与合成流程，首先使用尼康Z7II相机手持拍摄包含复杂自然运动的原始RAW格式洁净视频，确保场景动态丰富多样。随后，基于相机预校准的传感器噪声模型，在RAW域采用高斯-泊松分布合成符合物理意义的真实噪声，并通过精心设计的图像信号处理（ISP）管线将噪声合成视频转换为sRGB格式。该ISP管线整合了色彩温度计算模块与ACES色调映射器，确保合成噪声在sRGB域与真实相机输出高度一致，最终形成200对包含RAW与sRGB双格式的噪声-洁净视频对。

特点

PVDD数据集在视频去噪领域展现出多维度优势。其核心特征在于同时涵盖丰富的自然运动模式与真实的噪声分布，通过手持拍摄捕捉动态场景，突破了传统数据集在运动信息上的局限性。数据集提供RAW与sRGB双格式数据，支持从传感器层面到视觉层面的全方位研究。噪声合成基于物理传感器模型，在RAW域实施，再经校准ISP转换，确保了噪声模式的真实性。此外，数据集覆盖图书馆、街道、公园等多种室内外场景，具备高度的场景多样性与泛化能力，为训练鲁棒的视频去噪模型提供了坚实基础。

使用方法

PVDD数据集为视频去噪算法的训练与评估提供了标准化平台。研究者可将数据集按比例划分为训练集与测试集，利用其提供的噪声-洁净视频对，以监督学习方式训练各类深度学习模型。数据集支持盲去噪与非盲去噪两种设定，用户可根据需求选择是否提供噪声水平先验。在RAW域研究中，可将单通道Bayer图像打包为四通道格式进行处理；在sRGB域则可直接使用经ISP处理后的视频帧。此外，数据集附带的静态场景评估集（Static15）与动态场景评估集（Dynamic20）可用于量化评估模型性能，而真实世界噪声视频集（General15）则能测试模型在实际复杂退化条件下的泛化能力。

背景与挑战

背景概述

视频去噪作为计算机视觉与图像处理领域的关键任务，旨在消除传感器噪声对视频质量的影响。然而，深度学习方法的性能高度依赖于训练数据的特性。现有数据集在运动多样性与噪声真实性方面存在局限：CRVD数据集缺乏自然运动，DAVIS数据集则使用简化的合成噪声。为应对这一挑战，香港中文大学与SmartMore的研究团队于2022年提出了实用视频去噪数据集（PVDD）。该数据集包含200对动态视频序列，覆盖sRGB与RAW双格式，通过物理传感器噪声模型与校准的图像信号处理（ISP）流程合成真实噪声，并涵盖丰富的自然运动场景。PVDD的建立为视频去噪研究提供了更贴近实际应用的基准，显著提升了模型在真实场景下的泛化能力。

当前挑战

PVDD致力于解决视频去噪领域的两大核心挑战：一是现有数据集难以模拟真实世界视频中复杂的噪声分布与动态运动模式，导致训练模型在实际应用中性能下降；二是数据构建过程中需克服高质量成对数据获取的困难。具体而言，在领域问题层面，PVDD需应对真实噪声建模的复杂性——传感器噪声在RAW域遵循泊松-高斯混合分布，且经ISP处理后于sRGB域呈现非均匀、信号相关的特性，这要求噪声合成流程必须基于物理校准的相机参数。在构建过程中，研究团队面临采集高动态范围自然运动视频的挑战，需通过手持拍摄引入相机运动，同时避免运动模糊与抖动；此外，设计并校准完整的ISP管线以准确模拟从RAW到sRGB的转换过程，确保合成噪声与真实噪声分布的高度一致，亦是数据集构建的关键难点。

常用场景

经典使用场景

在视频去噪研究领域，PVDD数据集最经典的使用场景是作为训练和评估深度视频去噪模型的基准。该数据集通过提供包含复杂自然运动和真实噪声的200对sRGB与RAW格式视频，为模型训练提供了丰富的时空特征。研究者通常利用PVDD训练如循环视频去噪变换器（RVDT）等先进架构，并在其动态场景测试集上验证模型的泛化能力，从而推动视频去噪算法在真实世界条件下的性能提升。

解决学术问题

PVDD数据集有效解决了视频去噪领域长期存在的两大核心学术问题。其一，它弥补了现有数据集在动态场景多样性上的不足，通过涵盖丰富自然运动的视频，克服了以往数据因静态或简单运动导致的时空特征匮乏问题。其二，该数据集引入了基于RAW域的物理传感器噪声模型，结合校准的图像信号处理流程，生成了高度逼真的合成噪声，从而解决了传统sRGB域高斯或泊松噪声合成与真实相机噪声分布不符的局限性，为模型在真实噪声条件下的泛化提供了可靠基础。

衍生相关工作

PVDD数据集的发布催生了一系列相关的经典研究工作，尤其在视频去噪网络架构设计与跨域评估方面产生了深远影响。其伴随提出的循环视频去噪变换器（RVDT）框架，融合了空间与双向时序变换器模块，成为利用注意力机制实现长程时空传播的代表性工作。此外，许多后续研究以PVDD为基准，开展了针对真实噪声建模、RAW域处理优化以及轻量化去噪网络的探索。该数据集也促进了跨数据集评估范式的标准化，使得CRVD、DAVIS等现有数据集能够在统一框架下进行公平比较，推动了整个视频去噪研究社区的协同发展。