UDC-VIT

UDC-VIT是由首尔国立大学和三星显示有限公司联合创建的一个真实世界视频数据集，专门用于研究屏下摄像头（UDC）的视频恢复问题。该数据集包含了通过精心设计的视频捕捉系统获取的成对视频帧，这些帧分别展示了未退化和UDC退化的同一场景。数据集的内容包括高精度的空间和时间对齐视频，旨在解决UDC视频中的低透射率、模糊、噪声和光晕等复杂退化问题。数据集的创建过程涉及使用非偏振立方体分束器和双摄像头模块，通过离散傅里叶变换（DFT）进行帧对齐。UDC-VIT的应用领域主要集中在屏下摄像头视频恢复和人脸识别等实际应用场景中，旨在提高视频质量和识别准确性。UDC-VIT is a real-world video dataset jointly created by Seoul National University and Samsung Display Co., Ltd., specifically designed for investigating the video recovery issues associated with under-display cameras (UDC). The dataset includes paired video frames acquired through a meticulously designed video capture system, which respectively depict the undegraded and UDC-attenuated versions of the same scene. The content of the dataset encompasses high-precision spatial and temporal aligned videos aimed at addressing complex degradation issues such as low transmission, blurring, noise, and halos in UDC videos. The creation process of the dataset involved the use of non-polarized cube beam splitters and dual camera modules, aligning the frames through discrete Fourier transform (DFT). The application domains of UDC-VIT primarily focus on UDC video recovery and facial recognition in practical scenarios, aiming to enhance video quality and recognition accuracy.

原始信息汇总

UDC-VIT 数据集概述

数据集简介

UDC-VIT 是一个针对**屏下摄像头（Under-Display Camera, UDC）**的真实世界视频数据集。该数据集捕捉了各种主体（如人和物体）在室内和室外环境中的运动，并记录了真实的UDC退化现象。

数据集特点

• 真实退化：UDC-VIT 数据集专门捕捉了真实世界的退化现象，包括噪声、模糊、透光率降低和光斑等。
• 独特的退化特征：数据集的每一帧都经过精心设计，展示了UDC特有的光斑特征，包括空间变化的光斑、光源变化的光斑和时间变化的光斑。
• 人脸识别任务：与其他数据集不同，UDC-VIT 专门针对人脸识别任务，包含了22名经过精心挑选的受试者，执行各种动作（如挥手、竖起大拇指、身体摇摆和行走），并从不同角度进行录制。

数据集内容

• 视频对：UDC-VIT 数据集包含精心对齐的视频对，旨在解决UDC设置中获取配对视频数据集的挑战。
• 多样化的动作：受试者执行多种动作，确保数据集在面部识别任务中的鲁棒性和适用性。

数据集下载

• 下载方式：用户可以通过研究组的网站下载UDC-VIT数据集，该网站将很快公开。
• 下载前注意事项：在下载数据集之前，请仔细阅读用户指南和许可证。

代码与基准模型

• 代码下载：用户可以从官方的GitHub仓库下载代码，包括基准模型。GitHub仓库将很快公开。

数据集标注与分布

• 标注与分布：数据集的标注和分布如下所示。括号中的标签表示其编码。请注意，一个视频对可以有多个标注标签。
• 统计信息：数据集的统计信息可以通过以下图片查看：

搜集汇总

数据集介绍

构建方式

UDC-VIT数据集通过一个定制的视频捕获系统构建，该系统使用非偏振立方体分束器将光线分成两个方向，同时由两个Arducam Hawk-Eye (IMX686)相机模块捕获未降级和UDC降级的视频。使用Raspberry Pi 5同步两个高分辨率相机，并通过离散傅里叶变换(DFT)逐帧对齐捕获的视频对，以确保精确的空间和时间对齐。

特点

UDC-VIT数据集的主要特点是它包含了真实世界的UDC降级，如低透射率、模糊、噪声和光晕，这使其成为研究UDC视频恢复的理想数据集。此外，UDC-VIT数据集专注于人脸识别，其视频包含人类运动，如挥手、竖起大拇指、身体摇摆和行走，这对于开发和应用UDC视频恢复模型特别有用。

使用方法

要使用UDC-VIT数据集，研究人员首先需要从项目网站下载数据集。数据集以PNG格式提供，并附有一个将PNG转换为NPY格式的转换脚本。研究人员可以使用LoFTR作为关键点匹配器来评估对齐质量，并使用PCK（正确关键点百分比）来衡量对齐的准确性。对于视频恢复性能评估，研究人员可以使用DISCNet、UDC-UNet、FastDVDNet、EDVR、ESTRNN和DDRNet等深度学习模型。对于人脸识别准确性评估，可以使用DeepFace库中的七个FR模型。

背景与挑战

背景概述

UDC-VIT数据集的创建旨在解决显示屏下摄像头（Under Display Camera，UDC）图像和视频的退化问题。UDC技术将摄像头置于显示屏下方，以实现无边框的全屏显示，但这也导致了图像和视频质量的显著下降，包括透光率降低、模糊、噪声和光晕等问题。为了解决这些问题，UDC-VIT数据集被开发出来，它提供了一个真实世界的视频数据集，用于研究UDC视频的退化与恢复。该数据集由韩国首尔国立大学数据科学系和计算机科学与工程学院的研究人员以及三星显示公司的合作团队创建，于2025年1月发布。UDC-VIT数据集的主要研究问题包括如何有效地恢复UDC视频中的退化图像和视频，以及如何提高人脸识别等应用的准确率。该数据集的创建对UDC视频恢复领域的研究具有重要意义，并为研究人员提供了宝贵的资源。

当前挑战

UDC-VIT数据集面临的主要挑战包括：1) 实现高精度的时间同步和空间对齐，以确保配对的未退化和退化的视频帧能够准确匹配；2) 确保数据集中的视频内容具有实际意义，避免出现不真实或不相关的场景；3) 针对不同的光照条件和拍摄位置，收集多样化的数据，以便训练出能够适应不同情况的恢复模型；4) 考虑到UDC退化现象的复杂性，包括多样化的光晕模式，需要开发能够有效处理这些复杂退化现象的深度学习模型。此外，由于UDC退化现象与显示像素设计有关，因此模型在特定设备上训练后可能无法在其他设备上取得最佳效果，这需要进一步的研究和调整。

常用场景

经典使用场景

UDC-VIT数据集的创建旨在解决显示屏下摄像头（UDC）在实际应用中所面临的图像和视频质量退化问题。该数据集包含真实场景下的视频，旨在帮助研究人员开发和应用图像和视频恢复模型，以改善UDC摄像头捕捉到的图像和视频质量。数据集的独特之处在于它专门包含了针对人脸识别的人类运动视频，这使得它成为研究和开发人脸识别技术的宝贵资源。

衍生相关工作

UDC-VIT数据集的创建推动了UDC视频恢复领域的研究。基于UDC-VIT数据集，研究人员可以开发和评估新的图像和视频恢复模型，以解决UDC视频中的复杂退化问题。此外，UDC-VIT数据集还可以用于研究和开发人脸识别技术，这对于安全、监控和其他领域具有重要意义。基于UDC-VIT数据集的研究成果可以促进UDC视频恢复和人脸识别技术的发展，并为相关领域的研究提供新的思路和方法。

数据集最近研究

最新研究方向

UDC-VIT数据集的研究方向主要集中于解决Under Display Camera（UDC）技术中图像和视频质量退化的问题。UDC技术将摄像头置于显示屏下方，虽然实现了全面屏设计，但同时也带来了低透光率、模糊、噪声和光晕等图像和视频质量问题。UDC-VIT数据集通过提供真实的UDC视频数据，为研究UDC视频恢复技术提供了宝贵的资源。研究重点在于开发有效的深度学习模型，以恢复UDC视频中的真实特征，如光晕、噪声和透光率降低等问题。此外，UDC-VIT数据集还特别关注人脸识别任务，通过包含人脸运动的视频，为研究UDC技术在人脸识别领域的应用提供了新的可能性。该数据集的发布推动了UDC视频恢复技术的发展，并为UDC技术在智能手机和其他设备中的应用提供了更好的洞察和解决方案。

相关研究论文

• UDC-VIT: A Real-World Video Dataset for Under-Display Cameras

  首尔国立大学, 三星显示有限公司 · 2025年