Awesome-Relight

这是一个关于重光照研究领域的精选资源合集，涵盖了图像编辑、视频、3D、头像、逆向渲染、光照估计和生成模型等多个方向。该合集主要收集、整理和索引重光照相关的数据集、论文、基准测试、演示和工具，旨在为研究者和开发者提供一个结构化的资源地图，帮助他们快速找到相关方法和技术。

This is a curated resource collection for the field of relighting research, spanning multiple research directions including image editing, video, 3D, avatars, inverse rendering, illumination estimation, and generative models. This collection primarily collects, organizes, and indexes relighting-related datasets, papers, benchmarks, demonstrations, and tools, aiming to provide researchers and developers with a structured resource map to help them quickly locate relevant methods and technologies.

原始信息汇总

数据集总览

该项目是一个名为 Awesome Relight 的精选资源列表，旨在系统梳理重光照（Relighting）领域的研究进展、数据集、基准、演示和软件工具。项目覆盖了图像编辑、视频、3D、虚拟化身、逆渲染、光照估计和生成模型等多个子方向。

核心目标

• 按任务和表征方式组织重光照相关工作，而非仅按发表日期排列。
• 从经典光照估计到现代生成式光照控制，绘制该领域的技术路线图。
• 追踪论文的同时，关联其项目页面、代码、演示、数据集和软件产品。
• 帮助研究人员和开发者找到针对肖像、物体、场景、视频、虚拟化身和驾驶数据等任务的合适方法。
• 维护一个格式清晰、易于扫描和扩展的精选列表。

主要分区

• 综述 (Surveys)：收录了《Deep Neural Models for Illumination Estimation and Relighting: A Survey》等综述文章。
• 场景与通用图像重光照 (Scene and General Image Relighting)：包括《Learning to Factorize and Relight a City》、《StyLitGAN: Image-Based Relighting via Latent Control》、《DiLightNet: Fine-grained Lighting Control for Diffusion-based Image Generation》等多篇论文，并提供了arXiv链接、代码仓库等资源。
• 视频重光照 (Video Relighting)：涵盖《Neural Video Portrait Relighting in Real-time via Consistency Modeling》、《Light-A-Video: Training-free Video Relighting via Progressive Light Fusion》等工作。
• 肖像、面部与人体重光照 (Portrait, Face, and Human Relighting)
• 3D、NeRF、Gaussian与物体重光照 (3D, NeRF, Gaussian, and Object Relighting)
• 驾驶与机器人重光照 (Relighting for Driving and Robotics)
• 安全性与鲁棒性 (Security and Robustness)
• 强化学习 (Reinforcement Learning)
• 数据集与基准 (Datasets and Benchmarks)
• 研讨会与挑战赛 (Workshops and Challenges)
• 软件、演示与产品 (Software, Demos, and Products)
• 相关领域 (Related Areas)

更新与贡献

• 项目持续追踪重光照领域的论文、数据集、代码、演示、挑战和生产工具。
• 欢迎通过PR贡献缺失的最新工作、代码发布、数据集和软件链接。

数据集页面地址

• GitHub仓库: https://github.com/houyuanchen111/Awesome-Relight

搜集汇总

数据集介绍

构建方式

Awesome-Relight 并非一个传统意义上的数据集，而是一个精心整理的重光照研究资源导航库。其构建方式是通过系统性地搜集和分类计算机图形学、计算机视觉、神经渲染及生成式模型等领域的重光照相关论文、代码、数据集、基准测试和软件产品。项目以任务和表征方式为线索，而非单纯按时间排序，将研究划分为场景图像重光照、视频重光照、人像重光照、3D/NeRF/高斯重光照等多个类别，并持续追踪更新，旨在为研究人员和开发者提供一个清晰、可扩展的研究地图。

特点

该资源库的核心特点在于其全面性与结构化。它横跨从经典照明估计到现代生成式光照控制的广阔领域，覆盖了图像编辑、视频、3D、虚拟化身、逆渲染、光照估计及生成模型等多个子方向。其独特之处在于不仅收录论文，还链接了项目主页、代码仓库、演示、数据集和商业产品，形成了一个从理论到实践的完整闭环。此外，项目采用活跃的维护机制，欢迎社区通过Pull Request贡献最新成果，确保了信息的时效性和包容性。

使用方法

使用者可以便捷地通过该资源库的目录导航进行探索。例如，若对人物肖像重光照感兴趣，可直接跳转至'Portrait, Face, and Human Relighting'部分，获取该领域内的经典与前沿论文及其对应的代码和演示链接。对于需要数据集的研究者，'Datasets and Benchmarks'章节提供了专门的资源集合。该库的每个条目均附有标识（如arXiv、GitHub星标），方便快速评估其影响力与可用性，从而高效定位所需的研究工具与参考信息。

背景与挑战

背景概述

在计算机图形学与计算机视觉的交叉领域，重光照技术作为连接逆渲染、神经渲染与生成式模型的枢纽，近年来取得了显著进展。Awesome-Relight数据集由研究社区维护，旨在系统性地梳理重光照领域的研究脉络，涵盖图像编辑、视频处理、三维重建、人脸肖像及自动驾驶等多个子方向。该数据集创建于2024年，汇集了从经典光照估计到现代扩散模型驱动照明控制的代表性工作，包括Surveys、Scene Relighting、Video Relighting、3D Relighting等分类模块。其核心研究问题在于如何实现灵活、可控且物理准确的光照编辑，以推动虚拟现实、影视制作与增强现实等应用的发展。通过整合论文、代码、演示及软件产品，该数据集为研究者提供了清晰的领域导航，对重光照技术的标准化与可复现性产生了重要影响。

当前挑战

重光照领域面临的核心挑战包括：第一，物理建模与生成先验的冲突问题，即如何在保持光照物理真实性的同时，利用扩散模型等生成式框架实现自由的光照控制，现有方法常难以兼顾编辑自由度与场景一致性。第二，多视角与时间一致性难题，尤其在视频重光照中，光照变化需在帧间保持平滑过渡，避免闪烁与伪影，这对模型的时间建模能力提出严苛要求。第三，数据获取与标注瓶颈，真实场景下的光照分解需要配对的多光照数据，而构建大规模、高保真的重光照数据集成本高昂，且难以覆盖复杂光照条件。第四，逆渲染的病态性，从单张图像中解耦材质、几何与光照是高度不适定问题，现有方法常依赖强先验或简化假设，限制了模型在非受控环境中的泛化能力。

常用场景

经典使用场景

在计算机视觉与图形学的交叉领域中，重光照（Relighting）技术致力于在保持场景几何与材质不变的前提下，灵活调控图像或视频的光照环境。Awesome-Relight数据集汇集了从经典光照估计到现代生成式光照控制的各类资源，其最经典的使用场景涵盖单张图像的重光照、视频人像的实时重光照、以及基于神经辐射场（NeRF）与三维高斯泼溅（3D Gaussian Splatting）的物体重光照。这些场景要求模型能够从输入中解耦出光照信息，并生成与目标光照条件一致的高保真输出，广泛应用于肖像编辑、虚拟现实与电影后期制作等领域。

衍生相关工作

围绕Awesome-Relight数据集，衍生出了一系列具有里程碑意义的经典工作。在图像重光照方面，StyLitGAN通过潜在空间控制实现了基于图像的光照编辑，而DiLightNet则首次在扩散模型中实现了细粒度的光照控制。视频重光照领域，RelightVid提出了时序一致的扩散模型，LumiSculpt则专注于视频生成中的光照一致性。三维重光照方面，Uni-Renderer统一了正向渲染与逆渲染的双流扩散框架。此外，面向人像的Lux Post Facto结合条件视频扩散与混合数据集，实现了高保真的人像表演重光照，推动了数字人技术与虚拟制片的边界。

数据集最近研究

最新研究方向

当前，重光照领域的研究正以前所未有的活力向生成式与物理驱动深度融合的方向演进。随着扩散模型在视觉生成中的统治地位确立，大量前沿工作致力于将光照控制嵌入到文本到图像、图像到图像乃至视频生成的流程中，例如DiLightNet、LightIt以及IC-Light等模型，它们通过隐空间调控或条件注入实现了细粒度的光照编辑，甚至催生了如GenLit这般将单图重光照重新定义为视频生成任务的创新范式。与此同时，针对视频和动态场景的时序一致性重光照成为热点，RelightVid、Light-A-Video与UniRelight等方法通过引入时序注意力机制或联合分解-合成框架，攻克了帧间闪烁这一长期难题。在三维与数字人领域，结合NeRF、3D高斯泼溅及可微分渲染的重光照技术正推动着虚拟化身与自动驾驶仿真数据的真实感跃升，而诸如ScribbleLight、LightLab等交互式工具的出现，则让专业级的光照操控变得触手可及。这些研究不仅深化了对场景内在属性（材质、几何、光照）解耦的理解，更在影视制作、增强现实、虚拟试衣及安全鲁棒性评估等应用中展现出巨大的变革潜力，标志着重光照正从学术探索迈向实用化、可控化的新纪元。