DEROBA
收藏资源简介：
DEROBA是由上海交通大学构建的首个大规模物体反射关联数据集，旨在支持反射生成任务的研究。该数据集包含21016组高质量数据，通过从Pixabay收集真实世界物体-反射对，并利用BLIP2、Grounding DINO和SAM等工具结合人工标注获取前景掩膜和反射掩膜。数据构建过程包括自动前景分割、反射区域手动标注、基于修复的背景生成等步骤，最终形成反射-前景配对的训练元组。该数据集主要应用于计算机视觉领域的图像合成任务，特别是解决复合图像中物体反射的物理一致性和视觉真实性问题。
DEROBA is the first large-scale object-reflection association dataset constructed by Shanghai Jiao Tong University, aiming to support research on reflection generation tasks. This dataset comprises 21,016 high-quality samples, which are developed by collecting real-world object-reflection pairs from Pixabay and acquiring foreground masks and reflection masks by combining manual annotation with tools including BLIP2, Grounding DINO, and SAM. The dataset construction pipeline encompasses automatic foreground segmentation, manual annotation of reflection regions, repair-based background generation, and other steps, ultimately yielding training tuples consisting of reflection-foreground pairs. This dataset is primarily utilized for image synthesis tasks in the computer vision domain, specifically to resolve the challenges of achieving physical consistency and visual authenticity of object reflections within composite images.
DEROBA 数据集概述
数据集简介
DEROBA 是一个用于反射生成的大规模真实世界数据集，其核心任务是为插入的前景物体生成合理的反射，这对于图像合成（物体插入）具有重要价值。该数据集包含 16,791 张不同的图像和 21,016 个物体-反射对。
数据集规模
- 图像数量：16,791 张
- 物体-反射对数量：21,016 对
数据构成与内容
数据集为每个物体-反射对提供了以下六类图像文件：
- 原始图像：从 pixabay 收集的、包含物体反射的原始图像。
- 前景掩码：标注的前景物体掩码。
- 反射掩码：标注的反射区域掩码。
- 修复后图像：使用图像修复模型擦除物体和反射后得到的图像。
- 真实图像：对原始图像应用修复模型（使用空掩码）得到的图像，用于解决修复过程导致的颜色干扰。
- 合成图像：将前景物体从真实图像中裁剪并粘贴到修复后图像上得到的图像。
数据集构建流程
- 从 pixabay 收集包含物体反射的原始图像。
- 人工标注前景掩码和反射掩码。
- 使用图像修复模型擦除物体和反射，生成修复后图像。
- 对原始图像应用修复模型（空掩码）生成真实图像。
- 将前景物体从真实图像裁剪并粘贴到修复后图像，生成合成图像。
数据下载与版本
数据集提供两个版本：
- 全分辨率版本：下载地址为 https://pan.baidu.com/s/1yM_Xza9luTQlyYdlCfhlZw?pwd=bcmi 或 https://www.dropbox.com/scl/fi/31iiqkgdo2etuut91byt4/DEROBA.tar?rlkey=l4jmetz45enwpi72mnsbknz04&st=uaqunlyi&dl=0 (访问码: bcmi)。
- 512分辨率版本：下载地址为 https://pan.baidu.com/s/13VxuVwQWFqoQa4vGLwjqmA?pwd=bcmi 或 https://www.dropbox.com/scl/fi/9xxs865gahaloej0wev2y/DEROBA_512.tar?rlkey=7zua8nmjhekyooavatg7xc9ui&st=yvrqmf8c&dl=0 (访问码: bcmi)。
两个版本均提供训练-测试划分文件 (train.txt, test.txt)，并遵循相同的文件结构。
相关资源
- 在线演示：http://libcom.ustcnewly.com/
- 相关文献：https://arxiv.org/pdf/2106.14490.pdf
引用信息
如果使用本数据集，请引用以下文献：
@article{niu2021making, title={Making images real again: A comprehensive survey on deep image composition}, author={Niu, Li and Cong, Wenyan and Liu, Liu and Hong, Yan and Zhang, Bo and Liang, Jing and Zhang, Liqing}, journal={arXiv preprint arXiv:2106.14490}, year={2021} }
- 1Reflection Generation for Composite Image Using Diffusion Model上海交通大学 · 2026年
