TIGER-Lab/OmniEdit-Filtered-1.2M

OmniEdit数据集是一个用于处理七种不同图像编辑任务的通用编辑器。数据集包含源图像和编辑后的图像，以及编辑指令、任务类型、语义一致性评分、感知质量评分和总体评分等信息。数据集通过专家蒸馏合成，并经过VIEScore过滤，包含120万对图像编辑对。

The OmniEdit dataset is a versatile image editing dataset designed to handle seven different image editing tasks, including addition, removal, background, environment, style, etc. The dataset includes source and edited images, editing instruction lists, editing task categories, semantic consistency scores, perceptual quality scores, and overall scores, along with the reasoning for these scores. The dataset is synthesized through specialist distillation, containing 1.2M image pairs covering seven different editing skills, and has been filtered with VIEScore.

搜集汇总

数据集介绍

构建方式

在图像编辑领域，构建大规模、高质量且覆盖多任务的数据集是推动通用编辑模型发展的关键。OmniEdit-Filtered-1.2M 数据集通过专家蒸馏（specialist distillation）的方式合成，汇集了七种不同专业模型的监督信号，涵盖添加、移除、背景更换、环境调整、风格迁移等多样编辑任务。数据构建流程中，首先利用七类专家模型生成源图像与编辑后图像的配对数据，随后借助大多模态模型（如GPT-4o）提供的评分进行重要性采样（importance sampling），替代传统CLIP分数以提升数据质量。最终经过VIEScore筛选，保留约120万对高保真编辑样本，确保数据集的规模与纯净度。

特点

该数据集的核心特点在于其前所未有的多样性与高品质。它支持任意长宽比的图像编辑，覆盖七种不同编辑技能，从对象添加、删除到属性修改与风格迁移，任务维度极为丰富。每个样本包含源图像、编辑后图像、长短编辑指令以及多维度质量评分，包括语义一致性分数（sc_score）、感知质量分数（pq_score）和综合总分（o_score），并附有评分推理过程。这种多级评分机制确保了数据质量的可控性，使其成为当前分辨率不受限、编辑类型最全面的图像编辑数据集之一。

使用方法

数据集以HuggingFace格式发布，包含训练集（约120万样本）和开发集（700样本），可直接通过datasets库加载。用户可利用src_img和edited_img字段获取图像对，结合edited_prompt_list中的编辑指令进行模型训练或评估。task字段标识具体编辑任务类型，便于按需筛选子集。质量评分字段（如sc_score_1、pq_score、o_score）可用于加权训练或数据过滤，而reasoning字段则提供评分依据，支持可解释性分析。推荐在图像编辑通用模型（如OmniEdit）的微调或基准测试中应用此数据集。

背景与挑战

背景概述

在图像编辑领域，通用型模型的发展长期受限于任务碎片化与数据规模不足的困境。为突破这一瓶颈，来自滑铁卢大学等机构的研究团队于2024年提出了OmniEdit数据集，由Cong Wei、Zheyang Xiong等学者主导构建。该数据集核心研究问题在于如何通过整合七种不同图像编辑任务的专家模型监督信号，训练出能够处理任意长宽比图像的通用编辑器。OmniEdit通过大规模合成数据与重要性采样策略，构建了包含120万对高质量编辑样本的资源库，覆盖添加、移除、风格迁移等多样化任务，为多模态图像编辑研究树立了新的标杆，显著推动了通用图像编辑模型的发展。

当前挑战

当前OmniEdit面临的核心挑战首先在于领域问题层面：图像编辑任务种类繁多且语义复杂，如背景替换与环境变换需同时理解场景结构与物体关系，现有模型难以在所有任务上保持一致性表现。其次，在数据集构建过程中，如何从七种不同专家模型中蒸馏出高质量监督信号是一大难题，需解决专家模型间的输出冲突与噪声问题。此外，采用大语言模型评分进行数据过滤时，评分标准的主观性与计算开销构成了另一挑战，需平衡数据质量与合成规模，确保过滤后的1.2万对样本兼具多样性与精确度。

常用场景

经典使用场景

在图像编辑领域，OmniEdit-Filtered-1.2M数据集为多任务图像编辑模型的训练与评估提供了前所未有的资源支撑。该数据集汇聚了超过120万对高质量编辑图像，覆盖添加、移除、背景替换、环境变换、风格迁移等七种核心编辑技能，且支持任意长宽比输入。研究者可借助该数据集训练出具备通用编辑能力的模型，实现从单一任务专家到多任务全能编辑器的跨越，从而推动图像编辑技术向更高效、更智能的方向演进。

实际应用

在实际应用中，OmniEdit-Filtered-1.2M数据集驱动的模型可广泛应用于创意设计、影视后期、广告制作和社交媒体内容生成等场景。例如，用户通过自然语言指令即可实现照片中物体的智能添加或移除、背景风格的即时转换，极大降低了专业图像编辑软件的使用门槛。该数据集的高质量与多样化特性，使得自动化的图像编辑工具能够更精准地理解用户意图，从而提升生产效率并激发创意表达。

衍生相关工作

围绕OmniEdit-Filtered-1.2M数据集，衍生出一系列具有影响力的经典工作。例如，基于该数据集训练的OmniEdit模型在七个图像编辑任务上均展现出卓越性能，推动了通用图像编辑模型的边界拓展。后续研究进一步探索了基于该数据集的指令微调策略、多模态对齐优化以及编辑质量评估框架，形成了从数据构建、模型训练到性能评测的完整研究链条，为图像编辑领域的持续创新奠定了坚实基础。