图律脉动数据集-修改、添加、移除

# 图律脉动数据集-修改、添加、移除 本数据集由开源项目 [ImagePulse](https://github.com/modelscope/ImagePulse) 构建，可用于训练图像局部编辑能力。 主要字段说明： * `image_1`: 图像1 * `image_2`: 图像2 * `mask`: 图像编辑区域 * `editing_instruction`: 将图像1编辑成图像2所需的文本指令 * `reverse_editing_instruction`: 将图像2编辑成图像1所需的文本指令 数据集构建流程： * 在数据集 [DiffusionDB](https://modelscope.cn/datasets/AI-ModelScope/diffusiondb) 中随机抽取提示词 * 用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 模型根据提示词生成图像1 * 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型以 bbox 格式标注出图像1中的实体 * 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型随机选择一个 bbox 区域并随机生成编辑指令 * 用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 和 [Inpaint-ControlNet](https://modelscope.cn/models/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Beta) 编辑选中的区域，得到图像2 * 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型重新生成对偶编辑指令 数据样例： |image_1|image_2|mask|editing_instruction|reverse_editing_instruction| |-|-|-|-|-| ||||Remove the mustache and beard, change the white shirt to a blue turtleneck sweater, and remove the glass of milk.|Add a mustache and beard, change the blue turtleneck sweater to a white shirt, and add a glass of milk.| ||||Add a silver butterfly to the glowing golden lace on her face.|Remove the silver butterfly from the glowing golden lace on her face.| ||||Remove the necklace.|Add a necklace.|# 图律脉动数据集——修改、添加与移除 本数据集由开源项目 [ImagePulse](https://github.com/modelscope/ImagePulse) 构建，可用于训练图像局部编辑能力。 ## 主要字段说明 * `image_1`：图像1 * `image_2`：图像2 * `mask`：图像编辑区域 * `editing_instruction`：将图像1编辑为图像2所需的文本编辑指令 * `reverse_editing_instruction`：将图像2编辑为图像1所需的反向文本编辑指令 ## 数据集构建流程 * 从数据集 [DiffusionDB](https://modelscope.cn/datasets/AI-ModelScope/diffusiondb) 中随机抽取提示词 * 使用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 模型基于抽取的提示词生成图像1 * 使用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型以边界框（bounding box，简称bbox）格式标注图像1中的实体 * 使用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型随机选取一个边界框区域，并随机生成编辑指令 * 使用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 与 [Inpaint-ControlNet](https://modelscope.cn/models/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Beta) 对选中区域进行编辑，得到图像2 * 使用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型重新生成反向编辑指令 ## 数据样例 |image_1|image_2|mask|editing_instruction|reverse_editing_instruction| |-|-|-|-|-| ||||移除胡须与鬓毛，将白色衬衫更换为蓝色高领毛衣，并移除一杯牛奶。|添加胡须与鬓毛，将蓝色高领毛衣更换为白色衬衫，并添加一杯牛奶。| ||||在她面部的发光金色蕾丝上添加一只银色蝴蝶。|移除她面部发光金色蕾丝上的银色蝴蝶。| ||||移除项链。|添加项链。|

搜集汇总

背景与挑战

背景概述

该数据集基于开源项目ImagePulse构建，旨在训练图像的局部编辑能力，包含成对图像、编辑区域掩膜及双向文本指令。其构建过程涉及从DiffusionDB随机选取提示，使用FLUX和Qwen-VL模型生成图像和编辑指令，并通过Inpaint-ControlNet实现区域修改。