jax-diffusers-event/canny_diffusiondb

---
dataset_info:
features:
- name: original_image
dtype: image
- name: prompt
dtype: string
- name: transformed_image
dtype: image
splits:
- name: train
num_bytes: 604990210.0
num_examples: 994
download_size: 604849707
dataset_size: 604990210.0
---
# Canny DiffusionDB

This dataset is the [DiffusionDB dataset](https://huggingface.co/datasets/poloclub/diffusiondb) that is transformed using Canny transformation.

You can see samples below 👇

**Sample:**

Original Image:
Transformed Image:
Caption:
"a small wheat field beside a forest, studio lighting, golden ratio, details, masterpiece, fine art, intricate, decadent, ornate, highly detailed, digital painting, octane render, ray tracing reflections, 8 k, featured, by claude monet and vincent van gogh "

Below you can find a small script used to create this dataset:
```python

def canny_convert(image):
image_array = np.array(image)
gray_image = cv2.cvtColor(image_array, cv2.COLOR_BGR2GRAY)
edges = cv2.Canny(gray_image, 100, 200)
edge_image = Image.fromarray(edges)
return edge_image

dataset = load_dataset("poloclub/diffusiondb", split = "train")

dataset_list = []
for data in dataset:

image_path = data["image"]
prompt = data["prompt"]
transformed_image_path = canny_convert(image_path)

new_data = {
"original_image": image,
"prompt": prompt,
"transformed_image": transformed_image,
}
dataset_list.append(new_data)

```

---
数据集信息：
特征：
- 名称：original_image，数据类型：图像（image）
- 名称：prompt，数据类型：字符串（string）
- 名称：transformed_image，数据类型：图像（image）
数据划分：
- 名称：train，字节数：604990210.0，样本量：994
下载大小：604849707
数据集总大小：604990210.0
---
# Canny DiffusionDB

本数据集为经Canny变换（Canny transformation）处理后的DiffusionDB数据集，原始数据集可通过以下链接获取：https://huggingface.co/datasets/poloclub/diffusiondb。

您可在下方查看数据集示例👇

**示例：**

原始图像：
变换后图像：
提示词（prompt）：
"a small wheat field beside a forest, studio lighting, golden ratio, details, masterpiece, fine art, intricate, decadent, ornate, highly detailed, digital painting, octane render, ray tracing reflections, 8 k, featured, by claude monet and vincent van gogh "

您可在下方查看用于构建本数据集的简易脚本：
python

def canny_convert(image):
# 将输入图像转换为NumPy数组
image_array = np.array(image)
# 将BGR格式彩色图像转换为灰度图像
gray_image = cv2.cvtColor(image_array, cv2.COLOR_BGR2GRAY)
# 调用OpenCV的Canny边缘检测算法，阈值分别设置为100和200
edges = cv2.Canny(gray_image, 100, 200)
# 将边缘检测结果数组转换为PIL图像对象
edge_image = Image.fromarray(edges)
return edge_image

# 加载原始DiffusionDB数据集的训练划分
dataset = load_dataset("poloclub/diffusiondb", split = "train")

# 初始化存储处理后数据的列表
dataset_list = []
# 遍历原始数据集的每条数据
for data in dataset:
# 获取原始图像数据
image_path = data["image"]
# 获取该图像对应的提示词
prompt = data["prompt"]
# 对原始图像执行Canny变换得到边缘图
transformed_image_path = canny_convert(image_path)

# 组装新的数据条目
new_data = {
"original_image": image,
"prompt": prompt,
"transformed_image": transformed_image,
}
# 将处理后的条目加入列表
dataset_list.append(new_data)

原始信息汇总

数据集概述

数据集名称

Canny DiffusionDB

数据集特征

• original_image: 数据类型为 image
• prompt: 数据类型为 string
• transformed_image: 数据类型为 image

数据集分割

• train:
  • 示例数量: 994
  • 数据大小: 604990210.0 字节

数据集大小

• 下载大小: 604849707 字节
• 数据集总大小: 604990210.0 字节

搜集汇总

数据集介绍

构建方式

该数据集基于广泛使用的DiffusionDB数据集进行二次加工构建而成。具体而言，研究团队首先从DiffusionDB的训练集中随机选取了994个样本，每个样本包含原始图像及其对应的文本提示。随后，利用OpenCV库中的Canny边缘检测算法，对每一张原始图像实施边缘提取操作，通过设置低阈值100和高阈值200，生成相应的边缘图像，作为变换后的图像。最终，将原始图像、文本提示以及Canny边缘图像三者组合，构建出这一专门用于条件扩散模型训练的数据集。

特点

Canny DiffusionDB数据集的核心特色在于其将文本-图像对与Canny边缘图进行对齐，为条件图像生成任务提供了高质量的训练素材。每个样本均包含原始图像、其Canny边缘检测结果以及详细的文本描述，这种三元组结构使得模型能够同时学习图像内容、边缘结构约束与语义提示之间的映射关系。此外，数据集规模精炼，仅包含994个样本，便于快速实验验证和模型迭代，特别适合用于研究边缘条件控制的图像生成方法与扩散模型的微调。

使用方法

使用该数据集时，用户可通过HuggingFace Datasets库直接加载，调用load_dataset函数并指定数据集名称'jax-diffusers-event/canny_diffusiondb'即可获取训练集。加载后的数据集包含'original_image'、'prompt'和'transformed_image'三个字段，分别对应原始图像、文本提示和Canny边缘图像。在模型训练中，可将'transformed_image'作为条件输入，'prompt'作为文本引导，以原始图像为重建目标，训练条件扩散模型。数据加载后可直接用于PyTorch或TensorFlow框架的数据管道，支持常见的图像预处理与批量化操作。

背景与挑战

背景概述

在生成式人工智能领域，扩散模型凭借其卓越的图像生成能力引发了广泛关注，而精确控制生成内容的能力成为研究焦点。Canny DiffusionDB数据集由研究人员基于DiffusionDB构建，后者由佐治亚理工学院等机构于2022年发布，旨在探索文本到图像扩散模型的生成行为。该数据集通过Canny边缘检测算法对DiffusionDB中的原始图像进行转换，生成对应的边缘图，从而为条件图像生成任务提供结构化的控制信号。其核心研究问题在于如何利用边缘信息引导扩散模型生成更符合用户意图的图像，推动可控图像合成技术的发展。该数据集的出现为边缘条件生成、图像编辑及多模态学习等领域提供了重要的基准资源，促进了相关研究的深入。

当前挑战

Canny DiffusionDB面临的核心挑战在于解决边缘条件图像生成中的语义一致性问题，即如何确保模型在严格遵循边缘结构的同时，生成具有丰富纹理和自然色彩的图像。此外，构建过程中需应对Canny算法参数敏感性带来的挑战，不同阈值设置会导致边缘细节的显著差异，影响数据质量。数据规模有限（仅994个样本）也增加了模型泛化的难度，需探索数据增强或迁移学习策略。同时，原始DiffusionDB中提示文本的多样性与边缘图的稀疏性之间的映射关系复杂，要求模型具备跨模态对齐能力，这对网络架构设计提出了更高要求。

常用场景

经典使用场景

在图像生成与计算机视觉交叉领域，Canny DiffusionDB数据集作为条件扩散模型的重要训练资源，其经典使用场景聚焦于基于边缘引导的文本到图像生成任务。该数据集通过对DiffusionDB中的原始图像施加Canny边缘检测变换，构建了包含原始图像、文本提示和边缘图的配对三元组，为研究者提供了在保持语义一致性的前提下，探索边缘信息如何约束和引导生成过程的数据基础。这种结构化设计尤其适用于训练可控生成模型，如ControlNet等架构，使其能够学习从边缘轮廓到完整图像的映射关系，从而在图像编辑、风格迁移和草图补全等任务中实现精准的几何结构控制。

解决学术问题

该数据集的核心学术贡献在于系统性地解决了条件生成模型中对几何结构先验的建模难题。在传统扩散模型中，文本提示难以精确描述图像的边缘布局和空间关系，导致生成结果在结构保真度上存在局限。Canny DiffusionDB通过提供显式的边缘条件，使研究者能够量化分析不同边缘稀疏度和阈值对生成质量的影响，从而推动了边缘引导生成的理论框架发展。其意义在于为探索视觉语言模型中的空间感知能力提供了标准化基准，并验证了边缘信息作为轻量级控制信号的有效性，显著提升了生成图像在复杂场景下的结构一致性，为后续空间条件生成研究奠定了方法论基础。

衍生相关工作

Canny DiffusionDB的发布催生了一系列开创性研究工作，其中最典型的当属ControlNet系列模型的提出，该工作利用边缘条件训练可插拔的控制模块，实现了对预训练扩散模型的零样本结构控制，成为后续空间条件生成研究的基石。随后，T2I-Adapter等架构进一步扩展了边缘引导的适用边界，探索了多模态条件融合的优化策略。在理论层面，研究者基于该数据集深入分析了边缘感知损失函数对生成图像边缘保真度的影响，并开发了动态边缘阈值调整算法以提升模型对噪声边缘的鲁棒性。这些衍生工作共同推动了条件生成从粗粒度语义控制向细粒度几何操控的范式演进。