ComfyUI-R1

ComfyUI-R1是一个用于自动化工作流生成的大型推理模型。该数据集包含了4K个工作流，每个工作流都有JSON格式和代码表示，以及功能描述。这些数据是从ComfyUI社区网站收集的，涵盖了图像、视频和3D生成和编辑等多样化任务。数据集的创建过程包括节点选择、工作流规划以及代码级工作流表示的生成。ComfyUI-R1被用于生成与用户指令一致的高分辨率图像，同时保留参考图像的面部特征。ComfyUI-R1 is a large-scale reasoning model for automated workflow generation. This dataset includes 4,000 workflows, each with both JSON format and code representation, alongside functional descriptions. Collected from the ComfyUI community website, this dataset covers diverse tasks such as image, video, and 3D generation and editing. The dataset construction process involves node selection, workflow planning, and the generation of code-level workflow representations. ComfyUI-R1 is utilized to generate high-resolution images that align with user instructions while retaining facial features from reference images.

原始信息汇总

ComfyUI-Copilot 数据集概述

🌟 简介

ComfyUI-Copilot 是一个基于 Comfy-UI 框架的智能助手，旨在通过自然语言交互简化 AI 算法调试和部署流程。支持文本、图像和音频生成，提供节点推荐、工作流构建辅助和模型查询服务。

🤔 核心优势

• 易用性：通过自然语言交互降低使用门槛。
• 智能推荐：AI 驱动的节点建议和工作流实现。
• 实时支持：全天候交互式问题解决。

🚀 最新更新

2025.05.16 版本

• GenLab 历史记录：支持查询参数探索的历史结果。
• 个性化工作流生成：用户输入需求，大模型生成定制工作流。

2025.04.28 版本

• 前端 UI 集成：嵌入 ComfyUI 界面，支持主题自适应。

2025.04.08 版本

• GenLab 发布：
  • 参数探索：优化可执行工作流的参数。
  • 提示词改写助手：生成高质量提示词。
• 错误修复：提升系统稳定性。

2025.02.27 版本

• 多模型支持：新增 DeepSeek AI 和 Qwen-plus 模型。
• 节点安装指南：智能跳转未安装节点的资源。
• 性能优化：修复延迟问题，增强多语言支持。

🔥 核心功能

• 交互式问答机器人：查询模型、节点和参数详情。
• 自然语言节点推荐：快速定位节点，优化工作流。
• 智能工作流辅助：自动推荐和构建工作流框架。
• 模型查询：根据需求查找基础模型和 LoRA。
• 即将推出：
  • 自动参数调优：机器学习算法优化参数。
  • 错误诊断与修复建议：提供错误分析和解决方案。

🚀 快速开始

1. 安装： bash cd ComfyUI/custom_nodes git clone https://github.com/AIDC-AI/ComfyUI-Copilot

   • 或通过 ComfyUI Manager 安装。

2. 激活：运行 ComfyUI 项目后，点击面板右上角的 Copilot 按钮。

3. 密钥生成：输入邮箱获取 API 密钥。

🤝 贡献

欢迎提交问题、拉取请求或功能建议。

📞 联系方式

• 邮箱：[e-mail]
• 微信和 Discord 二维码详见原页面。

📚 许可证

MIT 许可证。

搜集汇总

数据集介绍

构建方式

ComfyUI-R1数据集的构建基于对ComfyUI平台上共享资源的系统化收集与处理。研究团队从社区平台、GitHub仓库及官方站点获取原始数据，经过严格的去重、格式校验和内容过滤，最终筛选出3,917个高质量工作流和7,238个标准化节点。通过GPT-4o等模型增强功能描述，并创新性地将JSON格式工作流转化为拓扑排序的Python风格函数调用序列，形成兼具语义表达力和执行兼容性的双模态表示。

特点

该数据集的核心特征体现在其多维度标注体系和推理链构建上。每个工作流样本包含JSON与代码双模态表示、功能描述文本及模拟检索的候选节点集，并附有由多模型协同生成的详细设计原理说明。特别值得注意的是，数据集通过0.8比例负采样构建候选节点集，模拟真实场景下的节点检索过程。工作流平均包含21个节点，覆盖文本生成图像、风格迁移、视频编辑等6大类任务，其代码化表征方式较传统JSON格式提升12%的图结构准确性。

使用方法

使用该数据集需遵循三阶段流程：首先基于用户指令检索Top3语义相关工作流构建候选节点集；随后输入ComfyUI-R1模型生成包含节点选择、设计原理和代码工作流的完整推理链；最终通过规则验证确保输出符合DAG结构。实验表明，该工作流代码可直接加载至ComfyUI服务器执行，在ComfyBench测试集上达到67%的通过率。研究人员建议优先采用代码表征进行二次开发，因其比JSON格式在节点级F1分数上具有5%的绝对优势。

背景与挑战

背景概述

ComfyUI-R1是由哈尔滨工业大学（深圳）与阿里巴巴国际数字商业集团联合研发的大型推理模型，专注于自动化工作流生成领域。该数据集于2025年6月通过arXiv平台首次公开，核心研究目标是通过链式思维推理技术，解决ComfyUI平台上复杂AI艺术创作工作流的自动化生成难题。作为首个针对模块化AI内容生成流程设计的专用模型，其创新性地将工作流表达为拓扑有序的代码序列，显著提升了工作流结构的可解释性和可执行性。数据集包含从社区收集的3,917个经过严格清洗的工作流样本，覆盖文本到图像生成、风格迁移、视频编辑等多元模态任务，为AI艺术创作领域提供了首个标准化的工作流知识库。

当前挑战

该数据集面临的核心挑战主要体现在两个维度：在领域问题层面，需要解决模块化AI工作流中节点选择组合的指数级复杂度，以及多模态任务中风格一致性保持的难题，例如在图像融合任务中需精确协调ControlNet与IPAdapter等组件的参数交互；在构建过程层面，原始社区数据存在40%的噪声节点和63%的不完整工作流描述，研究团队通过多轮过滤机制和GPT-4o辅助标注，最终仅保留14.5%的高质量数据。特别地，工作流向代码表示的转换需确保双向解析的严格等价性，这要求开发专用的DAG解析器来处理节点间的非线性依赖关系。

常用场景

经典使用场景

在AI生成内容领域，ComfyUI-R1数据集通过其独特的链式推理机制，为自动化工作流生成提供了标准化解决方案。该数据集特别适用于多模态任务中复杂工作流的构建，例如文本到图像生成、风格迁移以及图像编辑等场景。其核心价值在于将用户指令转化为可执行的工作流代码，显著降低了非专业用户的操作门槛。

解决学术问题

该数据集有效解决了AI艺术创作中工作流设计的专业壁垒问题。通过构建包含4K标准化工作流的知识库，并结合两阶段训练框架（监督微调与强化学习），显著提升了模型在节点选择准确率（97%格式有效性）和工作流结构合理性方面的表现。其创新性的规则-指标混合奖励机制，为复杂DAG结构的自动化生成提供了可量化的优化路径。

衍生相关工作

该数据集催生了多个重要研究方向，包括Xue等人提出的多智能体框架ComfyAgent，以及Huang团队开发的ComfyGPT自优化系统。后续研究如WorkflowLLM和AFlow进一步扩展了其在金融分析、医疗决策等领域的应用边界，形成了以代码表示为特征的自动化工作流生成技术体系。