ChatGarment

ChatGarment数据集由马克斯普朗克智能系统研究所创建，旨在支持从图像和文本生成、编辑3D服装的自动化流程。该数据集包含20,000条服装数据，涵盖了多种服装类型和样式，通过自动化数据管道生成，结合了图像到缝纫图案和文本到缝纫图案的配对数据。数据集的创建过程利用了现有的服装生成、模拟和渲染工具，确保了数据的多样性和真实性。该数据集主要应用于时尚和游戏领域，旨在解决3D服装设计和编辑的自动化问题，提升服装设计的效率和多样性。The ChatGarment dataset was created by the Max Planck Institute for Intelligent Systems, aiming to support automated workflows for 3D clothing generation and editing based on images and text. This dataset contains 20,000 clothing items, covering a wide range of clothing types and styles. It is generated via an automated data pipeline, combining paired data from image-to-sewing pattern and text-to-sewing pattern tasks. The dataset creation process leverages existing clothing generation, simulation and rendering tools to ensure the diversity and authenticity of the data. This dataset is mainly applied in the fashion and gaming industries, with the goal of addressing the automation challenges of 3D clothing design and editing, and improving the efficiency and diversity of clothing design.

原始信息汇总

ChatGarment: Garment Estimation, Generation and Editing via Large Language Models

数据集概述

ChatGarment 是一种利用大规模视觉语言模型（VLMs）来自动化从图像或文本描述中估计、生成和编辑 3D 服装缝纫图案的新方法。该方法支持从现实世界中的图像或草图中估计缝纫图案，从文本描述中生成缝纫图案，并根据用户指令编辑服装，所有这些都在交互式对话中完成。生成的缝纫图案可以被披在 3D 服装上，这些服装易于动画化和模拟。

主要功能

• 估计缝纫图案：从现实世界中的图像或草图中估计缝纫图案。
• 生成缝纫图案：从文本描述中生成缝纫图案。
• 编辑服装：根据用户指令编辑服装。
• 3D 服装生成：将缝纫图案披在 3D 服装上，支持动画化和模拟。

数据集特点

• 多模态输入：支持图像和文本作为输入。
• 交互式对话：用户可以通过对话与系统交互，进行服装的创建和编辑。
• 编程参数模型：通过编程参数模型生成缝纫图案，并支持高效的 VLM 微调。
• 大规模数据集：构建了一个大规模的图像到缝纫图案和文本到缝纫图案的数据集。

相关资源

• 论文：arXiv 链接
• 视频：YouTube 链接
• 代码：即将发布

作者

• Siyuan Bian^1,2
• Chenghao Xu^1,3
• Yuliang Xiu^1,4
• Artur Grigorev^1,5
• Zhen Liu^1,7
• Cewu Lu²
• Michael J. Black¹
• Yao Feng^1,5,6

机构

• ¹Max Planck Institute for Intelligent Systems
• ²Shanghai Jiao Tong University
• ³EPFL
• ⁴Westlake University
• ⁵ETH Zürich
• ⁶Meshcapade
• ⁷Mila, University of Montreal

搜集汇总

数据集介绍

构建方式

ChatGarment数据集通过自动化数据构建管道生成，该管道整合了现有的服装生成、模拟、渲染和自动标注工具。具体而言，数据集包含了从图像到缝纫图案和从文本到缝纫图案的配对数据，涵盖了20,000种新服装和100万张带有详细描述的图像。通过随机化缝纫图案配置中的数值，并使用ContourCraft进行服装模拟，结合GPT-4o生成详细的服装几何描述，最终构建了一个大规模的多模态数据集，支持服装创建和编辑任务。

特点

ChatGarment数据集的显著特点在于其多模态性和高多样性。数据集不仅包含了图像与缝纫图案的配对，还包含了文本与缝纫图案的配对，支持从图像和文本生成服装。此外，数据集中的服装类型和样式极为丰富，涵盖了从紧身衣到宽松裙装的多种款式，且每件服装都带有详细的低级别几何描述，使得模型能够精确理解和编辑服装的各个部分。

使用方法

ChatGarment数据集可用于训练和评估多模态服装生成和编辑模型。用户可以通过输入图像或文本描述，生成或编辑服装的缝纫图案，并进一步将其转化为3D服装模型。数据集支持多种任务，包括单图像服装重建、服装生成、服装编辑以及多轮对话交互。通过结合图像和文本输入，模型能够灵活地创建和编辑3D服装，适用于时尚设计、游戏开发等多个领域。

背景与挑战

背景概述

ChatGarment是由Max Planck Institute for Intelligent Systems、Shanghai Jiao Tong University、EPFL等机构的研究人员共同开发的一个创新数据集，旨在利用大规模视觉-语言模型（VLMs）自动化从图像或文本描述中估计、生成和编辑3D服装。该数据集的核心研究问题是如何通过多模态输入（图像和文本）实现服装的2D缝纫图案估计、生成和编辑，并最终将其转化为可动画和模拟的3D服装。ChatGarment的推出填补了现有方法在真实场景中的不足，尤其是在交互式编辑能力方面的缺失，为时尚和游戏应用领域带来了革命性的工作流程。

当前挑战

ChatGarment在构建过程中面临多项挑战。首先，从图像或文本中映射到缝纫图案的复杂性较高，尤其是在处理多样化的服装类型时，现有数据集的局限性导致泛化能力不足。其次，传统的服装生成方法缺乏交互式编辑功能，使得3D艺术家的后期处理工作繁琐且耗时。此外，现有的缝纫图案生成方法通常依赖于预定义的模板，难以处理风格多样或拓扑结构复杂的服装。ChatGarment通过引入大规模视觉-语言模型，解决了这些挑战，但仍需面对如何精确控制服装编辑、避免对无关部分的意外修改等问题。

常用场景

经典使用场景

ChatGarment 数据集的经典使用场景主要集中在通过图像或文本描述生成和编辑三维服装。该数据集能够从单一图像中估计出复杂的二维缝纫图案，并将其转化为可动画和模拟的三维服装。此外，它还支持基于文本指令的服装编辑，用户可以通过简单的语言描述对服装进行修改，如调整袖长或领口设计。

实际应用

ChatGarment 数据集在时尚和游戏行业中具有广泛的实际应用场景。在时尚设计领域，设计师可以利用该数据集快速生成和编辑服装设计，从而加速产品开发周期。在游戏开发中，该数据集可以用于创建逼真的虚拟角色服装，支持服装的动画和物理模拟，提升游戏的视觉效果和用户体验。

衍生相关工作

ChatGarment 数据集的发布催生了一系列相关研究工作，特别是在服装生成和编辑领域。例如，基于该数据集的研究进一步探索了如何通过编程参数化模型生成更复杂的服装类型，并改进了现有的服装模拟工具。此外，该数据集还启发了对大规模视觉语言模型在三维任务中的应用研究，推动了多模态生成模型在服装设计中的创新应用。