Partverse

Partverse是一个大规模的3D部件数据集，包含91,000个部件，用于训练名为CoPart的3D生成框架。该数据集由Objaverse通过自动网格分割和后续人工后注释收集而成。CoPart框架利用多个上下文部件潜在表示来表示3D对象，并能够同时生成一致的3D部件。此外，为了确保部件潜在表示的一致性，并利用基础模型强大的先验知识，论文提出了一种新的相互引导策略，以微调预训练的扩散模型，从而实现联合部件潜在去噪。CoPart在Partverse数据集上的训练实现了具有高可控性的基于部件的3D生成，并支持各种应用，包括部件编辑、关节对象生成和小场景生成。Partverse is a large-scale 3D part dataset containing 91,000 parts, designed for training the CoPart 3D generative framework. This dataset is collected from Objaverse via automated mesh segmentation followed by manual post-annotation. The CoPart framework leverages multiple contextual part latent representations to represent 3D objects, and is capable of generating consistent 3D parts simultaneously. Furthermore, to ensure the consistency of part latent representations and exploit the strong prior knowledge of foundation models, this work proposes a novel mutual guidance strategy for fine-tuning pre-trained diffusion models, enabling joint part latent denoising. Training CoPart on the Partverse dataset achieves part-based 3D generation with high controllability, supporting various applications including part editing, articulated object generation, and small-scale scene generation.

搜集汇总

数据集介绍

构建方式

Partverse数据集的构建过程融合了自动化技术与人工干预的双重优势。研究团队首先采用基于SAM-2和Samesh算法的自动网格分割流程，通过3D建模先验与语义分割相结合的方式对Objaverse原始数据进行预分割，特别调整参数使其倾向于过分割以保证后续处理灵活性。随后通过Blender平台进行人工精细化处理，包括低质量数据过滤、过分割区域合并及欠分割区域拆分，确保每个部分具有清晰的语义边界和对称分布特征。最终通过多模态视觉语言模型为每个部件生成包含外观特征、形状属性及部件-整体关系的文本描述，形成包含91k高质量部件的结构化数据集。

使用方法

Partverse专为训练部件感知的3D生成系统设计，其使用遵循层次化流程。研究者可首先加载经过归一化处理的部件网格数据及关联的几何/图像潜在编码，通过3D部件VAE和图像VAE分别提取几何令牌与图像令牌。在扩散模型训练阶段，采用互引导策略同步处理多部件生成，其中交叉部分注意力机制实现部件间关系建模，跨模态注意力则确保几何与外观的一致性。对于特定应用场景，用户可通过输入3D边界框坐标和部件级文本提示，驱动模型进行部件编辑、铰接物体生成等任务，边界框条件通过创新的立方体网格编码策略注入生成过程。

背景与挑战

背景概述

Partverse数据集由香港科技大学、香港中文大学、商汤科技及上海人工智能实验室的研究团队于2025年联合发布，旨在解决3D生成领域中复杂对象细粒度建模的瓶颈问题。该数据集基于Objaverse大规模3D资源库，通过自动化网格分割与人工标注相结合的方式，构建了包含91k高质量部件、覆盖175个类别的结构化3D数据库。其核心创新在于提出了上下文感知的部件隐空间表示方法，突破了传统整体式3D生成模型在细节保真度、部件独立性及局部可控性方面的局限，为3D内容创作提供了部件级编辑、关节物体生成等新型应用范式。

当前挑战

Partverse面临的领域挑战主要体现在三方面：其一，复杂对象的几何细节保留问题，传统单一隐变量表示难以承载多部件对象的丰富信息；其二，部件间拓扑关系建模难题，现有方法无法有效捕捉设计语义中的部件关联性；其三，全局条件控制的局限性，文本等粗粒度条件难以实现精准的部件级生成控制。在构建过程中，研究团队需克服Objaverse原始数据部件标注不一致的难题，通过改进的SAM-2分割算法与人工校验相结合的方式解决过分割/欠分割问题，并创新性地采用多模态视觉语言模型为每个部件生成语义描述，确保数据质量与语义一致性。

常用场景

经典使用场景

Partverse数据集在3D生成领域具有广泛的应用价值，尤其在基于部件的3D生成任务中表现突出。该数据集通过自动网格分割和人工标注相结合的方式，提供了高质量的3D部件数据，使得研究人员能够训练出能够生成复杂3D对象的模型。例如，在生成具有多个独立部件的3D对象时，Partverse数据集能够提供详细的几何和纹理信息，确保每个部件的生成质量。此外，该数据集还支持部件级别的编辑和控制，使得用户能够对生成的3D对象进行精细调整。

解决学术问题

Partverse数据集解决了3D生成领域中的多个关键学术问题。首先，它通过部件级别的表示，减少了复杂对象的编码负担，使得模型能够更高效地处理具有多个部件的3D对象。其次，该数据集支持部件关系建模，使得生成的部件之间能够保持一致性。最后，Partverse数据集还提供了部件级别的控制能力，使得用户能够通过文本描述或边界框条件来精确控制生成过程。这些特性使得Partverse在3D生成研究中具有重要的学术意义和影响。

实际应用

Partverse数据集在实际应用中展现了强大的潜力。例如，在工业设计中，设计师可以利用该数据集生成具有多个独立部件的复杂3D模型，如机械设备或家具。在游戏开发中，Partverse可以用于生成高精度的3D角色和场景，提升游戏的视觉效果。此外，该数据集还支持部件级别的编辑，使得用户能够对生成的3D对象进行个性化调整，满足不同应用场景的需求。

数据集最近研究

最新研究方向

在三维生成领域，Partverse数据集的推出标志着对部件级三维建模的深入探索。该数据集通过自动网格分割与人工标注相结合的方式，构建了包含91k高质量部件的庞大资源，覆盖175个类别，显著超越了传统PartNet数据集的局限性。当前研究聚焦于基于部件的生成框架CoPart，其创新性地采用上下文部件潜在表示，通过几何与图像令牌的协同编码，实现了复杂对象的精细化生成。前沿探索体现在三个方面：一是通过互引导策略协调多部件生成的一致性，解决了传统全局潜在表示导致的细节丢失问题；二是引入三维边界框条件编码，为部件级控制提供了精确的空间约束；三是开发了从部件编辑到铰接物体生成的多样化应用场景。这些突破不仅提升了生成质量，更推动了三维内容创作向模块化、可编辑方向发展，为虚拟现实、游戏资产创建等领域带来了新的技术范式。

相关研究论文

• From One to More: Contextual Part Latents for 3D Generation

  香港科技大学, 香港中文大学, 商汤科技研究院, 上海人工智能实验室 · 2025年