DGS-Net Dataset

DGS-Net数据集由哈尔滨工业大学与华为联合构建，聚焦多物体场景下的灵巧抓取任务，包含307个物体、240个多物体场景及超过35万条已验证抓取配置。该数据集通过两阶段生成流程（单物体密集抓取合成→场景级抓取生成）构建，显式建模抓取偏移和预抓取姿态以提升物理一致性。其单视角点云数据来源于深度相机模拟渲染，支持机器人学习复杂环境中的高自由度抓取策略，主要应用于解决灵巧手在遮挡、堆叠等真实场景中的泛化性问题。The DGS-Net dataset was jointly constructed by Harbin Institute of Technology and Huawei, focusing on the dexterous grasping task in multi-object scenes. It contains 307 objects, 240 multi-object scenes, and more than 350,000 validated grasping configurations. The dataset is built via a two-stage generation pipeline (single-object dense grasp synthesis → scene-level grasp generation), which explicitly models grasp offsets and pre-grasp poses to enhance physical consistency. Its single-view point cloud data is sourced from depth camera simulation rendering, enabling robots to learn high-degree-of-freedom grasping strategies in complex environments. It is primarily applied to address the generalization problem of dexterous hands in real-world scenarios such as occlusion and stacking.

原始信息汇总

DGS-Net 数据集概述

数据集简介

DGS-Net 数据集是一个用于机器人灵巧抓取研究的高质量数据集，专注于多物体场景下的单视角点云数据。该数据集旨在解决现有抓取数据集在单物体场景、预定义抓取配置以及忽略环境干扰和灵巧预抓取手势建模方面的局限性，以提升在真实世界应用中的泛化能力。

数据集规模与构成

• 物体数量：包含 307 个物体。
• 场景数量：包含 240 个多物体场景，每个场景随机放置 5-15 个物体。
• 数据总量：包含超过 60,000 张 RGB-D 图像（每个场景从 256 个视角捕获），以及超过 350,000 个经过验证的有效抓取实例。

数据内容与特点

• 核心数据：每个样本包含场景点云、抓取中心点语义标签、灵巧手抓取姿态、预抓取和最终关节配置、遮挡信息以及分割掩码。
• 关键特点：与大多数仅提供最终抓取配置的数据集不同，本数据集额外包含了预抓取手部姿态，记录了接近过程中的手部初始状态。此设计能更好地反映真实抓取行为并增强从仿真到现实的迁移能力。

数据组织架构

数据集主要分为两个阶段的数据：

1. Stage II Grasp Data (场景级抓取数据)：

   • 位于 Data/scenes/ 目录下，按场景（如 scene_0000/）组织。
   • 每个场景目录包含：
     • rgb/：RGB 图像（256个视角）。
     • depth/：深度图像。
     • pointcloud/：场景点云。
     • segn/：分割掩码。
     • grasp/：抓取标注。
     • cam_extrinsic.txt：每个视角的相机外参。
     • cam_info.txt：相机内参。
     • grasp_labels.txt：成功的抓取姿态和关节角度。
     • obj_info.txt：场景中物体的信息和元数据。
     • visible_mask.txt：每个视角 RGB 图像中物体的可见性信息。

2. Stage I Grasp Data (单物体抓取数据)：

   • 位于 Data/grasp_labels/ 目录下，按物体基本形状类别组织（如 bowl/, cuboid/, cylinder/, stick/, sphere/）。
   • 每个类别目录下包含具体物体（如 024_bowl/）的灵巧手抓取姿态数据，涵盖 5 种不同的缩放因子。

数据集获取

• 主数据集下载地址：https://pan.baidu.com/s/1SL4EADnPFlTuN-PTyRcVHg?pwd=7816
• 提取码：7816

搜集汇总

数据集介绍

构建方式

在机器人灵巧抓取领域，构建能够反映真实环境复杂性的数据集是推动算法发展的关键。DGS-Net数据集采用一种创新的两阶段生成策略，旨在弥合单物体抓取合成与多物体场景之间的鸿沟。第一阶段，研究团队为307个物体生成了密集的抓取配置，通过随机采样工具中心点位置与姿态，并结合指尖平面约束与导纳控制，探索了包括五指、三指和两指在内的多种参与模式，从而确保了抓取姿态的多样性与物理可行性。第二阶段，将单物体抓取集映射到由5至15个物体随机堆叠构成的240个多物体场景中，并通过碰撞检测筛选出超过35万个有效的场景级抓取，同时从256个不同视角采集RGB-D图像以生成单视角点云，最终构建了包含抓取语义标签、偏移量及预抓取姿态的完整监督数据。

特点

该数据集的核心特点在于其面向多物体场景的全面性与物理一致性。与以往主要关注单物体或平行夹爪的数据集不同，它明确建模了物体间的遮挡与交互关系，为算法学习环境约束提供了基础。数据集不仅提供了最终的抓取关节配置，还创新性地包含了预抓取姿态，这对于确保抓取执行过程中的稳定性和避免碰撞至关重要。此外，通过引入抓取偏移量监督，数据集能够有效补偿由点云不完整性和传感器噪声引起的位置偏差，从而提升了在部分观测下的鲁棒性。涵盖立方体、圆柱体、棒状体、球体和碗状体五大几何类别，确保了抓取策略的广泛适用性。

使用方法

该数据集主要用于训练和评估端到端的灵巧抓取预测网络，如论文中提出的DGS-Net。在使用时，模型以单视角、不完整的场景点云作为输入。数据集提供的丰富监督信号——包括抓取参考点语义标签、6D旋转姿态、抓取偏移向量以及预抓取与最终抓取的关节角度——共同指导网络学习从感知到动作的映射。训练过程中，这些标签被用于计算加权交叉熵、旋转误差和关节角度回归等组合损失。在推理阶段，训练好的模型能够直接为场景中的多个物体预测完整的抓取配置，机器人可依据预测的抓取分数依次执行包含预抓取姿态调整和最终抓取的动作序列，实现多物体移除任务，并在仿真与真实机器人平台上验证其泛化能力。

背景与挑战

背景概述

多指灵巧抓取是机器人操作领域的核心挑战，旨在实现类人化的精细物体操控。现有数据集多集中于单物体场景与预定义抓取姿态，难以应对真实世界中物体堆叠、遮挡等复杂交互。为突破此局限，由哈尔滨工业大学等机构研究人员于2026年提出的DGS-Net数据集，通过两阶段数据生成策略，构建了包含307个物体、240个多物体场景及超过35万已验证抓取的大规模合成数据集。该数据集首次在场景级别显式建模抓取偏移量与预抓取姿态，为从单视角点云直接预测高自由度灵巧抓取提供了关键数据支撑，显著推动了数据驱动抓取算法在非结构化环境中的泛化能力。

当前挑战

DGS-Net数据集旨在解决多物体场景下灵巧手抓取配置的端到端预测问题，其核心挑战在于如何从单视角、不完整的点云中，直接推理出高自由度、物理可行的抓取姿态与关节配置。具体而言，领域挑战包括：处理多物体间的遮挡与交互关系，确保抓取在复杂场景中的可行性；克服点云稀疏性与传感器噪声导致的几何信息缺失，实现精确的手-物体对齐。在构建过程中，挑战体现为：设计高效的两阶段数据生成流程，从物体级密集抓取合成扩展到场景级可行抓取筛选；为海量抓取样本标注抓取参考点、候选点语义标签及抓取偏移向量，以提供精准的监督信号；确保生成的抓取姿态兼具物理一致性与足够的多样性，以覆盖真实世界的复杂变化。

常用场景

经典使用场景

在机器人灵巧抓取领域，DGS-Net数据集为多物体场景下的端到端抓取预测提供了关键支撑。该数据集通过两阶段生成策略，构建了包含307个物体、240个多物体场景及超过35万已验证抓取配置的丰富样本，特别强调了对预抓取姿态和环境干扰的建模。其经典应用场景在于训练深度网络从单视角点云直接预测高自由度灵巧手的完整抓取配置，包括手部位姿、关节角度及抓取偏移量，从而在仿真和真实平台上实现高效、稳定的多物体抓取操作。

衍生相关工作

围绕DGS-Net数据集，已衍生出一系列重要的研究工作。例如，DexGraspNet 2.0利用扩散模型在局部几何特征条件下生成场景级灵巧抓取，进一步扩展了多物体抓取的规模与多样性。同时，HGC-Net等先前工作虽局限于预定义抓取类别，但为场景理解提供了基础。此外，基于该数据集的抓取偏移和预抓取建模思想，也启发了后续研究在点云补全、语义分割与轨迹优化等方向的融合，推动了灵巧抓取算法向更高效、更通用的方向发展。

数据集最近研究

最新研究方向

在机器人灵巧抓取领域，多物体场景下的端到端抓取预测正成为前沿研究的核心焦点。DGS-Net数据集通过其两阶段数据生成策略，提供了包含超过35万个已验证抓取配置的大规模多物体场景数据，显著弥补了传统数据集在环境干扰与灵巧预抓取姿态建模方面的不足。该数据集推动了从单视角点云直接预测高自由度灵巧手完整抓取配置的研究方向，其引入的抓取偏移量与预抓取姿态显式建模，有效提升了抓取预测的物理一致性与在遮挡环境下的鲁棒性。相关研究正与扩散生成模型、大规模合成数据生成等热点技术结合，致力于在保证低穿透率与高抓取成功率的同时，进一步解决真实世界复杂场景中的泛化性与实时性问题，对智能制造、危险环境作业等安全关键应用具有深远意义。

相关研究论文

• End-to-End Dexterous Grasp Learning from Single-View Point Clouds via a Multi-Object Scene Dataset

  哈尔滨工业大学·机器人技术与系统国家重点实验室; 华为技术有限公司 · 2026年