fingernet-img-40k

FingerNet-Img-40k数据集包含约40,000个图像和力数据样本，这些样本来自于软机器人手指与各种物体在陆地和水下环境中的互动。数据集分为陆地(onland)和水下(underwater)两种配置，每种配置都包含了图像、六维力-力矩数据、接触物体名称和环境类型等信息。The FingerNet-Img-40k dataset contains approximately 40,000 paired image and force data samples, which are collected from the interactions between a soft robotic finger and various objects in both terrestrial and underwater environments. The dataset is divided into two configurations: on-land and underwater. Each configuration includes visual images, six-dimensional force-torque data, the names of contacted objects, and environmental type information.

原始信息汇总

FingerNet-Img-40k 数据集概述

数据集基本信息

• 数据集名称: FingerNet-Img-40k
• 许可证: MIT
• 数据规模: 10K-100K样本量级
• 样本数量: 约40,000个样本
• 数据模态: 图像、表格数据

数据集配置

数据集包含两个独立配置：

陆地环境配置 (onland)

• 数据文件: onland/data_*.parquet
• 特征字段:
  • image (图像类型)
  • fx, fy, fz (float32类型)
  • tx, ty, tz (float32类型)
  • object (字符串类型)
  • env (字符串类型)

水下环境配置 (underwater)

• 数据文件: underwater/data_*.parquet
• 特征字段:
  • image (图像类型)
  • fx, fy, fz (float32类型)
  • tx, ty, tz (float32类型)
  • object (字符串类型)
  • env (字符串类型)

数据内容描述

• 应用场景: 软体机器人手指与各种物体在陆地和水下环境中的交互数据
• 图像规格: 640x480像素，包含手指结构图像
• 力扭矩数据: 6维力扭矩数据（Fx, Fy, Fz, Mx, My, Mz），单位分别为牛顿(N)和牛毫米(Nmm)
• 环境标识: 陆地(onland)或水下(underwater)环境
• 物体信息: 接触物体名称

数据集结构

fingernet-img-40k/ ├── onland/ │ ├── data_0.parquet │ ├── data_1.parquet │ ├── data_2.parquet │ └── ... └── underwater/ ├── data_0.parquet ├── data_1.parquet ├── data_2.parquet └── ...

引用信息

如需在研究中引用此数据集，请使用以下文献： bibtex @article{guo2024autoencoding, title={Autoencoding a Soft Touch to Learn Grasping from On-Land to Underwater}, author={Guo, Ning and Han, Xudong and Liu, Xiaobo and Zhong, Shuqiao and Zhou, Zhiyuan and Lin, Jian and Dai, Jiansheng and Wan, Fang and Song, Chaoyang}, journal={Advanced Intelligent Systems}, volume={6}, number={1}, pages={2300382}, year={2024}, publisher={Wiley Online Library}, doi = {10.1002/aisy.202300382} }

搜集汇总

数据集介绍

构建方式

在软体机器人触觉感知研究领域，FingerNet-Img-40k数据集通过系统化实验采集构建而成。该数据集包含约四万组样本，涵盖陆地与水下两种环境下的软体手指交互数据。每一条记录均整合了640×480像素的高清图像与六维力扭矩测量值，数据以标准化Parquet格式分环境存储，确保了数据结构的统一性与可扩展性。

特点

该数据集的核心特点在于其多模态特性，同步提供视觉图像与物理力传感数据。图像通道清晰呈现软体手指的形变状态，而六维力扭矩向量则精确量化了交互过程中的力学特性。数据集按实验环境划分为陆地与水下两大场景，并标注了接触物体名称，为跨环境适应性研究提供了关键支撑。

使用方法

研究者可通过HuggingFace数据集库直接调用该资源，使用load_dataset函数并指定onland或underwater配置即可载入对应环境数据。数据以字典形式返回，包含图像张量、力扭矩数组及元数据字段，支持直接输入深度学习管道进行触觉表征学习或跨模态分析。

背景与挑战

背景概述

软体机器人抓取技术作为机器人学的前沿分支，近年来在跨环境操作领域展现出巨大潜力。由郭宁等研究人员于2024年通过《Advanced Intelligent Systems》期刊发布的FingerNet-Img-40k数据集，聚焦于软体手指与多物体交互过程中的视觉-力觉融合表征学习。该数据集包含陆地与水下两种环境下的四万余组图像与六维力扭矩数据，旨在解决传统刚性抓取模型在非结构化环境中适应性不足的核心问题，为跨介质机器人操作研究提供了关键基准。

当前挑战

该数据集致力于攻克软体机器人跨环境抓取中的多模态感知难题，具体体现为从陆地到水下场景迁移时由流体动力学引起的力觉信号畸变与视觉特征退化。在构建过程中，研究人员面临双重挑战：一方面需同步采集高精度六维力扭矩数据与动态变形图像，确保时空对齐精度；另一方面要克服水下环境的光学折射与悬浮颗粒干扰，维持数据采集的稳定性与一致性。

常用场景

经典使用场景

在软体机器人触觉感知研究中，FingerNet-Img-40k数据集为多模态学习提供了关键支撑。其经典应用场景集中于通过视觉图像与六维力-力矩数据的联合分析，模拟软体手指在不同环境下的抓取过程。陆地与水下的双环境配置使研究者能够系统探索触觉感知机制在异质介质中的泛化能力，为跨域操作任务奠定数据基础。

解决学术问题

该数据集有效解决了软体机器人领域触觉表征学习的核心难题。通过同步采集的视觉-力觉数据对，研究者可量化分析材料形变与受力关系的非线性映射，突破传统刚性模型在柔体交互中的局限性。其跨环境数据支撑了领域自适应算法的验证，显著推进了水下机器人抓取控制的理论发展。

衍生相关工作

该数据集已催生系列创新研究，如基于变分自编码器的跨域触觉表征学习框架。后续研究拓展至多模态融合网络架构设计，实现了从陆地到水下环境的零样本抓取策略迁移。相关成果还推动了软体机器人数字孪生系统的构建，为触觉感知的仿真建模提供了标准验证平台。