five

Faces in Things|计算机视觉数据集|人脸检测数据集

收藏
arXiv2024-09-24 更新2024-09-26 收录
计算机视觉
人脸检测
下载链接:
https://aka.ms/faces-in-things
下载链接
链接失效反馈
资源简介:
Faces in Things数据集由麻省理工学院和微软等机构创建,包含5000张标注了人脸幻觉(pareidolia)的网络图片。该数据集用于研究计算机视觉中的人脸检测系统是否表现出类似人类的幻觉现象。数据集内容包括图片的边界框和基本面部属性,如情感、性别和意图。创建过程涉及从LAION-5B数据集中采样候选图片,并通过人工标注去除包含实际人类或动物面部的图片。该数据集主要应用于计算机视觉领域,旨在解决人脸检测系统中的幻觉现象,并探索如何改进这些系统的性能。
提供机构:
麻省理工学院, 微软, 丰田研究院, NVIDIA
创建时间:
2024-09-24
AI搜集汇总
数据集介绍
main_image_url
构建方式
Faces in Things数据集的构建基于对五千张网络图像的精心筛选与标注。研究团队从LAION-5B数据集中采样候选图像,通过CLIP检索技术筛选出与‘pareidolia’、‘faces in things’等关键词相关的图像。随后,这些图像经过去重、尺寸调整及手动标注,确保每张图像中不包含真实的人类或动物面孔。标注过程包括对图像中面孔的边界框标注及基本面部属性的描述,如情感、性别和意图。最终,数据集被随机分为训练集(70%)和测试集(30%),以支持后续的实验与分析。
特点
Faces in Things数据集的显著特点在于其专注于面孔错觉(pareidolia)现象,提供了丰富的标注信息。每张图像不仅包含面孔的边界框,还详细标注了面孔的情感、性别和意图等属性,这些信息为研究面孔错觉的机制提供了宝贵的数据支持。此外,数据集的构建过程中严格排除了真实面孔的干扰,确保了数据集的纯净性和研究目标的单一性。
使用方法
Faces in Things数据集可用于多种计算机视觉研究,特别是面孔检测和错觉现象的研究。研究者可以利用该数据集训练和评估面孔检测算法,探索机器与人类在面孔识别上的差异。此外,数据集中的详细标注信息可用于情感分析、性别识别等高级视觉任务。通过分析数据集中的面孔错觉现象,研究者还可以深入理解人类视觉系统的特性,从而改进现有的计算机视觉模型,提升其在复杂环境下的鲁棒性和准确性。
背景与挑战
背景概述
Faces in Things数据集由Mark Hamilton、Simon Stent、Vasha DuTell等研究人员于2024年创建,旨在从计算机视觉的角度研究面孔错觉现象(pareidolia)。该数据集包含了五千张经过人工标注的网络图片,这些图片中包含了人类在随机刺激中感知到的面孔。通过这一数据集,研究团队探讨了最先进的面部检测器在面孔错觉现象中的表现,并发现人类与机器之间存在显著的行为差异。这一研究不仅揭示了人类视觉系统对面孔检测的进化需求,还提出了一个简单的统计模型来解释图像中的面孔错觉现象。Faces in Things数据集的发布为计算机视觉社区提供了宝贵的资源,有助于进一步探索和理解面孔错觉现象及其在视觉感知中的作用。
当前挑战
Faces in Things数据集面临的挑战主要集中在两个方面。首先,面孔错觉现象的领域问题本身具有高度复杂性和主观性,这使得数据集的构建和标注过程充满了挑战。其次,在构建过程中,研究人员必须确保数据集中的图片不包含真实的人类或动物面孔,这增加了数据筛选和处理的难度。此外,面孔错觉现象的检测与传统的面部检测任务不同,现有的面部检测器在处理这类数据时表现不佳,这要求研究者开发新的模型和方法来弥合这一差距。通过Faces in Things数据集,研究者不仅需要解决技术上的挑战,还需深入理解人类视觉系统的内在机制,以推动计算机视觉技术的发展。
常用场景
经典使用场景
Faces in Things数据集的经典使用场景在于研究人脸错觉现象,即人脸在非人脸物体中的识别。通过该数据集,研究者可以评估最先进的人脸检测算法在识别错觉人脸时的表现,并探索人类与机器在人脸检测上的行为差异。此外,数据集还可用于开发和验证新的算法,以提高机器在复杂视觉环境中的鲁棒性和准确性。
衍生相关工作
Faces in Things数据集的发布催生了一系列相关研究工作,包括对人脸错觉现象的深入神经科学研究,以及开发新的计算机视觉算法以模拟人类视觉系统的行为。此外,该数据集还激发了对跨模态识别和跨描绘问题的研究,探索如何在不同视觉表现形式中识别相同对象。这些研究不仅扩展了计算机视觉的边界,也为人工智能在复杂视觉环境中的应用提供了新的思路。
数据集最近研究
最新研究方向
在人脸识别领域,Faces in Things数据集的最新研究方向聚焦于探索人脸幻觉(pareidolia)现象的计算机视觉模型。该数据集由五千张包含人类标注的幻觉人脸的网络图像组成,旨在研究现代人脸检测系统在多大程度上表现出幻觉现象。研究发现,尽管最先进的人脸检测神经网络在常规人脸检测基准上表现出色,但在检测幻觉人脸时存在显著的行为差异。研究进一步提出,人类对动物面孔的检测需求可能解释了这一差异,并提出了一个简单的统计模型来描述图像中的幻觉现象。通过人类受试者和幻觉人脸检测器的研究,验证了模型关于引发幻觉的最佳图像条件的预测。这些研究不仅有助于理解人类视觉系统的鲁棒性,还为减少人脸检测中的幻觉误报提供了新的视角。
相关研究论文
  • 1
    Seeing Faces in Things: A Model and Dataset for Pareidolia麻省理工学院, 微软, 丰田研究院, NVIDIA · 2024年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

ROBEL

ROBEL是一个开源的低成本机器人平台,专为现实世界的强化学习设计。该平台由谷歌研究院和加州大学伯克利分校共同开发,包含两个机器人:D'Claw,一个三指手机器人,用于促进精细操作任务的学习;D'Kitty,一个四足机器人,用于促进敏捷的腿式移动任务学习。这些模块化机器人易于维护且足够坚固,能够承受从零开始的硬件强化学习,目前已记录超过14000小时的训练时间。ROBEL提供了一系列连续控制基准任务,这些任务具有密集和稀疏的任务目标,并引入了硬件安全评分指标。数据集和相关材料可在www.roboticsbenchmarks.org访问,旨在解决强化学习在真实机器人上的应用问题,特别是在处理物理限制和环境交互方面的挑战。

arXiv 收录

PCLT20K

PCLT20K数据集是由湖南大学等机构创建的一个大规模PET-CT肺癌肿瘤分割数据集,包含来自605名患者的21,930对PET-CT图像,所有图像都带有高质量的像素级肿瘤区域标注。该数据集旨在促进医学图像分割研究,特别是在PET-CT图像中肺癌肿瘤的分割任务。

arXiv 收录

Breast Cancer Dataset

该项目专注于清理和转换一个乳腺癌数据集,该数据集最初由卢布尔雅那大学医学中心肿瘤研究所获得。目标是通过应用各种数据转换技术(如分类、编码和二值化)来创建一个可以由数据科学团队用于未来分析的精炼数据集。

github 收录

中国区域地面气象要素驱动数据集 v2.0(1951-2020)

中国区域地面气象要素驱动数据集(China Meteorological Forcing Data,以下简称 CMFD)是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素,时间分辨率为 3 小时,水平空间分辨率为 0.1°,时间长度为 70 年(1951~2020 年),覆盖了 70°E~140°E,15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据,并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品,其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展,其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本,而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集,但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外,在制作 CMFD 2.0 的过程中,研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息,显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时,CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 70 年,并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同,但其有效数据扩展到了中国之外,能够更好地支持跨境区域研究。为方便用户使用,CMFD 2.0 还在基础变量集之外提供了若干衍生变量,包括近地面相对湿度、雨雪分离降水产品等。此外,CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术,转而直接将实型数据压缩存储于 NetCDF4 格式文件中,从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7,但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变,故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致,仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新,以修正其长期趋势存在的问题。2021 年至 2024 年的 CMFD 数据正在制作中,计划于 2025 年上半年发布,从而使 CMFD 2.0 延伸至 2024 年底。

国家青藏高原科学数据中心 收录

中国区域教育数据库

该数据集包含了中国各区域的教育统计数据,涵盖了学校数量、学生人数、教师资源、教育经费等多个方面的信息。

www.moe.gov.cn 收录