allenai/pixmo-points

PixMo-Points是一个包含图像与指代表达式配对的数据集，其中指代表达式标记了图像中表达的位置。该数据集通过人工注释收集，包含了多样化的点和表达，其中许多是高频率（10+）的表达。PixMo-Points是PixMo数据集集合的一部分，用于提供Molmo模型家族的指向能力。数据集中的图像以URL形式存储，需要单独下载。点的坐标以像素为单位，标签字段包含指向对象的名称或更复杂的指代表达式。收集方法字段指定了图像是用于高频计数（counting）还是通用指向（pointing）。图像哈希值用于验证下载的图像是否与注释的图像匹配。

PixMo-Points is a dataset of images paired with referring expressions and points marking the locations the referring expression refers to in the image. It was collected using human annotators and contains a diverse range of points and expressions, with many high-frequency (10+) expressions. PixMo-Points is a part of the PixMo dataset collection and was used to provide the pointing capabilities of the Molmo family of models. Images are stored as URLs that will need to be downloaded separately. The points field contains the x, y coordinates specified in pixels. The label field contains the string name of what is being pointed at, this can be a simple object name or a more complex referring expression. The collection_method field specifies whether the image was chosen to target high-frequency counting (counting) or general pointing (pointing). Image hashes are included to support double-checking that the downloaded image matches the annotated image.

搜集汇总

数据集介绍

构建方式

在视觉语言理解领域，精准的指代定位能力是智能系统与人类交互的关键。PixMo-Points数据集正是为此而生，它由人类标注者精心构建，收集了包含指代表达式及其对应图像坐标点的海量图像对。每个样本由图像URL、图像哈希值、点坐标列表、坐标数量、标签文本以及采集方式字段组成，其中点坐标以像素为单位精确标注。数据集特别关注高频表达（出现10次以上），并采用两种采集策略：针对高频计数的“counting”模式和通用指代的“pointing”模式，从而覆盖了从简单物体名称到复杂指代表达式的广泛场景，总计包含超过237万条训练样本。

特点

该数据集最显著的特点在于其高质量的细粒度指代标注。每个样本不仅提供了精确的像素级坐标点，还配备了对应的语义标签，使得模型能够学习将自然语言表达与图像中的具体位置建立关联。数据来源的多样性体现在丰富的指代表达式和高频重复标注上，这为训练鲁棒的指代定位模型奠定了坚实基础。此外，图像哈希值的引入确保了数据完整性，用户可通过验证哈希值来确认下载图像与标注图像的一致性，从而保证了研究的可复现性。

使用方法

使用PixMo-Points数据集时，可通过HuggingFace Datasets库便捷加载。加载后，需注意图像以URL形式存储，需单独下载。推荐的做法是利用请求库获取图像二进制数据，并通过SHA-256哈希校验确保图像与标注匹配。数据集的分裂结构仅包含训练集，适合直接用于模型训练。在实际应用中，可将点坐标作为回归目标，标签文本作为辅助监督信号，结合预训练的视觉语言模型进行微调，以提升模型在指代定位任务上的性能。

背景与挑战

背景概述

在视觉语言理解领域，如何使模型能够精准理解自然语言指代并定位图像中对应位置，一直是多模态研究的前沿课题。为此，艾伦人工智能研究所（Ai2）于2024年发布了PixMo-Points数据集，作为其PixMo数据集集合的重要组成部分。该数据集由人类标注员精心构建，包含超过237万张图像及其对应的指代表达和像素级坐标点，旨在为Molmo系列模型提供指向能力训练的基础。其核心研究问题聚焦于如何通过大规模、高质量的点标注数据，赋予视觉语言模型对复杂指代表达的精确空间理解能力。PixMo-Points的推出不仅填补了细粒度指代定位数据集的空白，更推动了多模态模型在交互式视觉理解任务中的性能突破，对相关领域产生了深远影响。

当前挑战

PixMo-Points所面临的挑战体现在多个层面。在领域问题层面，该数据集致力于解决视觉语言模型对指代表达的精准空间定位难题，这要求模型不仅要识别图像中的物体，还需理解复杂短语（如“左侧穿红衣服的人”）的语义，并将其映射到精确的像素坐标，这一过程涉及语义解析与空间推理的深度融合。在构建过程中，挑战同样严峻：首先，需要确保标注员对指代表达的理解一致性，避免歧义导致的标注偏差；其次，图像来源的多样性要求标注点覆盖高频与稀有表达，以平衡数据分布；此外，数据质量控制需通过图像哈希校验机制，确保下载图像与标注图像的一致性，防止因URL失效或图像篡改引入噪声。这些挑战共同构成了数据集构建与应用的复杂性。

常用场景

经典使用场景

PixMo-Points数据集的核心应用在于为多模态大语言模型提供精细化的视觉指代理解能力。该数据集收集了海量图像与自然语言指代表达的配对，并通过人工标注精确标记出表达所指代的像素级坐标点。研究者可借助这一资源，训练模型在复杂视觉场景中精准定位并理解诸如“左侧第三只猫的尾巴尖”这类包含空间关系与属性描述的指代短语，从而显著提升视觉语言模型在细粒度图像理解与跨模态对齐任务上的表现。

解决学术问题

在学术研究中，PixMo-Points重点解决了视觉语言模型在指代理解与空间定位上的长期瓶颈。传统数据集往往仅提供粗糙的边界框或类别标签，难以捕捉自然语言中丰富的空间语义与精细粒度。该数据集通过大量高频指代表达与精确点标注，使模型能够学习到语言与视觉坐标之间的映射关系，推动了从简单目标检测向复杂指代解析的范式转变，并为评估模型的空间推理能力提供了标准化基准，深刻影响了多模态学习与视觉 grounding 领域的发展方向。

衍生相关工作

PixMo-Points数据集直接衍生并支撑了Molmo系列多模态大语言模型的指代点能力，后者在开放词汇视觉定位与视觉对话任务上展现出卓越性能。该数据集的构建理念也启发了后续一系列关于视觉指代精细化标注与多模态对齐的研究工作，例如将点标注与分割掩码结合的混合标注策略，以及利用点监督信号进行弱监督语义分割的探索。这些工作共同推动了视觉语言模型从粗粒度理解迈向像素级交互的演进。