OpenLLM-Ro/ro_sft_pixmo_count

PixmoCount 是一个包含图像及其内部对象数量的数据集。这里我们提供的是 PixmoCount 数据集的罗马尼亚语翻译版本，使用 Seed-X-PPO 进行翻译。该数据集是用于罗马尼亚视觉语言模型指令微调协议的一部分，如论文《"Înțelegi românește?" A Recipe for Romanian Vision-Language Models》中所提出。

PixmoCount is a dataset that includes images paired with the counts of objects present within each image. We hereby present the Romanian translated iteration of the PixmoCount dataset, which was translated using Seed-X-PPO. This dataset is part of the instruction tuning protocol for Romanian vision-language models, as proposed in the paper titled "Înțelegi românește?" A Recipe for Romanian Vision-Language Models.

搜集汇总

数据集介绍

构建方式

该数据集源自AllenAI发布的PixmoCount，原始数据为图像及其中物体数量的配对集合。为适配罗马尼亚语视觉语言模型的指令微调，研究团队采用Seed-X-PPO模型（ByteDance-Seed/Seed-X-PPO-7B）对原始数据进行罗马尼亚语翻译。数据集包含34,579个训练样本，每个样本涵盖图像、罗马尼亚语标签、物体计数、标注点坐标以及多轮对话消息，结构严谨且信息丰富。

特点

数据集的显著特色在于其双语跨模态对齐能力，通过高质量机器翻译将英文视觉计数数据迁移至罗马尼亚语。每个样本不仅提供精确的物体计数数值和对应坐标点，还包含符合指令微调格式的多轮对话消息，有效支撑罗马尼亚语VLMs的精细调优。其CC-BY-NC-4.0许可协议确保了非商业研究的开放使用。

使用方法

用户可通过HuggingFace Datasets库直接加载该数据集，指定`config_name='default'`并读取训练分片。图像字段为序列格式，支持多图输入；坐标点以浮点数列表结构存储，便于空间定位任务。典型用法是结合罗马尼亚语消息字段构建指令-响应对，从而训练视觉语言模型完成计数及物体识别等下游任务。

背景与挑战

背景概述

在多模态人工智能领域，视觉语言模型（VLM）的涌现显著推动了图像理解与自然语言交互的融合。然而，大多数先进VLM的训练数据集中于英语，导致其在低资源语言场景下的表现受限。PixMoCount数据集由艾伦人工智能研究所（Allen Institute for AI）于2025年提出，旨在提供图像中物体计数的细粒度标注，支持VLM完成数量感知的视觉推理任务。在此基础上，Masala等人于2026年发布了罗马尼亚语翻译版本ro_sft_pixmo_count，该数据集采用Seed-X-PPO模型进行翻译，是《Înțelegi românește?》研究中构建罗马尼亚语VLM指令微调协议的核心组成部分。该数据集不仅拓展了PixMoCount的多语言适用性，也为低资源语言的视觉推理研究提供了关键基准，促进了多模态模型在非英语环境中的公平性与包容性。

当前挑战

ro_sft_pixmo_count数据集所解决的领域挑战主要在于视觉计数任务的跨语言迁移难题，即如何使VLM在罗马尼亚语环境下准确理解并生成与物体数量相关的描述。现有模型在英语计数任务上表现良好，但缺少高质量、多语言的标注数据集来支撑泛化。构建过程中的挑战包括：1) 原始PixMoCount数据集为英语语境设计，翻译为罗马尼亚语需要保持数值与图像内容的高度一致性，避免语义失真；2) 采用Seed-X-PPO模型进行机器翻译时，需确保计数标签（如数字和位置点）不被误译或丢失，这对翻译质量与对齐精度提出了严苛要求；3) 数据集仅包含34,579个训练样本，规模相对有限，难以覆盖复杂场景下的计数变体，模型可能在低频概念上产生性能下降。

常用场景

经典使用场景

在视觉语言模型的研究中，目标计数任务是一项基础而关键的挑战。ro_sft_pixmo_count数据集专为此而生，它提供了罗马尼亚语翻译的图片-计数对，每张图像都附带了其中物体数量的精确标注。研究者常将其用于微调多模态大语言模型，通过监督学习让模型学会从视觉输入中解析出数量信息，并生成罗马尼亚语的相应回答。这一经典场景不仅验证模型的视觉感知能力，更测试其跨语言语义对齐的深度。

实际应用

在实际应用中，该数据集能够赋能罗马尼亚语的智能交互系统，例如教育辅助工具，帮助学生通过图像理解基础数值概念；亦可用于电子商务平台中自动统计商品数量，或为视障人士设计的图像描述服务，提供精确的对象计数信息。这些场景皆要求模型在真实环境中处理罗马尼亚语指令，而ro_sft_pixmo_count正是校准此类能力的实用基石。

衍生相关工作

围绕该数据集衍生的工作首先基于Molmo和PixMo系列的开创性框架，后者推动了开放权重视觉语言模型的计数能力。随后，Masala等人（2026）通过Seed-X-PPO翻译策略构建此数据集，并融入罗马尼亚语VLM的微调流程，提出了跨语言视觉推理的配方。此外，其原始英文版本Pixmo-count已催生出多种计数感知模型，而本数据集则进一步拓展了多语言评估的边界，激发了低资源语言多模态研究的系列探索。