OpenLLM-Ro/ro_sft_pixmo_cap_qa

PixmoCapQA是一个关于图像的合成问答对数据集。这里我们提供了PixmoCapQA数据集的罗马尼亚语翻译，使用[Seed-X-PPO](ByteDance-Seed/Seed-X-PPO-7B)进行翻译。该数据集是《“Înțelegi românește?” A Recipe for Romanian Vision-Language Models》（Masala等人，2026年）中提出的罗马尼亚视觉语言模型指令微调协议的一部分。

PixmoCapQA is a synthetic question-answering pair dataset focused on images. Here we provide the Romanian translation of the PixmoCapQA dataset, which was translated using [Seed-X-PPO](ByteDance-Seed/Seed-X-PPO-7B). This dataset is part of the instruction tuning protocol for Romanian vision-language models proposed in *"Înțelegi românește?" A Recipe for Romanian Vision-Language Models* (Masala et al., 2026).

搜集汇总

数据集介绍

构建方式

该数据集源于PixmoCapQA，一个以图像为中心的合成问答数据集。为了适配罗马尼亚语视觉语言模型的指令微调流程，研究者借助Seed-X-PPO翻译引擎将原始英文数据逐一转换为罗马尼亚语。构建过程保留了原始数据的三层结构：图像标识符（id）、图像序列（images）以及对话消息（messages），并额外存储翻译前的原始消息（raw_messages）以供对照。最终在训练集中汇集了207074条样本，形成了规模庞大的多模态语料库。

特点

数据集最显著的特点在于其双语对齐特性——每一条样本均包含罗马尼亚语与原始英文的问答对，使得模型能够在跨语言场景下学习图像理解。此外，数据全部为合成生成，具备高度可控性与一致性，避免了自然采集中的噪声与偏差。70余万图像与20余万问答对的组合，为罗马尼亚语视觉语言模型的指令微调提供了坚实的数据基础，尤其适用于训练模型执行细粒度图像描述与复杂推理任务。

使用方法

使用该数据集时，可直接通过HuggingFace的datasets库加载默认配置的train分片。每条数据包含image字段用于获取图像张量，messages字段提供罗马尼亚语问答序列，role与content分别表示对话角色与文本内容。研究者可按需筛选字段进行模型训练：若专注罗马尼亚语理解，则利用messages作为目标输出；若想要进行双语对比训练，则可同时使用messages与raw_messages进行对比学习。数据已预分块并存储为parquet格式，便于高效流式读取。

背景与挑战

背景概述

在大规模视觉语言模型（VLM）的预训练与指令微调过程中，高质量、多语言的图像问答数据对模型的泛化能力至关重要。本研究提出的ro_sft_pixmo_cap_qa数据集由Masala、Leordeanu、Dascalu和Rebedea等研究人员于2026年构建，源自Allen AI发布的英文PixmoCapQA数据集，并通过Seed-X-PPO模型进行罗马尼亚语翻译而成。该数据集作为罗马尼亚语视觉语言模型指令微调协议的核心组成部分，旨在解决低资源语言在视觉语言任务中的数据匮乏问题。其核心研究问题在于验证机器翻译方法能否有效迁移高质量的图像问答数据，从而支撑罗马尼亚语VLM的构建。该工作发表于arXiv（2605.31401），为小语种视觉语言模型的开发提供了可复现的数据基础与实验范式。

当前挑战

该数据集面临的核心挑战包括：首先，领域问题层面，罗马尼亚语等低资源语言缺乏大规模、人工标注的视觉语言指令数据，直接阻碍了本地化VLM的监督微调效果，现有模型多依赖英语数据或粗糙的机器翻译，导致语义偏差与回答质量下降。其次，构建过程中，将英文合成问答对翻译为罗马尼亚语时，需克服视觉概念与文化意象的跨语言映射难题，机器翻译模型可能产生语法错误、术语歧义或上下文不一致。此外，确保翻译后的问答对在罗马尼亚语语境中保持语义准确与自然流畅，同时覆盖足够的视觉场景多样性，对数据质量控制提出了严苛要求。

常用场景

经典使用场景

ro_sft_pixmo_cap_qa数据集专为罗马尼亚语视觉语言模型的指令微调而设计，其经典使用场景在于通过图像与问答对的配对数据，提升模型在多模态理解任务中的表现。该数据集基于PixmoCapQA的合成问答对，经Seed-X-PPO模型翻译为罗马尼亚语，确保了语言的自然性与多样性。研究者常将其用于训练能够同时处理视觉输入与罗马尼亚语文本的VLM，例如在图像描述生成、视觉问答等任务中，模型需根据给定图片准确回答罗马尼亚语问题，从而验证跨语言多模态对齐的有效性。

衍生相关工作

该数据集衍生了一系列关于多语言VLM指令微调与翻译数据质量的研究工作。最为典型的包括Masala等人提出的罗马尼亚语VLM训练配方‘Înțelegi românește?’，该工作明确了如何利用ro_sft_pixmo_cap_qa结合其他资源构建高效的多模态模型。此外，该数据集激发了针对翻译数据噪声鲁棒性的探讨，催生了过滤低质量问答对的后处理方法。相关研究还延伸至跨语言VLM的零样本迁移领域，验证了罗马尼亚语微调数据在提升模型多语言泛化能力中的关键作用。

数据集最近研究

最新研究方向

该数据集聚焦于罗马尼亚语视觉-语言模型的指令微调优化，通过将英文图像问答数据集PixmoCapQA翻译为罗马尼亚语，为低资源语言的多模态模型训练提供高质量监督数据。结合Seed-X-PPO翻译模型与大量合成数据，研究旨在缩小罗马尼亚语与主流语言在视觉语言任务上的性能鸿沟，推动多模态AI的语言包容性发展。