OpenLLM-Ro/ro_sft_flickr30k_qa

Flickr30k是一个包含多张图像的数据集，每张图像都有多个众包详细描述。这里托管的是Flickr30k数据集的罗马尼亚语翻译版本（问答任务），由Dima和Cercel翻译。该数据集是Masala等人提出的罗马尼亚视觉语言模型指令微调协议的一部分。

Flickr30k is a dataset with images that contain multiple crowd-sourced detailed captions. Here we host the Romanian translation of the Flickr30k dataset (QA task), translated by Dima and Cercel. This dataset is part of the instruction finetune protocol for Romanian VLMs proposed in "Înțelegi românește?" A Recipe for Romanian Vision-Language Models (Masala et al., 2026).

搜集汇总

数据集介绍

构建方式

本数据集基于广泛使用的Flickr30k图像描述数据集，针对问答任务进行了罗马尼亚语翻译与适配。由Dima与Cercel等研究者通过机器翻译与人工校验相结合的方式，将原始英文问答对转换为高质量罗马尼亚语版本。数据保留了原始图像的标识符与视觉内容，并按照指令微调协议进行结构化处理，每条记录包含问题、答案以及多轮对话格式的messages字段，便于多模态语言模型的训练与评估。

特点

数据集包含25,426条训练样本，覆盖丰富的日常场景与物体类别，每个样本均关联一幅图像及对应的罗马尼亚语问答对。其独特之处在于支持两种使用模式：可直接利用question与answer字段进行标准视觉问答训练，也可通过messages字段模拟多轮对话场景，增强模型的交互能力。此外，数据采用CC-BY-NC-4.0许可协议，确保非商业用途下的开放共享。

使用方法

使用者可通过HuggingFace Datasets库加载默认配置下的训练集，数据以parquet格式分片存储。推荐将其作为罗马尼亚语视觉语言模型的指令微调数据，在训练时可根据任务需求选择加载question-answer对或messages对话序列。与Flickr30K-RoQA原始数据结合，可进一步扩展为多任务学习基准。建议配合罗马尼亚语图像描述或视觉推理任务进行联合训练，以提升模型对低资源语言的语义理解与视觉关联能力。

背景与挑战

背景概述

在视觉语言模型（VLM）领域，多模态指令微调是提升模型跨模态理解与生成能力的关键技术。然而，现有大规模视觉问答数据集主要集中于英语等资源丰富的语言，低资源语言如罗马尼亚语的标注数据极为匮乏，严重制约了该语言领域VLM的发展。为此，Masala等人于2026年提出了罗马尼亚语VLM的训练框架，并构建了ro_sft_flickr30k_qa数据集。该数据集由Dima与Cercel将经典的Flickr30k英文问答对翻译为罗马尼亚语而成，包含25426个训练样本，旨在为罗马尼亚语视觉问答任务提供高质量的指令微调数据。该工作填补了罗马尼亚语多模态语料库的空白，为低资源语言的VLM研究奠定了坚实基础，具有重要的学术价值与应用前景。

当前挑战

该数据集面临的首要挑战源自其解决的领域问题：罗马尼亚语作为低资源语言，缺乏大规模、高质量的多模态训练数据，现有VLM在罗马尼亚语场景下视觉问答与指令跟随能力显著不足。构建过程中，研究者需将Flickr30k的英文问答对精确翻译为罗马尼亚语，这不仅要求对视觉内容的准确理解，还需处理语言特有的语法与文化适配问题，确保译文与图像的语义一致性。此外，翻译后的数据还需经严格质量审核以消除歧义与错误，而人工校验资源有限，进一步增加了数据集的构建难度。这些挑战共同决定了该数据集在低资源多模态场景中的独特性与稀缺性。

常用场景

经典使用场景

在视觉与语言交叉领域的研究中，ro_sft_flickr30k_qa数据集承担着弥合多模态理解与低资源语言鸿沟的关键角色。该数据集源自经典图像理解基准Flickr30k，经由专业的罗马尼亚语翻译与人工校验，构建起包含图像、问题与答案三元组的高质量语料库。其经典使用场景聚焦于视觉问答任务的跨语言迁移学习，研究者利用该数据集对罗马尼亚语视觉语言模型进行指令微调，使模型能够依据图像内容准确回答以罗马尼亚语呈现的自然语言问题，从而推动多模态模型的语言覆盖范围从英语向小众语言延展。

衍生相关工作

该数据集是罗马尼亚语视觉语言模型研究浪潮的重要基石，直接促成了多项具有影响力的后续工作。Dima与Cercel在其研究中利用本数据集验证了参数高效微调方法（如LoRA）在多模态指令遵循任务中的有效性，所提出的微调管线成为低资源视觉语言模型的标准参考。Masala等人进一步在此基础上构建了完整的罗马尼亚语视觉语言模型配方，通过系统对比不同基础模型与微调策略，揭示了语言适配过程中的关键挑战与解决方案。这些衍生的经典工作共同塑造了面向罗曼语族的多模态学习新范式，并激发了诸如罗马尼亚语图像描述、视觉对话等更丰富任务的探索。

数据集最近研究

最新研究方向

该数据集聚焦于罗马尼亚语视觉语言模型的指令微调，通过将Flickr30k问答任务进行罗马尼亚语翻译，为低资源语言的多模态理解研究提供了关键资源。当前前沿方向是探索参数高效的多模态指令微调方法，以提升罗马尼亚语视觉问答（VQA）性能，并推动多语种多模态模型在零样本和跨语言迁移场景下的泛化能力。这一工作响应了欧盟及全球对语言多样性和数字公平的追求，对构建包容性人工智能基础设施具有重要意义，也为其他低资源语言的多模态研究树立了范式。