OpenLLM-Ro/ro_sft_cosyn

CoSyn是一个关于计算机生成图像的多样化合成问答对集合。这里提供的是CoSyn数据集（matplotlib-chart、plotly-chart和plotly-table类型）的罗马尼亚语翻译版本，使用Seed-X-PPO进行翻译（包括代码和数据）。该数据集是罗马尼亚视觉语言模型指令微调协议的一部分，相关研究见论文Înțelegi românește? A Recipe for Romanian Vision-Language Models。

CoSyn is a collection of synthetic question-answer pairs about very diverse range of computer-generated images. Here we provide the Romanian translation of the CoSyn dataset (matplotlib-chart, plotly-chart and plotly-table), translated (code + data) with Seed-X-PPO. This dataset is part of the instruction finetune protocol for Romanian VLMs proposed in Înțelegi românește? A Recipe for Romanian Vision-Language Models.

搜集汇总

数据集介绍

构建方式

本数据集源自CoSyn-400K，这是一个包含大量由计算机生成图像的合成问答对集合。针对罗马尼亚语视觉-语言模型（VLM）的指令微调需求，研究团队利用Seed-X-PPO-7B模型，将原数据集中的代码与数据进行了罗马尼亚语翻译，从而构建出ro_sft_cosyn数据集。该数据集涵盖了matplotlib-chart、plotly-chart和plotly-table三类图表图像，确保了图像内容的多样性和专业性。

特点

ro_sft_cosyn数据集具有鲜明的多模态特性，每条样本不仅包含图像，还配有结构化的问答对、解释性文本、代码及元数据，便于模型进行深层次理解与推理。数据集规模宏大，训练集包含426958个样本，总数据量超过128GB，为训练高性能罗马尼亚语VLM提供了坚实基础。其特点在于高度合成的图像内容与翻译后语言的自然性相结合，有效弥合了视觉与语言之间的语义鸿沟。

使用方法

该数据集专为罗马尼亚语视觉-语言模型的指令微调而设计。使用时，可直接加载HuggingFace上的默认配置，通过读取'train'分片中的图像和对话消息（messages）字段进行模型训练。研究人员可将图像与对应的罗马尼亚语问答对作为输入，利用其中的解释和代码辅助模型学习图表解读与逻辑推理能力。数据集采用CC-BY-NC-4.0许可协议，适用于学术研究及非商业场景。

背景与挑战

背景概述

在视觉语言模型（VLM）领域，多模态指令微调数据的稀缺性与语言多样性问题长期制约着模型的泛化能力。由Allen AI研究所于2025年提出的CoSyn-400K数据集，通过代码引导合成技术生成了涵盖图表、表格等多样化计算机图像的问答对，为文本丰富图像理解提供了规模化训练资源。在此背景下，罗马尼亚布加勒斯特理工大学的研究团队（Masala等人）针对罗马尼亚语VLM的指令微调需求，于2026年创建了ro_sft_cosyn数据集。该数据集利用Seed-X-PPO模型将CoSyn子集（matplotlib-chart、plotly-chart、plotly-table）的代码与数据进行罗马尼亚语翻译，共包含426,958个训练样本。作为罗马尼亚语VLM研究的重要里程碑，ro_sft_cosyn解决了低资源语言多模态数据缺失的核心问题，推动了罗马尼亚语视觉语言模型的发展。

当前挑战

ro_sft_cosyn数据集面临的挑战主要体现在两个方面。首先，在领域问题层面，罗马尼亚语作为低资源语言，其视觉语言模型面临双语对齐困难与标注数据匮乏的困境，现有模型在罗马尼亚语图表理解、表格解析等任务上性能显著弱于英语。该数据集通过翻译合成数据，虽缓解了训练数据不足，但机器翻译引入的语义偏差与术语不一致性可能降低模型对罗马尼亚语特有表达的理解鲁棒性。其次，在构建过程中，从CoSyn的英文代码与数据到罗马尼亚语的高质量翻译需处理代码逻辑与自然语言的异构性，Seed-X-PPO模型的翻译能力直接影响数据质量；此外，保持图表中数值、标签等关键信息的精确转换，以及确保多轮问答中上下文一致性，均对数据构建提出了严苛要求。

常用场景

经典使用场景

ro_sft_cosyn数据集专为罗马尼亚语视觉语言模型的指令微调而设计，其经典使用场景聚焦于多模态对话系统的构建与优化。该数据集涵盖了由计算机生成的多样化图像，包括matplotlib图表、plotly图表与plotly表格，并配以合成的问题-答案对。研究者可借此训练模型在视觉与语言模态间建立精准映射，提升对图表类图像的理解与推理能力，尤其适用于需要处理结构化视觉信息的对话任务。

实际应用

在实际应用中，ro_sft_cosyn可用于开发面向罗马尼亚语用户的智能数据分析助手、教育辅导工具及可视化报告生成系统。例如，模型可基于用户对图表的自然语言提问，生成准确的罗马尼亚语解释或答案，助力非技术用户理解复杂数据。此外，该数据集还可支撑自动化文档理解、问答系统及多语言视觉助手等产品落地。

衍生相关工作

该数据集衍生了一系列相关研究工作，特别是围绕低资源语言多模态模型的构建与评估。其原始英文版本CoSyn-400K推动了代码引导的合成多模态数据生成范式，而ro_sft_cosyn则在此基础上开创了罗马尼亚语视觉语言模型的指令微调流程。相关工作包括利用Seed-X-PPO模型进行跨语言翻译与代码对齐，以及探讨小语种视觉语言模型在图表理解任务上的性能提升策略。