OpenLLM-Ro/ro_sft_finepdfs

FinePDFs是最大的公开可用PDF语料库，包含约3万亿标记和4.75亿文档，覆盖1733种语言。这里提供的是FinePDFs训练集的罗马尼亚语分割，专门为OCR（光学字符识别）准备：包含图像（页面）和提取文本的配对数据。该数据集是用于罗马尼亚视觉语言模型指令微调协议的一部分，基于论文《Înțelegi românește? A Recipe for Romanian Vision-Language Models》（Masala等人，2026年）。

FinePDFs is the largest publicly available corpus sourced exclusively from PDFs, containing about 3 trillion tokens across 475 million documents in 1733 languages. Here we provide the Romanian split of FinePDFs training set, prepared for OCR: pairs of images (pages) and extracted text. This dataset is part of the instruction finetune protocol for Romanian VLMs proposed in "Înțelegi românește?" A Recipe for Romanian Vision-Language Models (Masala et al., 2026).

搜集汇总

数据集介绍

构建方式

该数据集源自FinePDFs，这是目前最大的公开PDF语料库，涵盖约3万亿词元、4.75亿文档及1733种语言。ro_sft_finepdfs从中提取罗马尼亚语子集，专为光学字符识别（OCR）任务设计。数据集以图像与文本对的形式组织，每对包含PDF页面的扫描图像及其对应的提取文字，并遵循指令微调协议，形成包含角色与内容字段的消息结构，用于训练罗马尼亚语视觉语言模型。

特点

ro_sft_finepdfs具备多模态特性，融合图像与文本数据，专为罗马尼亚语场景优化。其规模庞大，训练集包含379,198个样本，总数据量达282.4GB，确保了丰富的语言与视觉覆盖。数据集采用结构化格式，包含ID、图像序列、文本及消息字段，便于模型进行多轮对话与指令跟随，支撑视觉与语言联合理解任务的微调。

使用方法

用户可从HuggingFace加载该数据集，使用默认配置按需访问训练分片。数据以图像与文本对的形式提供，适用于训练视觉语言模型，如基于OCR的文本识别或图像描述生成。通过定义数据加载流程，可将图像特征与文本消息对齐，结合指令微调框架优化模型在罗马尼亚语场景下的多模态表现，具体实现可参考Masala等人的研究论文。

背景与挑战

背景概述

随着多模态大语言模型的蓬勃发展，视觉-语言模型（VLM）在理解和生成图文内容方面展现出巨大潜力。然而，高质量、多语言、多来源的视觉-语言训练数据仍然稀缺，尤其是针对小语种如罗马尼亚语的资源更是匮乏。在此背景下，由Hugging Face团队Hynek Kydlíček、Guilherme Penedo和Leandro von Werra于2025年发布的FinePDFs数据集应运而生，该数据集是目前最大的公开PDF来源语料库，涵盖约3万亿token，包含1733种语言、4.75亿篇文档。其中，罗马尼亚语子集ro_sft_finepdfs由Masala等人于2026年在论文《“Înțelegi românește?” A Recipe for Romanian Vision-Language Models》中首次提出并用于指令微调，旨在为罗马尼亚语VLM提供标准化的图文对训练数据，填补了该语言在视觉-语言模型领域的空白，对推动小语种多模态研究具有里程碑意义。

当前挑战

该数据集主要解决的领域问题是罗马尼亚语视觉-语言模型的训练数据匮乏和模型对齐困难。由于罗马尼亚语属于资源稀缺语言，现有VLM往往缺乏对罗马尼亚语文本与视觉内容之间关联性的理解能力，导致多模态任务性能不佳。此外，数据集的构建过程面临多重挑战：首先，从FinePDFs庞大语料库中筛选并提取罗马尼亚语PDF文档需要精确的语言识别和清洗流程，以消除噪声和无关内容；其次，将PDF页面转换为图像-文本对涉及高精度的OCR系统，而罗马尼亚语独特的字符与排版风格给文字提取带来了额外困难；最后，为了适配指令微调协议，需要精心设计对话格式的messages字段，确保数据能够有效提升VLM的细粒度图文理解能力，这对数据质量和结构一致性提出了极高要求。

常用场景

经典使用场景

在视觉语言模型（VLM）蓬勃发展的浪潮中，高质、多语言图文数据的重要性与日俱增。ro_sft_finepdfs数据集作为FinePDFs语料库的罗马尼亚语子集，专为OCR场景精心打造，提供了图像与文本的精确配对。该数据集最经典的用途在于支撑罗马尼亚语视觉语言模型的指令微调阶段，通过海量、真实的PDF页面图像及其对应转录文本，使模型能够学习将视觉信息与罗马尼亚语文本书写进行对齐，从而在图文理解与生成任务上实现质的飞跃。

衍生相关工作

该数据集的诞生直接催生了一系列重要的学术探索。其依托的FinePDFs语料库本身即代表了大规模PDF数据整理的最新成果，而ro_sft_finepdfs则作为其典型子集，被正式用于Masala等人2026年的核心工作《'Înțelegi românește?' A Recipe for Romanian Vision-Language Models》。该研究以此数据为基础，系统提出了罗马尼亚语VLM的训练配方与评估方案，成为该领域的奠基性文献。此外，该数据集的发布也激励了更多关于罗马尼亚语多模态指令微调、OCR后处理以及跨语言视觉语义对齐等方向的后续研究。

数据集最近研究

最新研究方向

当前研究前沿聚焦于利用大规模多语言PDF语料库推动视觉-语言模型（VLM）的低资源语言适配。ro_sft_finepdfs数据集作为FinePDFs的罗马尼亚语子集，专门用于指令微调协议，以构建罗马尼亚语视觉语言模型。这一方向紧扣多模态大语言模型在非英语环境中的落地需求，尤其关注OCR驱动的图像-文本对对齐技术。相关热点事件包括Masala等人（2026）提出的“Înțelegi românește?”配方，其系统性地探索了训练数据构成与模型性能之间的关系，显著提升了罗马尼亚语VLM的语义理解与生成能力。该数据集的发布填补了罗马尼亚语多模态语料的空白，为低资源语言的视觉-语言研究提供了标准化基准，并对欧洲语言多样性保护与AI本土化发展具有深远意义。