vidore/colpali_train_set

--- dataset_info: features: - name: image dtype: image - name: image_filename dtype: string - name: query dtype: string - name: answer dtype: string - name: source dtype: string - name: options dtype: string - name: page dtype: string - name: model dtype: string - name: prompt dtype: string - name: answer_type dtype: string splits: - name: train num_bytes: 40887661837.62469 num_examples: 118195 - name: test num_bytes: 172966846.15108374 num_examples: 500 download_size: 52705427788 dataset_size: 41060628683.77577 configs: - config_name: default data_files: - split: train path: data/train-* - split: test path: data/test-* --- ## Dataset Description This dataset is the training set of [ColPali](https://huggingface.co/vidore/colpali) it includes 127,460 query-image pairs from both openly available academic datasets (63%) and a synthetic dataset made up of pages from web-crawled PDF documents and augmented with VLM-generated (Claude-3 Sonnet) pseudo-questions (37%). Our training set is fully English by design, enabling us to study zero-shot generalization to non-English languages. | Dataset | #examples (query-page pairs) | Language | |------------------------------------------|-------------------------------|----------| | [DocVQA](https://www.docvqa.org/datasets/docvqa) | 39,463 | English | | [InfoVQA](https://www.docvqa.org/datasets/infographicvqa) | 10,074 | English | | [TATDQA](https://github.com/NExTplusplus/TAT-DQA) | 13,251 | English | | [arXivQA](https://huggingface.co/datasets/MMInstruction/ArxivQA) | 10,000 | English | | Scrapped documents with a wide array of topics covered | 45,940 | English | | **TOTAL** | **118,695** | **English-only** | ### Data Curation We explicitly verify no multi-page PDF document is used both ViDoRe and in the train set to prevent evaluation contamination. ### Load the dataset ```python from datasets import load_dataset ds = load_dataset("vidore/colpali_train_set", split="train") ``` ### Dataset Structure Here is an example of a dataset instance structure: ```json features: - name: image dtype: image - name: image_filename dtype: string - name: query dtype: string - name: answer dtype: string - name: source dtype: string - name: options dtype: string - name: page dtype: string - name: model dtype: string - name: prompt dtype: string - name: answer_type dtype: string ``` ## License All academic datasets used are here redistributed subsampled and under their original license. The synthetic datasets we created with public internet data and VLM synthetic queries are released without usage restrictions. ## Citation Information If you use this dataset in your research, please cite the original dataset as follows: ```latex @misc{faysse2024colpaliefficientdocumentretrieval, title={ColPali: Efficient Document Retrieval with Vision Language Models}, author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo}, year={2024}, eprint={2407.01449}, archivePrefix={arXiv}, primaryClass={cs.IR}, url={https://arxiv.org/abs/2407.01449}, } ```--- 数据集信息： 特征列表： - 字段名：图像（image），数据类型：图像 - 字段名：图像文件名（image_filename），数据类型：字符串 - 字段名：查询文本（query），数据类型：字符串 - 字段名：回答文本（answer），数据类型：字符串 - 字段名：来源（source），数据类型：字符串 - 字段名：选项（options），数据类型：字符串 - 字段名：页面标识（page），数据类型：字符串 - 字段名：模型（model），数据类型：字符串 - 字段名：提示词（prompt），数据类型：字符串 - 字段名：回答类型（answer_type），数据类型：字符串 划分集： - 划分名称：训练集（train），字节占用量：40887661837.62469，样本数量：118195 - 划分名称：测试集（test），字节占用量：172966846.15108374，样本数量：500 下载总大小：52705427788 数据集总大小：41060628683.77577 配置项： - 配置名称：默认（default），数据文件： - 划分：训练集（train），路径：data/train-* - 划分：测试集（test），路径：data/test-* --- ## 数据集描述 本数据集为[ColPali](https://huggingface.co/vidore/colpali)的训练集，包含127460对查询-图像样本，其中63%来自公开可用的学术数据集，剩余37%为合成数据集——该合成数据集由网络爬取的PDF文档页面构成，并通过视觉语言模型（Vision Language Model，VLM）生成的Claude-3 Sonnet伪问句进行增强。 本训练集默认仅包含英文文本，旨在支持研究零样本（zero-shot）泛化至非英语语言的任务。 | 数据集名称 | 查询-页面对样本数量 | 语言 | |------------------------------------------|---------------------|--------| | [DocVQA](https://www.docvqa.org/datasets/docvqa) | 39,463 | 英语 | | [InfoVQA](https://www.docvqa.org/datasets/infographicvqa) | 10,074 | 英语 | | [TATDQA](https://github.com/NExTplusplus/TAT-DQA) | 13,251 | 英语 | | [arXivQA](https://huggingface.co/datasets/MMInstruction/ArxivQA) | 10,000 | 英语 | | 涵盖多类主题的爬取文档 | 45,940 | 英语 | | **总计** | **118,695** | **仅英语** | ### 数据整理 我们明确验证了ViDoRe与本训练集不会复用同一多页PDF文档，以避免评估污染。 ### 数据集加载 python from datasets import load_dataset ds = load_dataset("vidore/colpali_train_set", split="train") ### 数据集结构 以下为数据集单条实例的结构详情： json features: - name: image dtype: image - name: image_filename dtype: string - name: query dtype: string - name: answer dtype: string - name: source dtype: string - name: options dtype: string - name: page dtype: string - name: model dtype: string - name: prompt dtype: string - name: answer_type dtype: string ## 许可协议 本数据集使用的全部学术数据集均为经二次采样后重新分发，且遵循其原始许可协议。 我们使用公开互联网数据与视觉语言模型（VLM）生成的合成查询所构建的合成数据集，无使用限制。 ## 引用信息 若您在研究中使用本数据集，请按照如下格式引用原始数据集： latex @misc{faysse2024colpaliefficientdocumentretrieval, title={ColPali: Efficient Document Retrieval with Vision Language Models}, author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo}, year={2024}, eprint={2407.01449}, archivePrefix={arXiv}, primaryClass={cs.IR}, url={https://arxiv.org/abs/2407.01449}, }

搜集汇总

数据集介绍

构建方式

在视觉文档检索领域，高质量的训练数据是驱动模型性能提升的关键。vidore/colpali_train_set数据集正是为训练ColPali视觉语言检索模型而精心构建的。该数据集整合了127,460个查询-图像对，其中63%源自DocVQA、InfoVQA、TATDQA和arXivQA等公开学术数据集，37%则通过从网络抓取的PDF文档页面，并利用Claude-3 Sonnet视觉语言模型生成伪查询来合成。为确保评估的纯净性，构建过程严格排除了ViDoRe基准中使用的多页PDF文档，避免了数据污染。所有数据均为英文，旨在研究模型对非英语语言的零样本泛化能力。

特点

该数据集在结构上展现出丰富的多样性和实用性。每个样本包含图像、图像文件名、查询、答案、来源、选项、页码、模型、提示和答案类型共十个字段，覆盖了文档问答和视觉文档检索两大任务。数据划分上，训练集包含118,195个样本，测试集包含500个样本，规模庞大且分布合理。来源字段记录了数据出处，便于追溯和学术引用；answer_type字段则提供了答案类型的标注，支持细粒度的模型评估。这种多维度的特征设计，使得数据集不仅适用于检索任务，还能支持多模态推理和生成式问答的研究。

使用方法

使用该数据集进行模型训练和评估十分便捷。开发者可通过HuggingFace的datasets库，仅需一行代码即可加载指定划分的数据，例如使用load_dataset('vidore/colpali_train_set', split='train')加载训练集。数据集默认配置下，训练和测试数据文件分别存储在data/train-*和data/test-*路径中，支持流式加载以节省内存。在应用时，image字段可直接作为视觉输入，query字段作为文本查询，answer字段作为监督信号，适用于对比学习、检索排序或生成式问答等训练范式。研究者还可利用source字段进行跨数据集性能分析，或使用answer_type字段设计针对性的评估指标。

背景与挑战

背景概述

在视觉文档检索与问答领域，传统方法往往依赖于文本抽取与光学字符识别（OCR）的级联流程，难以应对复杂版面、多模态信息交织的文档理解挑战。2024年，由Manuel Faysse、Hugues Sibille等研究者组成的团队提出了ColPali模型，并为此构建了专用的训练数据集vidore/colpali_train_set。该数据集创建于2024年，汇集了来自DocVQA、InfoVQA、TATDQA、arXivQA等公开学术数据集中的约63%的查询-图像对，以及通过Claude-3 Sonnet模型对网络爬取的PDF文档页面生成伪问题所构成的合成数据（占37%），总计约118,695对样本。核心研究问题在于如何利用视觉语言模型（VLM）实现高效、端到端的文档检索，无需显式的OCR步骤。该数据集的发布推动了视觉文档理解领域的发展，为ColPali模型的训练提供了关键支撑，并在零样本跨语言泛化能力的研究上开辟了新路径。

当前挑战

vidore/colpali_train_set所解决的领域挑战主要集中于多模态文档检索中文本与视觉信息的深度融合问题——传统检索流程因依赖独立的OCR和文本解析模块而效率低下、错误累积，该数据集通过视觉语言模型直接处理文档图像与查询的匹配，简化了流程并提升了鲁棒性。在数据集构建过程中，面临两大挑战：其一是数据源的异构性与标注一致性，需从多个格式、领域各异的学术数据集中抽取并统一为查询-图像对结构，同时确保合成数据中VLM生成的伪问题质量可控；其二是避免评估污染，构建团队必须严格验证多页PDF文档未同时出现在训练集与ViDoRe评估基准中，以保证模型性能评测的公正性。此外，全英文设计虽利于研究零样本泛化，但也限制了初始阶段对非英语语种的支持能力。

常用场景

经典使用场景

vidore/colpali_train_set数据集专为视觉文档检索与文档问答任务而构建，其经典使用场景在于训练多模态模型以理解文档图像与自然语言查询之间的语义关联。通过整合DocVQA、InfoVQA、TATDQA、arXivQA等公开学术数据集，并辅以网页爬取文档与视觉语言模型生成的伪问题对，该数据集为模型提供了海量、多样化的查询-图像配对样本，使其能够学习从复杂版面、图表和文本中精准定位并回答问题的能力。研究者常利用此数据集训练诸如ColPali等视觉语言模型，旨在突破传统基于文本检索的局限，实现端到端的视觉文档理解与检索。

衍生相关工作

基于vidore/colpali_train_set，研究者衍生出一系列经典工作。最直接的是ColPali模型的提出，它首次将视觉语言模型与后期交互机制结合，实现了高效且可扩展的文档检索。随后，相关工作探索了该数据集在跨语言检索、多页文档理解、以及动态文档问答等方向的延伸应用。此外，该数据集还催生了针对视觉文档检索的评测基准ViDoRe，用于评估模型在多样化任务中的表现。部分研究进一步利用其合成数据生成策略，构建了面向特定领域（如医学或法律）的定制化训练集，推动了视觉文档理解技术在垂直行业的落地与优化。

数据集最近研究

最新研究方向

基于视觉语言模型（VLM）的文档检索与问答技术正成为信息检索领域的前沿热点，而vidore/colpali_train_set数据集的提出，为这一方向注入了关键动力。该数据集整合了DocVQA、InfoVQA、TATDQA、arXivQA等公开学术数据集，并辅以网络爬取PDF文档经Claude-3 Sonnet生成伪查询的合成数据，构建了逾12万对查询-页面样本，专门用于训练ColPali模型。当前研究聚焦于利用VLM的视觉与文本联合理解能力，突破传统OCR依赖的瓶颈，实现复杂的多模态文档检索。该数据集通过严格防止评估污染的设计，推动了零样本泛化至非英语语言的研究，对构建更高效、更鲁棒的文档检索系统具有深远意义，尤其在处理图文混杂的工业文档和学术论文场景中展现了巨大潜力。