M-LongDoc

M-LongDoc是一个具有挑战性的基准测试，旨在评估大型多模态模型在超长文档理解方面的能力，特别是针对包含交错文本、图表和表格的现实世界文档。与现有主要关注短文档或抽取式问答的文档理解基准不同，M-LongDoc包含851个样本，文档平均超过200页，要求模型生成开放式的深入答案，而不是简单地提取短片段。该基准涵盖多样化的现实世界领域，包括学术论文、财务报告和产品手册，并评估模型是否能够在长多模态文档中对不同证据类型（如文本、图表和表格）进行推理。

M-LongDoc is a challenging benchmark designed to evaluate the capabilities of large multimodal models in ultra-long document understanding, particularly for real-world documents that contain interleaved text, figures, and tables. Unlike existing document understanding benchmarks that primarily focus on short documents or extractive question answering, M-LongDoc consists of 851 samples, with each document averaging over 200 pages, and requires models to generate open-ended in-depth answers rather than simply extracting short segments. This benchmark covers diverse real-world domains including academic papers, financial reports, and product manuals, and evaluates whether models can perform reasoning across different evidence types (e.g., text, figures, and tables) within long multimodal documents.

原始信息汇总

数据集概述：M-LongDoc

M-LongDoc 是一个用于评估多模态大模型在超长文档理解任务上表现的基准测试集，并提出了一个检索感知的调优框架。该论文已被 EMNLP 2025 接收。

核心特点

• 任务定位：专注于超长、真实世界的多模态文档理解，文档平均超过 200 页，包含交错排列的文本、图表和表格。
• 问题类型：包含 851 个经过验证的测试样本，要求模型生成开放式、深度的答案，而非简单的文本片段提取。
• 领域覆盖：涵盖学术论文、财务报告和产品手册三个真实世界的领域。
• 评估维度：评估模型在不同证据类型（文本、图形、表格）上的推理能力。

数据集统计

• 平均文档长度：210.8 页/每文档，平均包含约 120,988 个文本 tokens。
• 平均元素数量：每文档平均包含 161.1 个图形对象和 71.8 个表格对象。
• 评估可靠性：自动化评估框架与人类评判的皮尔逊相关系数高达 88.9%。

数据集结构

• 数据划分：
  • 测试集（已验证）：851 个问题，来源为 180 份文档（学术 60、金融 60、产品 60）。
  • 训练集：10,070 个问答对，来源为 300 份文档。
• 数据格式：
  • 文档：以 JSONL 格式存储，每行代表一页（MultimodalPage），包含提取的文本、基 64 编码的页面图像，以及通过 YOLO 检测到的表格/图形子图像。
  • 问题：以 JSONL 格式存储（MultimodalSample），包含问题文本、证据页码、类别（texts, figures or diagrams or charts, tables）和来源文档路径。
• 标注文件：包含 851 个人类验证过的问题列表，以及多个质量检查表格。

关键结果

• 检索效果对比（MRR）：ColPali 方法在所有类别上表现出最优的检索性能，整体 MRR 达到 67.4%。
• 问答正确率（1-5分制）：
  • 在 851 个测试问题上，闭源模型如 GPT-4o、Claude 3.5 Sonnet 和 Gemini 1.5 Pro 表现最佳，整体得分分别为 4.49、4.51 和 4.51。
  • 开源模型中，Pixtral-12B 表现最好，整体得分为 4.22。
  • 经微调的 Qwen2-VL-7B 模型在文本、图形、表格上的得分分别为 4.31、4.00 和 3.77，整体得分为 4.02。

搜集汇总

数据集介绍

构建方式

面对现有文档理解基准多聚焦于短篇幅或抽取式问答的局限，M-LongDoc数据集应运而生，专为评估多模态大模型在超长文档理解上的能力而构建。其构建过程严谨而系统，首先从学术论文、财务报告与产品手册三大真实世界领域中精心遴选180份平均页数超过200页的文档作为测试集，并配套300份训练文档。通过YOLO模型进行版面分析，精准检测文档中的图表与表格，结合PyMuPDF提取文本，将每一页面转化为包含文本、全页图像及检测对象的JSON结构化数据。采用自动化流程结合专家人工验证的方式，从1051道题目中筛选出851道经过验证的高质量测试问题，确保每道题目均指向明确的证据页面并归属于文本、图表或表格等特定内容类别。

特点

该数据集的核心特色在于其对超长多模态文档理解的深度挑战。相较于仅需短跨文本抽取的现有基准，M-LongDoc要求模型在动辄数十万词的海量信息中，对穿插的文本、图表与表格进行综合推理，生成开放式的深度回答。其涵盖的文档平均包含161张图表与72个表格，异质性极强。实验揭示了一个关键洞察：即便在检索增强生成框架下，现有模型在长文档问答尤其是需要理解图表信息的题目上仍力有未逮，且易被检索引入的无关内容所干扰。这一发现凸显了该基准作为试金石的价值，精准度量了当前技术的瓶颈所在。

使用方法

研究者可依照清晰的流水线高效使用M-LongDoc。首先需从外部链接下载约4.5GB的PDF源文件，并运行`data_loading.py`完成文档解析，该步骤将PDF转化为约85GB的结构化JSON与页面图像，强烈建议使用GPU加速YOLO检测。随后，通过`demo.py`即可快速启动推理流程，并利用`evaluation.py`集成检索、答案生成与基于大语言模型评判的自动化评分功能，实现端到端评估。数据集中已包含经过验证的851道测试题与1万余道训练题，用户亦可参照`question_generation.py`中的方法，结合其预置的验证机制，基于自有文档生成定制化问答对，灵活扩展应用边界。

背景与挑战

背景概述

随着多模态大语言模型的蓬勃发展，如何使其理解交织着文本、图表和表格的超长文档，已成为自然语言处理与计算机视觉交叉领域的前沿挑战。现有文档理解基准多聚焦于短文本或简单的抽取式问答，难以评估模型在真实世界场景中的深层推理能力。为此，来自阿里巴巴达摩院、南洋理工大学与新加坡科技设计大学的研究团队于2024年提出了M-LongDoc基准，相关成果已被EMNLP 2025收录。该基准由Yew Ken Chia、Liying Cheng等学者主导，精心构建了包含851个经人工验证的测试样本，文档平均页数超过200页，覆盖学术论文、财务报告和产品手册三大领域，旨在系统性评测模型对超长多模态文档的开放式深度理解能力，对推动多模态长文档理解的研究具有重要标杆意义。

当前挑战

M-LongDoc核心挑战在于多模态超长文档理解中存在的双重困境。首先是领域层面的复杂性：真实文档中文本、图表与表格交错分布，模型需在超长上下文中精准定位并融合不同模态的语义信息，尤其是基于图表的问题解答，现有模型表现显著落后于纯文本任务。其次，构建过程中面临严苛的技术壁垒：480份源PDF的自动解析需兼顾文本提取（PyMuPDF）、高分辨率页面渲染（150 DPI）及基于YOLO的版面元素检测，生成约85GB的中间数据，GPU资源依赖性强；且851个有效测试问题需通过自动化验证与人工审核双重筛选（通过率80.9%），确保问题质量与标注一致性，流程繁复且耗时。

常用场景

经典使用场景

在长文档理解这一前沿研究领域中，M-LongDoc基准数据集为评估多模态大模型处理超长文档的能力提供了极具挑战性的测试平台。该数据集聚焦于真实世界中包含交错文本、图表与表格的复杂文档，涵盖学术论文、财务报告及产品手册等多领域场景。其经典使用场景在于检验模型能否在平均超过200页的文档中，基于文本、图形和表格等多样化的证据类型，生成开放式的、深度的答案，而非简单的抽取式回答，从而推动多模态长文档问答技术的发展。

实际应用

在实际应用场景中，M-LongDoc所模拟的挑战直接对应着诸多专业领域的迫切需求。金融机构的分析师常需审阅数百页的财务报告，提取关键图表中的趋势信息；科研工作者需要快速检索与定位长篇论文中的方法论结果或实验数据表格；产品工程师则需在冗长的技术手册中寻找特定组件与操作规范。该数据集的构建为开发能够自动完成这些复杂信息检索与推理任务的智能助手提供了坚实的基础，极大提升了专业文档处理的工作效率与准确性。

衍生相关工作

M-LongDoc的发布催生了一系列具有影响力的衍生工作。其最直接的贡献在于提出了检索感知微调框架，该框架通过训练模型有效利用相关检索页面并忽略多模态干扰内容，在基线模型上实现了4.6%的准确率提升。此外，该工作附带的高质量数据生成与自动化评估体系，即基于大语言模型陪审团的评分机制，为后续研究提供了可复现的评估范式。这些工作共同推动了更鲁棒、更高效的多模态长文档理解系统的研发，并开辟了将检索增强与多模态对齐相结合的新研究方向。