ibm-research/REAL-MM-RAG_FinReport

REAL-MM-RAG_FinReport数据集包含从2005年至2023年的19份财务报告，总计2687页，内容包括文本和表格。该数据集旨在测试模型在表格密集型财务数据检索上的性能。

The REAL-MM-RAG_FinReport dataset consists of 19 financial reports from 2005 to 2023, totaling 2,687 pages, which include both textual data and structured tables. This dataset is designed to test the performance of models on table-heavy financial data retrieval.

搜集汇总

数据集介绍

构建方式

在现实世界的多模态检索场景中，高质量的数据集是推动模型能力提升的关键。REAL-MM-RAG_FinReport数据集依托一套自动化的流水线构建而成，由视觉语言模型（VLM）生成初始查询，再经由大型语言模型（LLM）进行精细过滤与改写，以确保查询的多样性与真实性。为模拟真实检索中的语义挑战，数据集引入了多层次查询改写机制，从细微措辞调整到显著结构变化，共涵盖三个不同级别的改写，从而迫使模型依赖深层语义理解而非简单关键词匹配。该数据集基于2005年至2023年间共19份财务报告，包含2687页文本与表格混合的内容，最终以test分片形式发布，包含2928条样本。

特点

该数据集最显著的特征在于其高度模拟真实世界检索难度的设计。所有文档均来自同一子领域（IBM财务报告），确保了检索语料的高度相似性与领域一致性，极大提升了任务的挑战性。数据集不仅包含纯文本，还大量融入结构化表格，专门用于评估模型在表格密集型财务数据上的检索能力。此外，多层次的查询改写设计使模型必须应对从同义替换到句法重构的多种语义变化，有效测试了模型超越词汇匹配的泛化能力。每个样本均包含原始查询、三级改写查询、对应图像及精确标注的答案，确保了评估的可靠性与准确性。

使用方法

使用该数据集时，可借助HuggingFace的datasets库便捷加载，通过指定split为'test'即可获取全部2928条样本。数据集提供了id、image、query、rephrase_level_1至3、answer等字段，便于研究者灵活构建检索任务。典型用法包括构建查询到图像的反向索引，以便快速定位特定查询对应的文档页面；或建立图像到查询的正向映射，用于分析同一页面关联的多条查询。对于部分无查询的页面，数据集也提供了处理方案，确保在构建评估管道时能够妥善处理缺失情况。研究者可基于这些索引机制，设计多样化的检索评估实验，如衡量不同改写级别下的检索准确率衰减等。

背景与挑战

背景概述

在信息检索领域，多模态数据的爆炸式增长对检索模型提出了前所未有的挑战，传统方法往往难以在真实世界的复杂场景中保持鲁棒性。为此，IBM研究院的研究人员Navve Wasserman、Roi Pony等人于2025年提出了REAL-MM-RAG-Bench基准，旨在构建一个可靠、富有挑战性且贴近实际的多模态检索评估体系。其子集REAL-MM-RAG_FinReport专注于金融领域，汇集了2005年至2023年间共19份财务报告，涵盖2687页文本与结构化表格的混合内容。该数据集的核心研究问题在于评估检索模型对表格密集型金融数据的理解能力，而非简单的关键词匹配，从而推动模型从浅层语义向深层推理的跨越。该基准通过自动化流水线生成查询，并引入多层次改写机制，显著提升了评估的真实性与难度，对多模态检索领域的研究范式产生了深远影响。

当前挑战

REAL-MM-RAG_FinReport所解决的领域挑战在于，金融报告中的表格数据往往包含密集的数值与结构信息，传统检索模型常因依赖词汇重叠而忽略语义内涵，导致在真实查询中表现不佳。为此，该数据集通过引入三层次查询改写——从措辞微调到句式重构——迫使模型超越简单的匹配策略，真正理解查询意图与文档内容的深层关联。在构建过程中，主要挑战包括：如何确保自动生成的查询既覆盖多样化的金融主题又避免歧义，这依赖于视觉-语言模型与大型语言模型的协同过滤；同时，面对长达数千页的文档，准确标注所有相关页面以避免假阴性标签成为一项艰巨任务，需精心设计多模态对齐策略来维护评估的公正性。

常用场景

经典使用场景

在金融信息检索领域，REAL-MM-RAG_FinReport数据集被广泛用于评估多模态检索模型在真实金融文档场景下的表现。该数据集汇集了2005年至2023年间共计19份财务报告，跨越2687页，涵盖丰富的文本与结构化表格信息。其经典使用场景是测试模型在面对密集表格数据和复杂金融术语时，能否精准定位与自然语言查询最相关的页面。通过引入三级查询改写策略，从微调措辞到彻底重构句式，该数据集迫使模型超越简单的关键词匹配，转而依赖深层次的语义理解能力，从而真实反映检索系统在实际财务分析中的鲁棒性与准确性。

解决学术问题

该数据集的核心贡献在于解决了多模态检索评估中长期存在的两大难题：一是缺乏兼具真实性与挑战性的金融领域基准，二是现有基准无法有效衡量模型对语义变体的鲁棒性。REAL-MM-RAG_FinReport通过自动化流水线生成高质量查询，并利用大语言模型进行多级改写，构建了一个能精准检测模型语义理解深度的评估框架。这一设计使得学术研究能够系统性地探究检索模型在表格主导的金融文档中的表现瓶颈，尤其是当查询表述发生微妙变化时，模型是否仍能保持稳定的检索性能，从而为提升检索系统的泛化能力提供了坚实的实验基础。

衍生相关工作

自REAL-MM-RAG_FinReport发布以来，其衍生出的相关工作主要集中在多模态检索模型的鲁棒性提升与跨领域迁移能力研究上。基于该数据集，研究者们提出了针对表格密集文档的语义匹配算法，并开发了专门的多级查询改写策略以增强模型对自然语言变体的适应性。此外，该数据集还催生了一系列关于检索模型在金融报告与演示文稿等不同文档类型间泛化性能的探索性工作，推动了多模态检索从单一文档类型向多样化实际应用场景的拓展。这些衍生研究不仅验证了该数据集的基准价值，也为构建更可靠、更通用的企业级检索系统提供了理论支撑与实践指导。