ibm-research/REAL-MM-RAG_TechSlides

REAL-MM-RAG-Bench是一个现实世界多模态检索基准，包含了多种模态的文档，包括文本、表格和图像，用于评估模型在处理自然语言查询时的检索能力。数据集中的查询是通过视觉语言模型生成，并经过大型语言模型过滤和重写，以模拟真实世界的检索场景。此外，数据集还采用了多级别查询重写，以测试模型在语义理解方面的鲁棒性。

REAL-MM-RAG-Bench is a real-world multi-modal retrieval benchmark that includes documents with a variety of modalities such as text, tables, and images, designed to evaluate the retrieval capabilities of models when handling natural language queries. The queries in the dataset are generated by a vision-language model and filtered and rephrased by a large language model to simulate real-world retrieval scenarios. Additionally, the dataset employs multi-level query rephrasing to test the robustness of models in semantic understanding.

搜集汇总

数据集介绍

构建方式

REAL-MM-RAG_TechSlides 数据集源自 REAL-MM-RAG-Bench 基准测试，专为评估多模态检索模型在真实、具有挑战性环境下的性能而设计。其构建依托自动化流水线：首先由视觉语言模型（VLM）生成多样化查询，随后经由大语言模型（LLM）过滤低质内容并进行改写，最终形成高质量检索样本。为模拟现实检索难题，数据集引入多层级查询改写策略，涵盖从细微措辞调整至显著结构变更的三个层次，从而检验模型对语义的深层理解，而非流于关键词匹配。该子集包含62份关于业务与IT自动化的技术演示文稿，共计1963页，融合文本、视觉元素与表格，构成丰富多样的多模态文档集合。

特点

该数据集的核心特质在于其高度仿真性与挑战性。文档内容聚焦于IT自动化与商业洞察，涵盖大量专业术语与结构化信息，要求模型具备跨模态理解能力。多层级查询改写机制是突出亮点，通过逐步增加查询变异度，评估模型在语义漂移下的检索稳健性。此外，数据集注重长文档语境，摒弃孤立的单页检索，迫使模型在连续页面中定位相关信息。精确标注确保所有相关文档均被正确标记，避免假阴性干扰，从而提升评估的可靠性。这种设计使基准测试真实反映多模态检索在现实场景中的复杂需求。

使用方法

使用该数据集需安装 HuggingFace 的 datasets 库，通过 load_dataset 函数加载指定子集，并设置 split 为 'test'。加载后，可利用查询与图像文件名的映射关系进行检索：构建 query_to_image 字典以根据查询定位对应图像，或构建 image_to_queries 字典以查找某图像关联的所有查询。例如，通过输入具体查询语句即可获取其链接的图像文件名，亦可反向查询某图像对应的全部查询。数据集支持处理无查询页面，确保流程的完整性。这些操作便于研究者开展多模态检索实验，验证模型在真实幻灯片文档中的语义理解与信息定位能力。

背景与挑战

背景概述

REAL-MM-RAG_TechSlides数据集由IBM研究院于2025年创建，作为REAL-MM-RAG-Bench多模态检索基准的重要组成部分。该数据集聚焦于商业与IT自动化领域，涵盖62份技术演示文稿，共计1963页，内容融合文本、视觉元素与表格，旨在评估检索模型在真实场景中处理复杂多模态文档的能力。其核心研究问题在于突破传统检索依赖关键词匹配的局限，通过自动化流水线——利用视觉语言模型生成查询、大型语言模型过滤与改写——构建高质量、高难度的检索评估基准。该数据集的发布为多模态检索领域提供了兼具现实性与挑战性的测试平台，推动了检索模型对语义理解与跨模态信息整合能力的提升。

当前挑战

该数据集所解决的领域挑战主要在于多模态检索中语义理解与鲁棒性不足的问题。传统检索模型常因查询的措辞变化而性能骤降，难以应对真实世界中用户多样化的表达方式。为此，REAL-MM-RAG_TechSlides引入多层级查询改写机制，从轻微措辞调整到显著结构变化，强制模型依赖深层语义而非表层词汇匹配。在构建过程中，挑战在于确保自动化流水线生成查询的质量与多样性：视觉语言模型需准确捕捉幻灯片中的混合内容（如文本与图表的关联），大型语言模型则需有效过滤低质查询并生成自然且具挑战性的改写版本。此外，62份文档均属同一子领域（IBM技术演示），页面间高度相似，进一步增加了检索区分的难度，避免模型利用浅层特征投机取巧。

常用场景

经典使用场景

在信息检索领域，REAL-MM-RAG_TechSlides数据集被广泛用于评估多模态检索模型在处理技术演示文稿时的表现。该数据集包含62场关于业务与IT自动化的技术演讲，共计1963页幻灯片，融合了文本、图像与表格等多种模态信息。研究者通常利用该数据集测试模型在复杂文档结构下的语义理解能力，尤其是面对真实世界中查询表述多样化的挑战。通过引入三级查询改写策略——从细微措辞调整到大幅结构变动——该基准能够有效衡量模型是否真正把握查询意图，而非依赖简单的关键词匹配。这一设计使得REAL-MM-RAG_TechSlides成为验证检索系统鲁棒性与语义泛化能力的理想平台。

实际应用

在实际应用中，REAL-MM-RAG_TechSlides数据集直接服务于企业级知识管理与智能问答系统的构建。例如，在IT自动化领域，技术人员常需从海量历史演示文稿中快速定位特定技术方案或最佳实践。基于该数据集训练的检索模型能够精准识别幻灯片中关于系统架构、流程优化或产品部署的图文信息，大幅提升知识获取效率。此外，金融分析师可利用该数据集优化跨模态信息融合技术，从包含复杂图表与表格的幻灯片中提取关键数据，辅助投资决策。该数据集所倡导的多级查询改写机制，也为搜索引擎的模糊查询处理、智能客服的意图识别等场景提供了可复用的评测范式。

衍生相关工作

围绕REAL-MM-RAG_TechSlides数据集，学术界已衍生出一系列经典工作。其中，研究者提出了多模态稠密检索架构，通过融合视觉与文本编码器，显著提升了在技术幻灯片上的检索精度；另有工作聚焦于查询改写鲁棒性分析，系统比较了不同预训练语言模型在三级改写下的性能衰减曲线，揭示了语义编码的脆弱环节。此外，基于该数据集，部分学者探索了对比学习策略在跨模态对齐中的应用，通过构造硬负样本增强模型对细粒度语义差异的判别能力。这些衍生研究不仅深化了对多模态检索机制的理解，也推动了如REAL-MM-RAG-Bench等更广泛基准体系的建立，为领域发展奠定了方法论基础。