MarkrAI/AutoRAG-evaluation-2024-LLM-paper-v1

该数据集是一个用于AutoRAG优化和基准测试的示例数据集，基于2024年LLM研究文章（论文）创建。数据集包含两个配置：corpus和qa。corpus配置包含文档ID、内容和元数据（如创建时间、文件名、文件路径、文件大小、文件类型、最后访问时间和最后修改时间）。qa配置包含问题ID、查询、检索真实值和生成真实值。数据集是使用GPT-4和Marker Inc.技术100%合成的，首先从arxiv收集了110篇最新的LLM论文，使用Marker OCR模型提取文本，并使用Langchain的MarkdownSplitter和TokenSplitter进行分块处理。为了提高质量，删除了所有研究文章中的参考文献，并随机选择了520个段落生成问题。最后，使用自定义管道和GPT-4生成各种独特的问题。

原始信息汇总

数据集概述

许可证

• 该数据集遵循 cc-by-nc-sa-4.0 许可证。

数据集配置

配置名称：corpus

• 特征：
  • doc_id：文档ID，数据类型为字符串。
  • contents：文档内容，数据类型为字符串。
  • metadata：元数据，包含以下字段：
    • creation_datetime：创建时间，数据类型为字符串。
    • file_name：文件名，数据类型为字符串。
    • file_path：文件路径，数据类型为字符串。
    • file_size：文件大小，数据类型为int64。
    • file_type：文件类型，数据类型为null。
    • last_accessed_datetime：最后访问时间，数据类型为字符串。
    • last_modified_datetime：最后修改时间，数据类型为字符串。
• 分割：
  • train：训练集，包含11237324字节和8576个样本。
• 下载大小：4114384字节。
• 数据集大小：11237324字节。

配置名称：qa

• 特征：
  • qid：问题ID，数据类型为字符串。
  • query：问题内容，数据类型为字符串。
  • retrieval_gt：检索结果，数据类型为字符串序列。
  • generation_gt：生成结果，数据类型为字符串序列。
• 分割：
  • train：训练集，包含186908字节和520个样本。
• 下载大小：121089字节。
• 数据集大小：186908字节。

数据文件配置

• 配置名称：qa
  • train：训练集文件路径为 qa/train-*。
• 配置名称：corpus
  • train：训练集文件路径为 corpus/train-*。

搜集汇总

数据集介绍

构建方式

在检索增强生成（RAG）系统评估领域，高质量基准数据集的构建至关重要。本数据集基于2024年最新的大语言模型（LLM）研究论文，采用完全合成的方式生成。首先，从arXiv平台收集了110篇前沿LLM论文，利用Marker OCR模型提取文本内容。随后，借助Langchain框架中的MarkdownSplitter与TokenSplitter对文本进行智能分块，并剔除参考文献部分以提升语料质量。最终，从分块后的语料中随机选取520个段落，通过定制化流水线结合GPT-4模型生成多样且独特的问题，形成完整的问答对。

特点

该数据集具有鲜明的专业性与针对性，聚焦于2024年LLM领域的前沿研究，语料来源精准且时效性强。其构建过程完全自动化，确保了数据生成的高效性与可复现性。数据集包含两个核心配置：语料库（corpus）包含8576个文档片段，涵盖创建时间、文件路径等丰富元数据；问答集（qa）则提供520组问题与对应的检索及生成答案，支持RAG系统的端到端评估。此外，采用CC-BY-NC-SA-4.0许可协议，兼顾学术共享与版权保护。

使用方法

本数据集专为AutoRAG框架设计，可用于优化和基准测试RAG系统的配置。用户可通过HuggingFace Datasets库直接加载，支持按配置名称（corpus或qa）分别访问语料与问答数据。在AutoRAG中，用户可基于该数据集运行评估流水线，自动调整检索器、生成器等模块的参数，以提升系统在LLM论文领域的问答表现。数据格式简洁，语料库包含文档ID、内容及元数据，问答集则明确标注了问题ID、查询文本、检索答案与生成答案，便于直接集成到评估流程中。

背景与挑战

背景概述

在检索增强生成（RAG）技术迅猛发展的2024年，如何系统性地评估和优化RAG系统性能成为自然语言处理领域的一项关键挑战。MarkrAI/AutoRAG-evaluation-2024-LLM-paper-v1数据集由Marker Inc.研究团队于2024年创建，旨在为AutoRAG框架提供标准化的评测基准。该数据集以最新大语言模型（LLM）研究论文为语料来源，通过GPT-4与Marker OCR技术全自动构建，涵盖8576个文档片段与520组问答对，聚焦于验证RAG系统的检索准确性与生成质量。作为业界首个针对RAG流程自动化优化的公开数据集，它填补了领域内缺乏标准化评测资源的空白，为研究人员在信息检索与文本生成融合场景下的模型调优提供了重要参考。

当前挑战

当前数据集面临的核心挑战体现在多个层面。在领域问题层面，RAG系统需要同时应对检索阶段的相关性排序与生成阶段的忠实性控制，而现有评估指标难以全面衡量两者间的动态交互，例如检索到的噪声文档如何影响生成结果的可信度。在构建过程中，数据集完全依赖GPT-4进行合成生成，缺乏人工验证环节，导致问答对可能包含语义偏差或逻辑不一致问题；此外，语料仅涵盖2024年LLM论文，领域覆盖度有限，难以泛化至金融、医疗等垂直场景。数据集的alpha版本特性也意味着其质量稳定性有待提升，例如分块策略对长文本语义完整性的潜在破坏，以及自动化管道中删除参考文献引发的知识断层风险，均构成实际应用中的障碍。

常用场景

经典使用场景

在检索增强生成（RAG）系统的研究与优化领域，MarkrAI/AutoRAG-evaluation-2024-LLM-paper-v1 数据集扮演着不可或缺的基准测试角色。该数据集以2024年最新的大型语言模型（LLM）学术论文为语料来源，通过先进的OCR技术提取文本，并采用精细的分块策略构建高质量语料库。其经典使用场景在于为AutoRAG框架提供标准化的评估与调优平台，研究者可借助其精心设计的520个问答对，系统性地检验RAG流水线中检索模块的准确性、生成模块的连贯性以及整体端到端性能的鲁棒性。这为RAG技术的迭代升级提供了可重复、可比较的实验基础。

实际应用

在实际应用层面，该数据集为构建高效、可信的问答系统提供了直接助力。例如，在智能文献综述生成、学术知识图谱构建以及科研助手开发等场景中，开发者可利用此数据集训练和优化RAG模型，使其能够精准检索相关论文段落并生成准确答案。对于需要处理海量学术信息的企业或研究机构，该数据集可用于调试检索策略以降低信息遗漏率，并提升生成回答的学术严谨性。此外，其作为AutoRAG的官方示例，降低了非专业用户入门RAG系统的门槛，加速了技术落地。

衍生相关工作

围绕此数据集已衍生出一系列富有启发性的学术工作。首先，它催生了针对合成数据质量评估的研究，探讨GPT-4生成问答对与人工标注的一致性，推动了数据增强方法论的发展。其次，研究者基于其语料结构，提出了新的分块策略和检索排序算法，例如融合语义与结构信息的混合检索模型。此外，该数据集还启发了跨领域RAG评估基准的构建，如将其语料扩展至生物医学或法律文本，验证了RAG框架在不同知识领域的迁移能力。这些工作共同丰富了RAG技术栈的理论与实践内涵。