Salesforce/summary-of-a-haystack

SummHay数据集是一个用于摘要生成任务的数据集，包含10个Haystacks（5个在对话领域，5个在新闻领域）。每个示例包含主题、子主题、见解、查询、检索器、摘要和评估摘要等信息。数据格式为JSON，详细描述了每个字段的含义。该数据集旨在挑战长上下文LLMs和RAG系统的摘要生成能力。The SummHay dataset is designed for summarization tasks and contains 10 Haystacks (5 in the conversational domain, 5 in the news domain). Each example includes information such as topic, subtopics, insights, queries, retrievers, summaries, and evaluation summaries. The data is formatted in JSON, with detailed descriptions of each field. The dataset aims to challenge the summarization capabilities of long-context LLMs and RAG systems.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache 2.0
• 任务类别: 摘要生成
• 语言: 英语
• 数据集名称: SummHay

数据结构

• 数据格式: JSON
• 数据字段:
  • topic_id: 主题ID
  • topic: 主题内容
  • topic_metadata: 主题元数据，包含参与者信息
  • subtopics: 子主题列表
    • subtopic_id: 子主题ID
    • subtopic_name: 子主题名称
    • subtopic: 子主题内容
    • insights: 洞察列表
      • insight_id: 洞察ID
      • insight_name: 洞察名称
      • insight: 洞察内容
    • query: 子主题的问题重构
    • retriever: 检索器信息
      • retriever_method: 检索方法
        • document_id: 文档ID
    • summaries: 摘要列表
      • summarization_method_xyz: 摘要方法XYZ的摘要内容
      • {retriever}-{llm_summarizer}: 检索器和LLM摘要器的摘要内容
      • summarization_method_abc: 摘要方法ABC的摘要内容
    • eval_summaries: 评估摘要列表
      • summarization_method_xyz: 摘要方法XYZ的评估摘要内容
        • insight_id: 洞察ID
        • coverage: 覆盖情况（无覆盖、部分覆盖、完全覆盖）
        • bullet_id: 行号
  • documents: 文档列表
    • document_id: 文档ID
    • document_text: 文档内容
    • document_metadata: 文档元数据
    • insights_included: 包含的洞察ID列表

数据访问

• 数据集数量: 10个Haystacks（5个在对话领域，5个在新闻领域）

引用

@article{laban2024SummHay, title={Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems}, author={Laban, Philippe and Fabbri, Alexander R and Xiong, Caiming and Wu, Chien-Sheng}, journal={arXiv preprint arXiv:https://arxiv.org/pdf/2407.01370}, year={2024} }

搜集汇总

数据集介绍

构建方式

在长文本摘要与检索增强生成（RAG）系统的研究背景下，SummHay数据集应运而生，旨在评估模型对海量信息中关键线索的捕捉能力。该数据集由10个精心设计的“干草堆”（Haystacks）构成，涵盖对话与新闻两大领域，每个领域各5个。每个干草堆以主题为核心，嵌套多个子主题，子主题下包含具体洞察点、检索查询及多种摘要方法生成的摘要结果。文档集合与子主题洞察通过ID进行关联，形成层次化、结构化的数据组织，便于评估模型在复杂信息检索与摘要任务中的表现。数据集构建过程中，还引入了人工评估标签（如覆盖度等级），为自动化评估提供基准。

使用方法

研究者可通过HuggingFace平台直接加载该数据集，使用标准的数据处理工具解析其嵌套的JSON结构。使用时，首先提取主题与子主题信息，结合给定的检索查询，运行目标检索与摘要模型生成结果。随后，将生成的摘要与数据集中预定义的洞察点进行比对，利用覆盖度标签计算模型性能。数据集支持多种评估维度，包括洞察覆盖度、摘要事实一致性等。建议搭配论文中提供的评估脚本，以复现实验结果或进行方法改进。此外，用户可根据需要扩展干草堆规模或调整领域分布，以适应特定研究场景。

背景与挑战

背景概述

在长上下文语言模型与检索增强生成系统蓬勃发展的当下，如何系统性地评估其对海量信息中关键内容的提炼能力成为亟待解决的课题。由Salesforce研究院的Philippe Laban、Alexander R. Fabbri、Caiming Xiong及Chien-Sheng Wu于2024年联合提出的SummHay数据集，正是为应对这一挑战而诞生。该数据集构建了十个精心设计的“干草堆”（Haystacks），涵盖对话与新闻两大领域，每个干草堆包含多个子主题及其对应的文档集合，旨在模拟真实世界中从冗余信息中提取精准摘要的复杂场景。SummHay的核心研究问题聚焦于评估长上下文模型和RAG系统在信息过载环境下的摘要生成质量，其影响力迅速辐射至自然语言处理领域，成为衡量模型长程依赖理解与信息整合能力的重要基准。

当前挑战

SummHay所解决的领域问题在于，传统摘要评测多聚焦于短文本或单一主题，无法有效捕捉长上下文模型在面对多主题、多文档交织的“干草堆”式信息时的表现。具体挑战体现在三个方面：其一，模型需在包含大量无关或干扰信息的文档集合中精准定位与子主题相关的关键内容，这对注意力机制的判别能力提出严苛要求；其二，不同子主题间可能存在语义重叠或逻辑交叉，模型须避免信息冗余与遗漏，实现细粒度的覆盖度控制；其三，构建过程中，团队需人工定义子主题、标注文档与摘要间的对应关系，确保评测粒度的精确性，同时平衡领域多样性以避免过拟合特定模式。这些挑战共同构成了推动长上下文理解技术进步的试金石。

常用场景

经典使用场景

SummHay数据集专为检验长上下文大语言模型与检索增强生成系统在多文档摘要任务中的表现而设计。其核心创新在于构建了包含对话与新闻两个领域的10个“干草堆”（Haystacks），每个干草堆由大量文档组成，并围绕多个子话题嵌套了精细的见解（insights）与摘要评估。研究者可利用该数据集评估模型能否从庞杂的文本集合中精准提取并整合分散于各处的关键信息，生成覆盖全面、逻辑连贯的摘要，从而揭示模型在处理信息密集、结构复杂的长上下文时的真实能力边界。

解决学术问题

该数据集直面当前长上下文LLM与RAG系统在信息检索与摘要融合中的核心挑战：即模型往往在短文本上表现优异，却在面对包含干扰信息、多主题交织的超长文档集合时，出现关键信息遗漏、摘要冗余或事实性错误等问题。SummHay通过提供细粒度的子话题划分与覆盖度（coverage）标注，量化模型对每个子话题的捕获程度，为研究者提供了诊断系统缺陷、对比不同检索与摘要策略优劣的标准化基准，推动了长文本理解与生成评估方法的严谨化。

实际应用

在实际应用中，SummHay所模拟的场景广泛存在于企业知识管理、法律文书审阅、医疗报告综合及新闻聚合等领域。例如，分析师需要从数十份财报或会议纪要中提炼核心观点，法律团队需从海量判例中归纳裁判要旨，而新闻编辑则需将多源报道整合为综述。该数据集为开发能够自动处理此类复杂信息整合任务的系统提供了测试平台，助力提升生产效率与决策质量，减少人工筛选与归纳的认知负担。

数据集最近研究

最新研究方向

在长文本处理与检索增强生成（RAG）技术迅猛发展的背景下，SummHay数据集为评估大语言模型在复杂信息检索与摘要任务中的表现提供了关键基准。当前前沿研究方向聚焦于探索模型在‘干草堆式’海量文档中精准定位并整合分散信息的能力，尤其是在对话与新闻两大领域。这一挑战与近期业界对长上下文LLM极限测试及RAG系统鲁棒性提升的热点事件紧密相连，其意义在于推动模型超越简单记忆，迈向真正的语义理解与多源信息融合，为构建更可靠、更智能的知识密集型应用奠定了基石。