QFESum
收藏arXiv2026-07-13 更新2026-07-14 收录
下载链接:
https://github.com/sarcasm-hcy02/QFES-QFESum
下载链接
链接失效反馈官方服务:
资源简介:
QFESum是由华中科技大学构建的大规模查询聚焦事件摘要数据集,旨在解决现有查询聚焦摘要方法在事件主题语料上的不足。该数据集包含8个主题事件语料库,总计16,684篇文档和104个查询,数据来源于T17和CRISIS两个现有事件时间线摘要数据集,通过人工标注与大型语言模型辅助标注相结合的方式构建。其创建过程包括查询初始化、查询聚焦摘要构建和查询相关文档标注三个阶段,通过主题聚类和语义精炼确保查询覆盖事件主题的多个维度。该数据集主要应用于自然语言处理领域的事件摘要任务,特别针对用户查询驱动的多文档事件摘要场景,旨在评估模型从大规模异构语料中检索相关文档并生成语义连贯的查询聚焦摘要的能力。
QFESum is a large-scale query-focused event summarization dataset constructed by Huazhong University of Science and Technology, aiming to address the shortcomings of existing query-focused summarization methods when applied to event-themed corpora. This dataset includes 8 thematic event corpora, totaling 16,684 documents and 104 queries. Its data is sourced from two existing event timeline summarization datasets, T17 and CRISIS, and was built through a hybrid approach combining manual annotation and large language model (LLM)-assisted annotation. The construction workflow of this dataset encompasses three stages: query initialization, query-focused summarization construction, and annotation of query-relevant documents. Theme clustering and semantic refinement are employed to ensure that the queries cover multiple dimensions of the event theme. This dataset is mainly applied to event summarization tasks in the field of natural language processing, specifically targeting user query-driven multi-document event summarization scenarios, and is designed to evaluate the capability of models to retrieve relevant documents from large-scale heterogeneous corpora and generate semantically coherent query-focused summaries.
提供机构:
华中科技大学创建时间:
2026-07-13
原始信息汇总
数据集概述:QFESum
QFESum 是一个为查询焦点事件摘要(Query-Focused Event Summarization, QFES) 任务构建的数据集。与传统的多文档摘要不同,QFES 要求系统从主题事件语料库中检索与查询相关的文档,并生成聚焦于查询所描述的特定事件方面的摘要。
数据集结构与内容
- 仓库位置:https://github.com/sarcasm-hcy02/QFES-QFESum 下的
QFESum/目录。 - 主题事件语料库:包含多个主题事件语料库,每个语料库代表一个特定事件主题:
bpoilfinaniraqsyria_t17egyptlibyasyria_crisisyemen
每个主题语料库的文件结构
每个主题目录(例如 theme_name/)通常包含以下文件或目录:
| 文件/目录 | 描述 |
|---|---|
theme_name.json |
该主题语料库中的所有文档。 |
QFS.json |
包含查询缩写、完整查询描述以及查询焦点的参考摘要。 |
timelines.json |
原始的时间线摘要。 |
standard_documents/ |
查询相关的相关文档集和事件注释。 |
关联方法:QFES
该仓库还包含了与 QFESum 数据集配套的 QFES 方法,这是一个查询焦点事件摘要方法,由两个核心模块构成:
- RAT 检索器 (
QFES/RAT/):从主题事件语料库中检索与查询相关的文档,生成查询相关的文档集。 - SHC 摘要器 (
QFES/SHC/):基于事件提取、事件表示、图结构建模和层次聚类,生成查询焦点事件摘要。
运行环境
- 推荐使用 Python 3.11.11,并在隔离的 Conda 环境中运行。
- 通过
pip install -r requirements.txt安装依赖。
搜集汇总
数据集介绍

构建方式
QFESum数据集基于T17与CRISIS两个现有的主题语料库构建而成。构建流程分为三个阶段:首先,通过BERTopic聚类从语料库中提取主题关键词,并借助ChatGPT-4o将其转化为初始查询;其次,由两位标注员基于语料库的事件集为每个初始查询手动筛选相关事件,构建查询聚焦的参考摘要,并通过迭代精炼查询以提升事件覆盖度和语义多样性;最后,利用Qwen2.5-7B大语言模型对文档进行逐句相关性判定,并由标注员抽样验证,确保标注质量。最终数据集涵盖8个主题事件、16684篇文档和104条查询。
使用方法
QFESum数据集可用于查询聚焦事件摘要任务的训练与评估。使用时,用户首先针对给定查询,从对应主题语料库中利用检索方法(如RAT模块)获取相关文档,随后基于检索到的文档生成查询聚焦的事件摘要。该数据集提供了标准的训练/测试划分,并支持多种评估指标,包括ROUGE、BLEU、METEOR、BERTScore等传统词级指标,以及基于LLM的事件级语义匹配指标(LLM-Pre、LLM-Rec、LLM-F1)。数据集及基线代码已开源,便于研究者复现实验并推动该领域的研究进展。
背景与挑战
背景概述
在信息技术飞速发展的当下,主题语料库作为描述同一主题事件不同维度的语义连贯文档集合,其规模往往达到数百甚至数千篇文档,为全面理解复杂事件带来了巨大挑战。传统的多文档事件摘要虽能生成概括性摘要,却难以满足用户对特定维度的个性化信息需求。为此,查询聚焦摘要技术应运而生,旨在针对用户查询生成定制化摘要。然而,现有查询聚焦摘要数据集缺乏对事件场景的专门设计,且多数方法难以应对大规模语料库。在此背景下,由华中科技大学陈宇和汪榜研究员于2026年提出的查询聚焦事件摘要任务及QFESum数据集,基于T17和CRISIS语料库构建,涵盖8个主题事件、16,684篇文档与104条查询,弥补了事件级查询聚焦摘要数据集的空白,为该领域的研究提供了重要基准,推动了事件驱动下个性化摘要技术的发展。
当前挑战
QFESum数据集的建设与应用面临多重挑战。首先,在领域问题上,现有查询聚焦摘要数据集多聚焦于短篇故事或会议记录,缺乏对事件场景的覆盖;而多文档事件摘要数据集虽包含主题语料,却未提供查询,难以支撑定制化摘要生成。其次,构建过程中需从大规模语料中为每个主题事件提取多维度查询,并人工标注文档-查询相关性及查询聚焦参考摘要,标注过程耗时且需确保高一致性。此外,大多数查询聚焦摘要方法在大规模语料上性能显著下降,难以维持全局一致性;且现有方法未能量化检索质量对摘要性能的影响,而文档检索作为查询聚焦事件摘要的关键前提,其效率与准确性直接关系到后续生成任务的成功与否。
常用场景
经典使用场景
在主题事件分析领域,QFESum数据集的核心应用场景是面向查询的事件摘要生成。该数据集涵盖八大规模主题事件,包含逾一万六千篇文档及一百余条用户查询,为研究如何从海量异构文档中精准提取与用户特定兴趣维度相关的事件摘要提供了标准化评测平台。其经典用法在于评估检索-摘要两阶段框架的性能,即先通过自适应阈值检索从主题语料库中筛选查询相关文档,再基于层次聚类对事件进行提取、选择与共指消解,最终生成聚焦于查询语义的事件摘要。
解决学术问题
QFESum数据集有效解决了现有查询聚焦摘要数据集缺乏事件粒度和大规模语料支撑的学术困境。此前,如SQuALITY和QMSum等数据集多局限于短篇故事或会议记录,其查询设计并未与主题事件对齐;而DUC和NEWTS等事件摘要数据集则规模有限或缺少查询标注。QFESum通过系统化标注框架融合了事件级参考摘要与文档-查询相关性标签,填补了面向主题语料库的查询聚焦事件摘要任务空白,推动了从通用摘要向事件粒度的语义匹配评估范式跃迁。
实际应用
在实际应用层面,QFESum为舆情监控、金融风险分析和政策评估等需要从海量信息中快速提炼特定维度事件摘要的场景提供了关键支撑。例如,环境组织可借助该数据集训练模型,从全球金融危机语料中提取生态影响相关事件;投资者可获取聚焦于金融风险的定制化摘要。此外,该数据集构建的检索-摘要框架可直接应用于新闻聚合平台和智库分析系统,提升信息筛选与事件提炼的自动化水平。
数据集最近研究
最新研究方向
鉴于现有查询聚焦摘要数据集缺乏针对主题事件的专门设计,且多数方法在处理大规模语料时性能显著下降,QFESum数据集应运而生,聚焦于查询聚焦事件摘要这一新兴前沿方向。该数据集基于T17和CRISIS语料构建,涵盖八个主题事件、逾一万六千篇文档及一百余条查询,并通过人工与大型语言模型协同标注的方式,提供了文档级的查询相关性标签。与之配套提出的RAT与SHC两阶段框架,分别通过自适应阈值检索与层次化聚类机制,有效提升了海量主题语料中查询相关文档的召回率与摘要的事件级语义对齐度。QFESum的发布不仅弥补了当前事件摘要领域数据资源的空白,也为大规模主题语料下的个性化摘要研究奠定了重要基础,其影响力正逐步向舆情监测、金融风险分析及多维度事件理解等应用场景延伸。
相关研究论文
- 1Query-Focused Event Summarization: A Dataset and Benchmark华中科技大学 · 2026年
以上内容由遇见数据集搜集并总结生成



