pszemraj/qmsum-cleaned

---
language:
- en
license: apache-2.0
size_categories:
- 1K<n<10K
source_datasets: tau/scrolls
task_categories:
- text2text-generation
- summarization
tags:
- scrolls
- qmsum
dataset_info:
- config_name: default
features:
- name: id
dtype: string
- name: pid
dtype: string
- name: input
dtype: string
- name: output
dtype: string
- name: input_token_count
dtype: int64
- name: output_token_count
dtype: int64
splits:
- name: train
num_bytes: 68960760
num_examples: 1257
- name: validation
num_bytes: 15700972
num_examples: 272
- name: test
num_bytes: 16120860
num_examples: 281
download_size: 42316972
dataset_size: 100782592
- config_name: no-prefix
features:
- name: id
dtype: string
- name: pid
dtype: string
- name: input
dtype: string
- name: output
dtype: string
- name: prompt
dtype: string
splits:
- name: train
num_bytes: 68944419
num_examples: 1257
- name: validation
num_bytes: 15697436
num_examples: 272
- name: test
num_bytes: 16117207
num_examples: 281
download_size: 6180898
dataset_size: 100759062
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
- config_name: no-prefix
data_files:
- split: train
path: no-prefix/train-*
- split: validation
path: no-prefix/validation-*
- split: test
path: no-prefix/test-*
---
# qmsum-cleaned

## prefixes

It's worth noting that each "document" in `input` is prefixed by a question/prompt on what the model is supposed to do. **You may want to explicitly handle this in some way, or prefix your models trained on this dataset.**

Most frequent "prefixes" separated via [sentence-splitter](https://github.com/mediacloud/sentence-splitter) in the `train` split:

| | Sentence | Count |
|---:|:------------------------------------------------------------------------------|--------:|
| 0 | Summarize the whole meeting. | 121 |
| 1 | Summarize the meeting | 25 |
| 2 | What did the team discuss about the product cost? | 4 |
| 3 | How did Marketing design the product evaluation? | 4 |
| 4 | Summarize the wrap up of the meeting. | 3 |
| 5 | What did the group discuss about user requirements of the new remote control? | 3 |
| 6 | What did the team discuss during the product evaluation? | 3 |
| 7 | Summarize the meeting. | 2 |
| 8 | Summarize what was said about digits form | 2 |
| 9 | What was discussed in the meeting? | 2 |

### wordcloud

Visualized as a wordcloud (`train` split):


## token counts


语言：
- en（英语）
许可证：Apache-2.0
规模类别：
- 1000 < 样本量 < 10000
源数据集：tau/scrolls
任务类别：
- 文本到文本生成（text2text-generation）
- 摘要生成（summarization）
标签：
- scrolls（SCROLLS）
- qmsum（Query-Based Meeting Summarization）
数据集信息：
- 配置名称：default
特征：
- 名称：id，数据类型：字符串
- 名称：pid，数据类型：字符串
- 名称：input，数据类型：字符串
- 名称：output，数据类型：字符串
- 名称：input_token_count，数据类型：64位整数
- 名称：output_token_count，数据类型：64位整数
数据集划分：
- 划分名称：train（训练集），字节数：68960760，样本数：1257
- 划分名称：validation（验证集），字节数：15700972，样本数：272
- 划分名称：test（测试集），字节数：16120860，样本数：281
下载大小：42316972，数据集总大小：100782592
- 配置名称：no-prefix
特征：
- 名称：id，数据类型：字符串
- 名称：pid，数据类型：字符串
- 名称：input，数据类型：字符串
- 名称：output，数据类型：字符串
- 名称：prompt，数据类型：字符串
数据集划分：
- 划分名称：train（训练集），字节数：68944419，样本数：1257
- 划分名称：validation（验证集），字节数：15697436，样本数：272
- 划分名称：test（测试集），字节数：16117207，样本数：281
下载大小：6180898，数据集总大小：100759062
配置项：
- 配置名称：default
数据文件：
- 划分：train（训练集），路径：data/train-*
- 划分：validation（验证集），路径：data/validation-*
- 划分：test（测试集），路径：data/test-*
- 配置名称：no-prefix
数据文件：
- 划分：train（训练集），路径：no-prefix/train-*
- 划分：validation（验证集），路径：no-prefix/validation-*
- 划分：test（测试集），路径：no-prefix/test-*

# qmsum_cleaned（qmsum清洗版）

## 前缀说明

值得注意的是，`input` 中的每一份“文档”均带有模型需完成任务的问题/提示前缀。**建议您对此进行显式处理，或为基于该数据集训练的模型添加对应前缀。**

训练集划分中最常见的前缀（通过[分句分割工具（sentence-splitter）](https://github.com/mediacloud/sentence-splitter)进行分句分割）如下：

| | 语句 | 计数 |
|---:|:------------------------------------------------------------------------------|--------:|
| 0 | 总结整个会议。 | 121 |
| 1 | 总结该会议 | 25 |
| 2 | 团队就产品成本讨论了哪些内容？ | 4 |
| 3 | 营销团队是如何设计产品评估方案的？ | 4 |
| 4 | 总结会议的收尾环节。 | 3 |
| 5 | 团队就新型遥控器的用户需求讨论了哪些内容？ | 3 |
| 6 | 团队在产品评估过程中讨论了哪些内容？ | 3 |
| 7 | 总结该会议。 | 2 |
| 8 | 总结关于数字格式的讨论内容 | 2 |
| 9 | 会议中讨论了哪些内容？ | 2 |

### 词云可视化

训练集划分的词云可视化结果：


## 词元计数统计


原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 许可证: Apache-2.0
• 大小分类: 1K<n<10K
• 来源数据集: tau/scrolls
• 任务类别:
  • 文本到文本生成
  • 摘要生成
• 标签:
  • scrolls
  • qmsum

数据集配置

• 配置名称: default, no-prefix
• 特征:
  • id: 字符串
  • pid: 字符串
  • input: 字符串
  • output: 字符串
  • input_token_count: 整数64位
  • output_token_count: 整数64位
  • prompt (仅no-prefix配置): 字符串

数据集拆分

• 训练集:
  • default配置: 1257个样本，68960760字节
  • no-prefix配置: 1257个样本，68944419字节
• 验证集:
  • default配置: 272个样本，15700972字节
  • no-prefix配置: 272个样本，15697436字节
• 测试集:
  • default配置: 281个样本，16120860字节
  • no-prefix配置: 281个样本，16117207字节

下载与数据集大小

• 下载大小:
  • default配置: 42316972字节
  • no-prefix配置: 6180898字节
• 数据集大小:
  • default配置: 100782592字节
  • no-prefix配置: 100759062字节

数据文件配置

• default配置:
  • 训练集: data/train-*
  • 验证集: data/validation-*
  • 测试集: data/test-*
• no-prefix配置:
  • 训练集: no-prefix/train-*
  • 验证集: no-prefix/validation-*
  • 测试集: no-prefix/test-*

输入前缀

• 每个输入文档前缀包含一个问题/提示，指示模型应执行的任务。常见前缀包括“Summarize the whole meeting.”等。

搜集汇总

数据集介绍

构建方式

在文本生成与摘要任务的研究背景下，pszemraj/qmsum-cleaned数据集源自广泛使用的SCROLLS基准中的QMSum子集，经过精细清洗与重构而形成。该数据集保留了原始会议摘要任务的核心结构，每个样本包含唯一的标识符、会议文本输入、对应摘要输出以及输入与输出的词元计数。数据集划分为训练、验证和测试三个子集，分别包含1257、272和281个样本，确保模型训练与评估的完整性。此外，数据集提供了两种配置：默认配置包含完整的特征字段，而no-prefix配置则额外引入了提示字段，以支持不同训练策略的需求。

特点

该数据集的一个显著特点在于其输入文本中嵌入了任务引导前缀，这些前缀以问题或指令的形式明确指示模型应执行的摘要任务，例如“Summarize the whole meeting”或针对特定主题的提问。通过统计分析发现，训练集中最常见的前缀占比不均，其中“Summarize the whole meeting”出现频率最高，达121次，而其他特定查询则相对稀少。这种设计使得数据集能够模拟真实场景中多样化、细粒度的摘要需求，同时词元计数分布的可视化进一步揭示了输入与输出长度的典型范围，为模型训练提供了重要参考。

使用方法

在使用该数据集时，研究者需要特别关注输入中的前缀部分，因为这些前缀可能对模型行为产生显著影响。建议在训练过程中显式处理这些前缀，例如通过去除或特殊标记来调整模型对指令的响应方式。数据集通过HuggingFace Datasets库加载，支持两种配置的灵活选择：默认配置适用于标准摘要训练，而no-prefix配置则适合需要更纯净输入的场景。加载后，数据可直接用于序列到序列模型的微调，配合分词器进行词元化处理，从而高效地实现会议摘要任务的模型开发与评估。

背景与挑战

背景概述

在自然语言处理领域，会议摘要生成是一项极具挑战性的任务，旨在从冗长且多主题的对话中提炼出关键信息。pszemraj/qmsum-cleaned数据集诞生于对现有QMSum数据集的清洗与优化，由研究者Peter Szemraj等人整理并发布，其核心研究问题聚焦于提升模型对会议内容的理解与概括能力，尤其是针对特定查询的摘要生成。该数据集源自SCROLLS基准中的QMSum，包含约1800个会议记录样本，每个样本配有详细的输入-输出对，其中输入部分嵌入了任务前缀，以引导模型执行不同粒度的摘要任务。其影响力体现在为文本生成与摘要领域提供了一个更干净、更一致的训练与评估资源，推动了会议摘要技术的进步。

当前挑战

当前数据集面临的核心挑战在于领域问题的复杂性与构建过程的精细性。首先，会议摘要需处理多说话人、话题切换频繁及非结构化对话的难题，模型不仅要识别关键信息，还需应对查询驱动的摘要生成，例如区分全局总结与局部问题回答，这对语义理解与上下文建模提出了极高要求。其次，构建过程中，原始QMSum数据存在噪声和不一致的前缀格式，清理工作需确保任务指令的标准化，避免前缀干扰模型学习；同时，数据集的规模有限（约1800例），可能不足以覆盖多样化的会议场景，导致模型泛化能力受限。此外，输入与输出长度的差异（如部分样本输出极短）也增加了训练的不平衡性，需精心设计损失函数或采样策略以优化性能。

常用场景

经典使用场景

在会议摘要生成领域，QMSum-Cleaned数据集以其精炼的对话文本和明确的查询导向型摘要任务而著称。该数据集源自SCROLLS基准，经过清洗后保留了会议记录与对应摘要的配对，其经典使用场景聚焦于训练和评估文本生成模型，使其能够根据给定的查询（如“总结整个会议”或“讨论产品成本的环节”）生成针对性的会议摘要。研究者常利用该数据集的多粒度查询特性，探索模型在理解复杂对话结构、提取关键信息以及生成连贯摘要方面的能力。

实际应用

在实际应用中，QMSum-Cleaned数据集训练出的模型可被部署于智能会议助手、企业知识管理系统和语音助手等场景。例如，它能够自动从长达数小时的商业会议录音转录文本中，根据用户提出的具体问题（如“决策点是什么？”或“预算分配情况如何？”）生成简洁的摘要，极大提升信息检索效率。此外，该数据集还可用于开发教育领域的课堂讨论总结工具，或医疗场景下的病例研讨会纪要生成系统，助力用户从海量对话数据中快速获取关键洞察。

衍生相关工作

QMSum-Cleaned作为QMSum数据集的改进版本，其衍生的相关工作涵盖了多个前沿方向。例如，研究者基于该数据集开发了面向长文档的稀疏注意力机制（如Longformer、BigBird）的微调策略，以提升模型对会议长文本的编码效率。此外，还有工作探索了提示学习（Prompt Tuning）和指令微调（Instruction Tuning）在查询聚焦摘要中的应用，以及利用对比学习增强模型对查询与对话内容匹配度的感知能力。这些衍生工作不仅深化了对话摘要领域的技术积累，也为其他多模态摘要任务提供了方法论参考。