UCL-DARK/openai-tldr-filtered-queries

这是用于https://arxiv.org/abs/2310.06452研究论文的数据集版本。如果开始一个新项目，建议使用https://huggingface.co/datasets/openai/summarize_from_feedback。该数据集仅对查询进行了过滤，因此比https://huggingface.co/datasets/UCL-DARK/openai-tldr-filtered包含更多数据，后者对查询和摘要都进行了过滤。

本数据集为对应arXiv:2310.06452研究论文的配套数据集版本。若启动全新科研项目，推荐使用https://huggingface.co/datasets/openai/summarize_from_feedback数据集。本数据集仅对查询进行了过滤处理，因此相较于https://huggingface.co/datasets/UCL-DARK/openai-tldr-filtered数据集，其包含的数据量更为丰富——后者同时对查询与摘要均实施了过滤操作。

原始信息汇总

Filtered TL;DR Dataset 概述

基本信息

• 许可证: CC-BY-4.0
• 语言: 英语 (en)
• 多语言性: 单语种
• 数据集大小: 10万<n<100万

创建者信息

• 标注创建者: 众包
• 语言创建者: 众包

数据集特性

• 标签:
  • 对齐
  • 文本分类
  • 摘要生成
  • 人类反馈
• 任务类别: 文本生成

数据集版本与来源

• 版本: 此版本的数据集用于论文 https://arxiv.org/abs/2310.06452。
• 来源: 扩展自原始数据集
• 过滤方式: 仅对查询进行过滤，数据量多于 https://huggingface.co/datasets/UCL-DARK/openai-tldr-filtered，后者同时对查询和摘要进行过滤。

搜集汇总

数据集介绍

构建方式

在自然语言处理与人工智能对齐研究领域，高质量的人类反馈数据是训练可靠文本生成模型的关键。UCL-DARK/openai-tldr-filtered-queries 数据集源自 OpenAI 的 summarize-from-feedback 项目，并基于原始 TL;DR 数据集（Zenodo 存档）进行构建。其构建方式侧重于对查询（queries）进行严格筛选，而非同时对摘要进行过滤，从而保留了更丰富的原始数据。与另一版本（UCL-DARK/openai-tldr-filtered）相比，本数据集仅对查询部分执行过滤操作，因此数据量更大，适用于需要大规模查询样本的研究场景。该过程利用了众包标注，确保了数据来源的多样性与可靠性。

特点

该数据集的核心特点在于其聚焦于查询层面的过滤策略，这使其在同类数据集中独树一帜。由于仅对查询进行筛选，数据集保留了更多原始摘要信息，为研究查询质量对模型生成效果的影响提供了独特视角。数据规模介于 10 万至 100 万条之间，属于中等规模数据集，兼顾了训练效率与统计显著性。此外，数据集标注采用众包方式，语言为单语英语，主要服务于文本生成、摘要及人类反馈对齐等任务，特别适合用于探索模型在多样化查询下的行为模式。

使用方法

使用该数据集时，研究者可直接从 Hugging Face 平台加载，推荐将其作为文本生成或对齐研究的训练或评估资源。由于数据集仅过滤查询，使用者需注意其与同时过滤摘要的版本在数据分布上的差异。建议结合原论文（arXiv:2310.06452）中的实验设置进行应用，例如用于训练奖励模型或进行偏好学习。对于新项目，官方推荐优先使用 openai/summarize_from_feedback 数据集，但本数据集在需要更多查询样本的场景下具有独特优势。加载代码示例可参考 Hugging Face datasets 库的标准流程。

背景与挑战

背景概述

该数据集由伦敦大学学院DARK实验室的研究团队于2023年创建，源自OpenAI的TL;DR摘要数据集，旨在探索基于人类反馈的文本生成模型对齐技术。其核心研究问题聚焦于如何通过过滤用户查询来优化强化学习中的奖励模型训练，从而提升语言模型在摘要任务中的表现。作为对齐研究领域的重要资源，该数据集为后续开发更安全、更符合人类偏好的文本生成系统提供了关键实验基础，推动了从监督学习到基于人类反馈的强化学习范式的转变。

当前挑战

数据集面临的首要挑战在于如何精准设计查询过滤策略，以平衡数据质量与数量——过度过滤可能导致样本多样性不足，影响模型泛化能力；过滤不足则可能引入噪声，削弱对齐效果。构建过程中，研究者需应对众包标注的主观性差异，确保人类反馈的一致性与可靠性。此外，该数据集的过滤版本与完整版之间存在数据规模差异，如何在不同过滤条件下保持模型性能的稳定性，成为评估对齐方法有效性的关键难题。

常用场景

经典使用场景

在语言模型与人类偏好对齐的研究领域中，UCL-DARK/openai-tldr-filtered-queries 数据集被广泛用于训练和评估基于人类反馈的文本摘要模型。该数据集源自 OpenAI 的 TL;DR 项目，经过对查询（queries）的精细筛选，保留了高质量的人类反馈数据，为研究者提供了构建能够生成简洁、忠实摘要的模型所需的核心训练素材。其经典使用场景包括利用人类偏好信号进行强化学习微调，或作为文本分类任务中判断摘要质量的标准基准。

解决学术问题

该数据集有效解决了语言模型生成摘要时与人类期望不一致的学术难题。通过提供大规模、经筛选的查询及对应的人类反馈，它使得研究者能够探索如何将主观偏好量化为可优化的目标函数，从而缓解模型在自动评估指标下表现优异但实际输出却偏离用户意图的问题。其意义在于推动了从纯统计生成向价值对齐的范式转变，为后续研究奠定了数据基础。

衍生相关工作

该数据集衍生了多项经典工作，最具代表性的是 OpenAI 提出的基于人类反馈的强化学习（RLHF）框架，以及后续在《Training Language Models to Follow Instructions with Human Feedback》等论文中使用的数据筛选与对齐方法。此外，UCL-DARK 团队基于此数据集的过滤版本进一步探究了查询与摘要双重筛选对模型性能的影响，相关成果发表于 arXiv:2310.06452，为偏好数据的高效利用提供了新视角。