HuggingFaceH4/ultrafeedback_binarized

这是UltraFeedback数据集的预处理版本，用于训练Zephyr-7Β-β模型，这是一个在7B参数规模上的先进聊天模型。原始UltraFeedback数据集包含64k个提示，每个提示有四个来自各种开放和专有模型的完成。GPT-4用于为每个完成评分，评分标准包括帮助性和诚实性。为了创建UltraFeedback Binarized，我们选择了最高overall_score的完成作为“chosen”完成，并随机选择其余三个中的一个作为“rejected”完成。这定义了用于奖励建模或DPO等技术的偏好建模分割。我们还创建了用于监督微调（SFT）的分割，使用“chosen”列作为对话进行建模，以及涉及生成的分割，如拒绝采样或PPO。

This is a preprocessed variant of the UltraFeedback dataset, intended for training the Zephyr-7Β-β model—an advanced 7B-parameter chat model.
The original UltraFeedback dataset contains 64k prompts, each paired with four completions generated by various open-source and proprietary models. GPT-4 was employed to score each completion, with evaluation criteria covering helpfulness and honesty.
To create the UltraFeedback Binarized dataset, we selected the completion with the highest overall_score as the "chosen" completion, and randomly picked one of the remaining three as the "rejected" completion. This defines the preference modeling split for techniques such as reward modeling or DPO.
We also developed splits for Supervised Fine-Tuning (SFT), which use the "chosen" column to model dialogues, as well as generation-oriented splits such as rejection sampling or PPO.

原始信息汇总

数据集概述

名称: UltraFeedback Binarized

语言: 英语

许可证: MIT

任务类别:

• 对话式
• 文本生成

配置:

• 默认配置
  • 数据文件:
    • train_prefs: data/train_prefs-*
    • train_sft: data/train_sft-*
    • test_prefs: data/test_prefs-*
    • test_sft: data/test_sft-*
    • train_gen: data/train_gen-*
    • test_gen: data/test_gen-*

数据集信息:

• 特征:
  • prompt: 字符串
  • prompt_id: 字符串
  • chosen:
    • content: 字符串
    • role: 字符串
  • rejected:
    • content: 字符串
    • role: 字符串
  • messages:
    • content: 字符串
    • role: 字符串
  • score_chosen: float64
  • score_rejected: float64

数据分割:

• train_prefs: 61135个示例，405688662字节
• train_sft: 61135个示例，405688662字节
• test_prefs: 2000个示例，13161585字节
• test_sft: 1000个示例，6697333字节
• train_gen: 61135个示例，325040536字节
• test_gen: 1000个示例，5337695字节

下载大小: 649967196字节 数据集大小: 1161614473字节

数据集结构

• 使用: python from datasets import load_dataset ds = load_dataset("HuggingFaceH4/ultrafeedback_binarized")

• 数据分割详情:

  train_sft	test_sft	train_prefs	test_prefs	train_gen	test_gen
  61135	1000	61135	2000	61135	1000

• 数据存储格式: Parquet

• 数据集架构: json { "prompt": "字符串", "chosen": [ {"content": "字符串", "role": "字符串"}, {"content": "字符串", "role": "字符串"} ], "messages": [ {"content": "字符串", "role": "字符串"}, {"content": "字符串", "role": "字符串"} ], "prompt_id": "字符串", "rejected": [ {"content": "字符串", "role": "字符串"}, {"content": "字符串", "role": "字符串"} ], "score_chosen": "float64", "score_rejected": "float64" }

引用

• 原始数据集: https://huggingface.co/datasets/openbmb/UltraFeedback
• Zephyr 7B技术报告: bibtex @misc{tunstall2023zephyr, title={Zephyr: Direct Distillation of LM Alignment}, author={Lewis Tunstall and others}, year={2023}, eprint={2310.16944}, archivePrefix={arXiv}, primaryClass={cs.LG} }

搜集汇总

数据集介绍

构建方式

在大型语言模型的对齐优化领域，高质量偏好数据的构建至关重要。UltraFeedback Binarized 数据集源于原始的 UltraFeedback 数据集，该原始数据集包含约 6.4 万条提示，每条提示均附有来自多种开源与闭源模型的四个生成回复，并由 GPT-4 依据 helpfulness 和 honesty 等标准进行评分。本数据集在此基础上进行了二值化处理：对于每条提示，选取评分最高的回复作为“chosen”样本，并从剩余三个回复中随机抽取一个作为“rejected”样本，由此构建出适用于偏好建模的训练与测试集。同时，数据集还划分了用于监督微调（SFT）的 splits，其直接采用“chosen”列中的对话内容，以及用于生成式方法（如拒绝采样或 PPO）的 splits，为不同训练范式提供了统一且标准化的数据基础。

使用方法

使用该数据集极为便捷，用户可通过 HuggingFace 的 datasets 库直接加载，执行 `load_dataset("HuggingFaceH4/ultrafeedback_binarized")` 即可获取最新版本。针对偏好建模技术（如 DPO 或奖励模型训练），应使用 `chosen` 和 `rejected` 列；进行监督微调（SFT）或 PPO 训练时，则推荐使用 `messages` 列。若需复现原始 Zephyr-7B-β 的训练设置，用户可指定版本号 `revision="292c16329d921287c4166934cac1a6ad1e13a6c5"` 来加载旧版数据。数据集以 Parquet 格式存储，便于高效读取与处理，为各类对齐算法的实现提供了即插即用的数据支持。

背景与挑战

背景概述

在大型语言模型（LLM）的快速发展浪潮中，如何高效且可靠地获取人类偏好反馈以对齐模型行为，成为制约模型性能提升的关键瓶颈。HuggingFaceH4团队于2023年基于OpenBMB发布的UltraFeedback数据集，精心构建了UltraFeedback Binarized版本，旨在为偏好建模与监督微调提供标准化数据基础。该数据集由64,000条提示组成，每条提示均包含来自多个开源与闭源模型的四组生成结果，并由GPT-4依据帮助性、诚实性等维度进行评分。研究者通过选取最高分作为“优选”回复、随机选取其余之一作为“拒选”回复，形成了适用于直接偏好优化（DPO）和奖励建模的二值化偏好数据。该数据集直接支撑了Zephyr-7B-β这一7B参数级别顶尖对话模型的训练，显著推动了开源社区在偏好对齐领域的研究进程，成为后续工作广泛引用与比较的基准。

当前挑战

该数据集所面对的挑战首先体现在领域问题层面：如何从模型生成的多样化回复中，自动化且准确地筛选出符合人类偏好的高质量样本，以克服传统人工标注成本高昂、一致性差的局限。尽管GPT-4评分提供了可扩展的解决方案，但评分模型本身的偏见与不稳定性仍可能引入系统性偏差，影响偏好数据的可靠性。在构建过程中，团队面临了标签噪声与数据污染的双重挑战——早期版本存在数百条完成结果标签错误的问题，同时部分提示源自TruthfulQA基准测试，可能导致模型在公开排行榜上产生过拟合。此外，将连续评分转化为二值化偏好时，“最优”与“拒选”的随机选取策略虽简化了流程，却可能丢失细粒度偏好信息，并增加偶然性噪声。这些挑战的解决不仅依赖于对数据源的严格审查与清洗，也促使社区反思自动化偏好数据构建的鲁棒性与可复现性。

常用场景

经典使用场景

在大型语言模型的对齐与微调研究中，UltraFeedback Binarized 数据集被广泛应用于偏好建模与强化学习训练。其核心用途在于为直接偏好优化（DPO）、奖励模型训练以及基于人类反馈的强化学习（RLHF）提供高质量的成对偏好数据。通过将原始UltraFeedback中GPT-4对多个模型输出的评分转化为二元偏好标签，该数据集使得研究者能够高效地训练出更符合人类价值观的对话系统，Zephyr-7B-β便是其经典应用案例。

解决学术问题

该数据集有效解决了大型语言模型在监督微调后难以捕捉细微人类偏好的学术难题。传统方法依赖人工标注偏好，成本高昂且难以扩展，而UltraFeedback Binarized通过自动化评分与二元化处理，为偏好学习提供了大规模、高质量的训练语料。它推动了从单一监督学习向偏好对齐范式的转变，显著提升了模型在有用性、诚实性等维度上的表现，为构建更安全、更可控的语言模型奠定了数据基础。

实际应用

在实际应用中，该数据集支撑了对话式AI助手的偏好对齐与行为优化。基于其训练的模型在客服系统、教育辅导、内容生成等场景中展现出更符合用户期望的回复能力。通过减少有害或误导性输出，增强了AI系统的可信度与用户体验。此外，其数据格式兼容多种训练流程，使得从学术研究到工业部署的迁移更加顺畅，成为连接前沿算法与产品落地的关键数据桥梁。

数据集最近研究

最新研究方向

在大规模语言模型对齐研究的前沿，UltraFeedback Binarized 数据集成为探索偏好优化与监督微调协同效应的关键资源。该数据集通过对原始 UltraFeedback 中 GPT-4 评分的高质量响应进行二值化处理，构建了“选择-拒绝”偏好对，直接服务于直接偏好优化（DPO）和奖励模型训练等核心技术。近期研究围绕该数据集展开的焦点包括：利用其多任务拆分（如 SFT、偏好建模、生成排序）评估不同对齐策略的样本效率，以及探究模型在 TruthfulQA 等基准上的污染问题与数据清洗方案。该数据集催生了 Zephyr-7B-β 等轻量级高性能对话模型，推动了将偏好信号从大型教师模型高效蒸馏至小型学生模型的研究浪潮，对于提升语言模型的安全性与价值对齐具有里程碑意义。