argilla/ultrafeedback-binarized-preferences-cleaned

---
language:
- en
license: mit
size_categories:
- 10K<n<100K
task_categories:
- text-generation
pretty_name: UltraFeedback Binarized Preferences Cleaned
dataset_info:
features:
- name: source
dtype: string
- name: prompt
dtype: string
- name: chosen
list:
- name: content
dtype: string
- name: role
dtype: string
- name: chosen-rating
dtype: float64
- name: chosen-model
dtype: string
- name: rejected
list:
- name: content
dtype: string
- name: role
dtype: string
- name: rejected-rating
dtype: float64
- name: rejected-model
dtype: string
splits:
- name: train
num_bytes: 284937773
num_examples: 60917
download_size: 143257393
dataset_size: 284937773
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
tags:
- dpo
- preference
- ultrafeedback
---

# UltraFeedback - Binarized using the Average of Preference Ratings (Cleaned)

This dataset represents a new iteration on top of [`argilla/ultrafeedback-binarized-preferences`](https://huggingface.co/argilla/ultrafeedback-binarized-preferences),
and is the **recommended and preferred dataset by Argilla to use from now on when fine-tuning on UltraFeedback**.

Read more about Argilla's approach towards UltraFeedback binarization at [`argilla/ultrafeedback-binarized-preferences/README.md`](https://huggingface.co/datasets/argilla/ultrafeedback-binarized-preferences/blob/main/README.md).

## Differences with `argilla/ultrafeedback-binarized-preferences`

Thanks to the recent issue identified by [AllenAI](https://huggingface.co/allenai) related to the TruthfulQA contamination within the
original UltraFeedback dataset due to some prompts being reused from the TruthfulQA dataset (used for benchmarking
in the [Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard) from HuggingFace H4), we also decided
to follow AllenAI's advice and remove those from the UltraFeedback dataset that we binarized using a completely different approach, which
implied using the average of the preference ratings rather than the critique overall score, as
[`HuggingFaceH4/ultrafeedback_binarized`](https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized) did.

Besides that, we also saw that not only the rows with the `source=truthful_qa` were contamined (for obvious reasons), but also some
coming from ShareGPT, so we also removed those doing a left join with both subsets from the [`truthful_qa`](https://huggingface.co/datasets/truthful_qa) dataset.

Additionally, we also modified the formatting to be aligned with both [`HuggingFaceH4/ultrafeedback_binarized`](https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized),
and [`allenai/ultrafeedback_binarized_cleaned`](https://huggingface.co/datasets/allenai/ultrafeedback_binarized_cleaned) in order to ease
the integration within the [`huggingface/alignment-handbook`](https://github.com/huggingface/alignment-handbook) so that the formatting is standardized.

## Reproduce

<a target="_blank" href="https://colab.research.google.com/drive/1XR9P1St4yTNY0tjti_tIjm-yzP5Bfqc0?usp=sharing">
<img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
</a>

To reproduce the data processing combining both our approach and the suggestions from HuggingFace H4 w.r.t. the formatting and the ones from AllenAI to
remove the TruthfulQA contamination, feel free to run the attached Colab Notebook or just view it at [`notebook.ipynb`](./notebook.ipynb) within this repository.

From Argilla we encourage anyone out there to play around, investigate, and experiment with the data, and we firmly believe on open sourcing what we do, as
ourselves, as well as the whole community, benefit a lot from open source and we also want to give back.

## Citation

If you find this dataset is useful in your work, please cite the original UltraFeedback dataset: https://huggingface.co/datasets/openbmb/UltraFeedback

Additionally, you may also want to cite our work with Notus 7B, which lead the curation of the UltraFeedback dataset:

```bibtex
@misc{notus2023,
author = {Alvaro Bartolome and Gabriel Martin and Daniel Vila},
title = {Notus},
year = {2023},
publisher = {GitHub},
journal = {GitHub Repository},
howpublished = {\url{https://github.com/argilla-io/notus}}
}
```

> Alphabetically ordered by last name due to equal contribution.

语言：英语
许可证：MIT协议
样本量范围：10K < 样本数 < 100K
任务类别：文本生成
友好名称：UltraFeedback 二分类偏好清洗版
数据集信息：
特征：
- 来源（source）：字符串类型
- 提示词（prompt）：字符串类型
- 被选中回复（chosen）：列表类型，包含子特征：回复内容（content，字符串类型）、角色（role，字符串类型）
- 被选中回复评分（chosen-rating）：float64类型
- 被选中回复生成模型（chosen-model）：字符串类型
- 被拒绝回复（rejected）：列表类型，包含子特征：回复内容（content，字符串类型）、角色（role，字符串类型）
- 被拒绝回复评分（rejected-rating）：float64类型
- 被拒绝回复生成模型（rejected-model）：字符串类型
数据集划分：
- 训练集（train）：字节数284937773，样本数60917
下载大小：143257393
数据集总大小：284937773
配置信息：
- 默认配置（default）：数据文件路径为data/train-*，对应训练集划分
标签：
- dpo（直接偏好优化，Direct Preference Optimization）
- preference（偏好学习）
- ultrafeedback（UltraFeedback）

# UltraFeedback：基于偏好评分平均值二分类（清洗版）
本数据集是在[`argilla/ultrafeedback-binarized-preferences`](https://huggingface.co/argilla/ultrafeedback-binarized-preferences)基础上的全新迭代版本，也是Argilla官方推荐的、今后用于UltraFeedback微调的首选数据集。

如需了解Argilla进行UltraFeedback二分类处理的具体方法，请参阅[`argilla/ultrafeedback-binarized-preferences/README.md`](https://huggingface.co/datasets/argilla/ultrafeedback-binarized-preferences/blob/main/README.md)。

## 与`argilla/ultrafeedback-binarized-preferences`的差异
此前，[AllenAI](https://huggingface.co/allenai)发现原始UltraFeedback数据集存在TruthfulQA数据集污染问题：部分提示词直接复用了用于HuggingFace H4的[Open LLM排行榜](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)基准测试的TruthfulQA数据集内容。为此，我们采纳了AllenAI的建议，对我们采用全新二分类方法处理后的UltraFeedback数据集进行了污染数据移除：我们的方法与[`HuggingFaceH4/ultrafeedback_binarized`](https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized)不同，后者采用评论整体得分作为依据，而我们使用偏好评分的平均值进行二分类。

除此之外，我们还发现不仅`source=truthful_qa`的样本存在污染（原因显而易见），部分来自ShareGPT的样本也存在同样问题，因此我们通过与[`truthful_qa`](https://huggingface.co/datasets/truthful_qa)数据集的两个子集进行左连接，移除了这些污染样本。

此外，为了便于在[`huggingface/alignment-handbook`](https://github.com/huggingface/alignment-handbook)中无缝集成，我们还调整了数据集格式，使其与[`HuggingFaceH4/ultrafeedback_binarized`](https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized)以及[`allenai/ultrafeedback_binarized_cleaned`](https://huggingface.co/datasets/allenai/ultrafeedback_binarized_cleaned)保持一致，从而实现格式标准化。

## 复现方法
[](https://colab.research.google.com/drive/1XR9P1St4yTNY0tjti_tIjm-yzP5Bfqc0?usp=sharing)
如需复现本次数据处理流程（结合我们的二分类方法、HuggingFace H4的格式建议以及AllenAI的污染数据移除方案），您可以运行本仓库附带的Colab笔记本，或直接查看本仓库内的[`notebook.ipynb`](./notebook.ipynb)文件。

Argilla团队鼓励所有使用者探索、研究并基于本数据集开展实验，我们始终坚信开源的价值：不仅我们自身能从开源社区获益，整个社区也能从中受益，而我们也希望通过开源回馈社区。

## 引用说明
如果您在研究中使用了本数据集，请引用原始UltraFeedback数据集：https://huggingface.co/datasets/openbmb/UltraFeedback

此外，您也可以引用用于整理本UltraFeedback数据集的Notus 7B相关工作：
bibtex
@misc{notus2023,
author = {Alvaro Bartolome and Gabriel Martin and Daniel Vila},
title = {Notus},
year = {2023},
publisher = {GitHub},
journal = {GitHub Repository},
howpublished = {url{https://github.com/argilla-io/notus}}
}

> 因贡献均等，作者按姓氏字母顺序排序。

原始信息汇总

数据集概述

基本信息

• 名称: UltraFeedback Binarized Preferences Cleaned
• 语言: 英语
• 许可证: MIT
• 大小: 10K<n<100K
• 任务类别: 文本生成

数据集特征

• source: 字符串
• prompt: 字符串
• chosen:
  • content: 字符串
  • role: 字符串
• chosen-rating: 浮点数
• chosen-model: 字符串
• rejected:
  • content: 字符串
  • role: 字符串
• rejected-rating: 浮点数
• rejected-model: 字符串

数据集拆分

• train:
  • num_bytes: 284937773
  • num_examples: 60917
• 下载大小: 143257393
• 数据集大小: 284937773

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

标签

• dpo
• preference
• ultrafeedback

搜集汇总

数据集介绍

构建方式

本数据集在Argilla先前发布的`ultrafeedback-binarized-preferences`基础上进行了关键性迭代。构建过程中，首要任务是剔除数据污染：受AllenAI团队启发，清除了源自TruthfulQA数据集的提示，这些提示与Open LLM Leaderboard基准测试存在重叠；同时，通过左连接操作，移除了ShareGPT子集中同样受污染的样本。在偏好二值化策略上，采用偏好评分的平均值替代了原有的整体批评分数，从而形成更为稳健的偏好对。最终，数据集格式被标准化为与HuggingFaceH4及AllenAI的清洗版本一致，以无缝对接`alignment-handbook`工具链，确保训练流程的统一性。

使用方法

数据集可直接用于文本生成任务中的偏好对齐微调，尤其适配于Direct Preference Optimization（DPO）算法。其格式与HuggingFace的`alignment-handbook`库完全兼容，用户只需加载默认配置的`train`分割，即可快速集成至标准训练管线。建议在加载后，将`chosen`和`rejected`字段中的对话序列按角色（用户/助手）解析为多轮消息列表，作为偏好对输入。此外，Argilla提供了Colab笔记本，可复现数据处理全流程，供研究者验证或自定义修改。

背景与挑战

背景概述

在大语言模型对齐领域，偏好数据集的构建对于强化学习从人类反馈（RLHF）和直接偏好优化（DPO）等训练范式至关重要。argilla/ultrafeedback-binarized-preferences-cleaned数据集由Argilla团队于2023年创建，旨在解决原始UltraFeedback数据集中的关键缺陷。该数据集基于OpenBMB发布的UltraFeedback大规模偏好语料库，通过采用偏好评分平均值而非整体批评分数进行二值化处理，显著提升了数据质量。其核心研究问题聚焦于消除数据污染——特别是TruthfulQA基准测试中提示的重叠问题，以及ShareGPT子集中存在的类似污染。Argilla团队与AllenAI、HuggingFace H4等研究机构合作，通过严格的数据清理流程，最终形成了这个在格式上与alignment-handbook标准兼容的清洁版本，为语言模型对齐研究提供了更可靠的数据基础。

当前挑战

该数据集面临的核心挑战来自多个层面。在领域问题层面，偏好数据集构建需要解决人类反馈标注中的主观性偏差和噪声问题，原始UltraFeedback中不同标注者对相同回复可能给出不一致的评分，而采用平均值二值化虽能部分缓解此问题，但仍难以完全消除标注不一致带来的影响。在构建过程中，最大的挑战在于数据污染的识别与清除：TruthfulQA基准测试中的提示被意外混入训练数据，导致模型在评估时获得不公平优势；同时ShareGPT子集中也发现类似污染。此外，数据格式标准化也是一项挑战，需要协调不同机构（如HuggingFace H4和AllenAI）的格式规范，确保数据集能够无缝集成到alignment-handbook等主流训练框架中，这要求对超过6万条训练样本进行精细的格式转换与验证。

常用场景

经典使用场景

在大型语言模型的对齐优化研究中，argilla/ultrafeedback-binarized-preferences-cleaned数据集被广泛用于基于人类偏好反馈的强化学习（RLHF）与直接偏好优化（DPO）训练。该数据集提供了经过二值化处理的偏好对，每条样本包含被选与拒绝的模型回答及其评分，为训练模型学习区分优质与劣质输出提供了标准化的监督信号。其经典的使用方式是将提示词与偏好对输入至语言模型，通过对比损失函数或奖励建模，使模型逐步习得符合人类价值观的生成策略。

解决学术问题

该数据集解决了偏好数据质量与污染控制的学术难题。原始UltraFeedback数据中存在来自TruthfulQA和ShareGPT的提示污染，影响模型在开放域评估中的真实性。Argilla通过剔除污染样本并采用评分均值二值化策略，显著提升了偏好标注的纯净度与一致性。这一清理工作为研究者在RLHF与DPO框架下开展可控实验提供了可靠基准，推动了关于偏好数据噪声对对齐效果影响的系统性研究，并促进了对奖励黑客与偏好过拟合等问题的深入探讨。

实际应用

在实际应用中，该数据集被用于微调对话助手、内容生成系统与智能客服等产品，使其输出更贴合用户期待。例如，基于此数据训练的Notus 7B模型在指令遵循与事实准确性上表现优异，可减少有害或冗长回复的产生。此外，数据集的标准化格式兼容HuggingFace Alignment Handbook工具链，降低了企业部署对齐模型的技术门槛，使得从数据清洗到模型部署的全流程更加高效可复现。

数据集最近研究

最新研究方向

在大型语言模型对齐优化领域，基于人类偏好反馈的强化学习（RLHF）技术正经历关键迭代。argilla/ultrafeedback-binarized-preferences-cleaned 数据集的出现，标志着对该领域标杆数据集 UltraFeedback 的深度净化与重构。该数据集的核心突破在于采用偏好评分的均值而非整体批判分数进行二值化处理，同时剔除了源自 TruthfulQA 和 ShareGPT 的污染样本，解决了因提示词复用导致的基准测试泄露问题。这一清洗策略显著提升了偏好数据的纯净度，为直接偏好优化（DPO）等前沿对齐方法提供了更可靠的训练基础。该数据集与 HuggingFace H4 及 AllenAI 的标准化格式对齐，降低了社区在 alignment-handbook 等框架中的集成门槛，有望推动语言模型在事实性与安全性方面的研究进展。