arcee-ai/cleaned-Aya-Aya.23.8B-DPO

---
dataset_info:
features:
- name: id
dtype: string
- name: source
dtype: string
- name: system
dtype: string
- name: question
dtype: string
- name: chosen
list:
- name: content
dtype: string
- name: role
dtype: string
- name: rejected
list:
- name: content
dtype: string
- name: role
dtype: string
splits:
- name: train
num_bytes: 18501624
num_examples: 13960
download_size: 8442630
dataset_size: 18501624
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集元信息：
特征字段：
- 字段名：id
数据类型：字符串
- 字段名：source
数据类型：字符串
- 字段名：system
数据类型：字符串
- 字段名：question
数据类型：字符串
- 字段名：chosen
数据类型：列表
子特征：
- 字段名：content
数据类型：字符串
- 字段名：role
数据类型：字符串
- 字段名：rejected
数据类型：列表
子特征：
- 字段名：content
数据类型：字符串
- 字段名：role
数据类型：字符串
数据集划分：
- 划分名称：train
字节大小：18501624
样本数量：13960
下载大小：8442630 字节
数据集总大小：18501624 字节
数据集配置：
- 配置名称：default
数据文件：
- 划分：train
文件路径：data/train-*

原始信息汇总

数据集概述

数据集信息

特征

• id: 字符串类型
• source: 字符串类型
• system: 字符串类型
• question: 字符串类型
• chosen: 列表类型
  • content: 字符串类型
  • role: 字符串类型
• rejected: 列表类型
  • content: 字符串类型
  • role: 字符串类型

数据分割

• train:
  • 字节数: 18501624
  • 样本数: 13960

数据大小

• 下载大小: 8442630 字节
• 数据集大小: 18501624 字节

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*

搜集汇总

数据集介绍

构建方式

该数据集源自Aya项目，旨在为多语言大语言模型提供偏好对齐训练数据。构建过程中，研究者从原始Aya数据中筛选并清洗了13960条高质量样本，每条样本包含唯一标识符、来源、系统指令、用户问题以及成对的“chosen”与“rejected”回复，分别代表期望与非期望的模型输出。通过这种对比结构，数据集专门用于直接偏好优化（DPO）训练，以强化模型生成符合人类偏好的内容。

特点

数据集的核心特点在于其精心设计的偏好对齐结构，每条数据均包含明确的正面与负面示例，为DPO算法提供直接的监督信号。此外，数据集涵盖多语言场景，来源字段保留了原始数据的地理与文化多样性，确保模型在偏好学习过程中不丢失泛化能力。清洗步骤剔除了噪声与低质量样本，使数据更加纯净可靠，适用于微调8B参数级别的大语言模型。

使用方法

使用时，数据集以HuggingFace Datasets库加载，默认配置仅包含训练集。用户可直接将数据用于DPO训练框架，通过比较“chosen”与“rejected”字段中的对话序列来更新模型参数。建议在训练前检查数据格式，确保系统指令与问题字段被正确拼接为输入，同时利用来源信息进行领域特定分析或过滤，以适配下游任务需求。

背景与挑战

背景概述

在大型语言模型（LLM）的快速发展中，如何通过人类反馈优化模型行为、提升对齐能力与响应质量，已成为自然语言处理领域的核心议题。基于此，Arcee AI研究团队于2024年构建了cleaned-Aya-Aya.23.8B-DPO数据集，旨在为DPO（Direct Preference Optimization）训练提供高质量的中文偏好数据。该数据集源自Aya系列模型，经清洗与结构化处理后，包含约1.4万条训练样本，每条数据由问题、系统指令、优选回答与拒绝回答四部分组成，覆盖多轮对话场景。其核心研究问题在于：通过显式的偏好对比，使模型更精准地理解人类意图、减少有害输出，从而推动多语言大模型在安全性与实用性上的突破。该数据集的出现，为后续基于人类偏好的模型微调提供了关键资源，尤其对中文环境下的大模型对齐研究具有重要参考价值。

当前挑战

当前数据集面临的首要挑战在于偏好数据的固有主观性与噪声问题。由于‘优选’与‘拒绝’回答的界定依赖标注者判断，不同文化背景或专业水平的标注者可能产生分歧，导致偏好信号不一致，进而影响DPO训练中模型对真实人类偏好的学习。其次，数据集规模（约1.4万条）相对有限，难以覆盖中文对话中丰富的领域、风格与长尾场景，可能造成模型泛化能力不足。在构建过程中，从原始Aya数据中清洗冗余、纠正格式错误并确保多轮对话的逻辑连贯性，也是一项耗时且易引入偏差的工作。此外，如何设计系统指令以平衡引导性与开放性，避免模型过度依赖预设模板，同样构成技术挑战。这些因素共同制约着数据集在复杂真实场景下的可靠性。

常用场景

经典使用场景

在自然语言处理与对齐研究的前沿领域，arcee-ai/cleaned-Aya-Aya.23.8B-DPO数据集凭借其精心构建的偏好对结构，成为强化学习从人类反馈（RLHF）中直接偏好优化（DPO）算法的经典训练基准。该数据集包含约1.4万条高质量问答样本，每条样本均由用户问题、系统指令以及chosen与rejected两个对比性回答组成，旨在引导大语言模型学习区分优劣响应并优先生成符合人类偏好的内容。研究者通常将其作为微调中大型语言模型（如Aya系列）的首选数据源，以提升模型在指令遵循、安全性和有用性方面的表现。其清洗后的数据质量确保了训练过程的稳定性和可复现性，因此被广泛应用于对齐技术的消融实验与性能评估中。

解决学术问题

该数据集的核心学术价值在于解决了大语言模型对齐过程中数据质量参差不齐与偏好信号模糊的难题。传统RLHF依赖人工标注的昂贵流程，且容易引入噪声，而cleaned-Aya-Aya.23.8B-DPO通过精心筛选和清洗，提供了明确的偏好对，使得研究者能够直接利用DPO算法高效地优化模型策略。它有效回应了如何在大规模多语言场景下低成本获取可靠偏好数据、如何避免模型在优化时发生模式坍塌或奖励黑客行为等关键学术问题。这一数据集的发布推动了偏好学习理论从假设走向实证，为理解对齐过程中奖励建模与策略更新的交互机制提供了坚实的实验基础，对强化学习与语言模型交叉领域产生了深远影响。

衍生相关工作

围绕cleaned-Aya-Aya.23.8B-DPO数据集，学术界衍生出了一系列重要工作。首先，研究者基于该数据集探索了DPO算法的变体，如迭代式DPO和混合偏好优化，以提升训练效率与模型泛化能力。其次，该数据集被用作评估不同对齐策略（如PPO与DPO对比）的标准化测试床，催生了多篇关于对齐方法鲁棒性与可扩展性的实证论文。此外，部分工作将其与多语言指令微调相结合，验证了偏好数据在低资源语言上的迁移效果。还有学者利用该数据集分析模型在复杂推理任务中的偏好一致性，推动了安全对齐与事实性保障的交叉研究。这些工作共同构建了从数据到算法再到评估的完整对齐研究链条。