llamafactory/DPO-En-Zh-20k

---
license: apache-2.0
task_categories:
- text-generation
language:
- en
- zh
tags:
- dpo
- orpo
- rlhf
- llama-factory
size_categories:
- 10K<n<100K
configs:
- config_name: en
data_files:
- split: train
path: dpo_en.json
- config_name: zh
data_files:
- split: train
path: dpo_zh.json
dataset_info:
- config_name: en
features:
- name: conversations
list:
- name: from
dtype: string
- name: value
dtype: string
- name: chosen
struct:
- name: from
dtype: string
- name: value
dtype: string
- name: rejected
struct:
- name: from
dtype: string
- name: value
dtype: string
- config_name: zh
features:
- name: conversations
list:
- name: from
dtype: string
- name: value
dtype: string
- name: chosen
struct:
- name: from
dtype: string
- name: value
dtype: string
- name: rejected
struct:
- name: from
dtype: string
- name: value
dtype: string
---

This dataset is composed by

- 4,000 examples of [argilla/distilabel-capybara-dpo-7k-binarized](https://huggingface.co/datasets/argilla/distilabel-capybara-dpo-7k-binarized) with chosen score>=4.
- 3,000 examples of [argilla/distilabel-intel-orca-dpo-pairs](https://huggingface.co/datasets/argilla/distilabel-intel-orca-dpo-pairs) with chosen score>=8.
- 3,000 examples of [argilla/ultrafeedback-binarized-preferences-cleaned](https://huggingface.co/datasets/argilla/ultrafeedback-binarized-preferences-cleaned) with chosen score>=4.
- 10,000 examples of [wenbopan/Chinese-dpo-pairs](https://huggingface.co/datasets/wenbopan/Chinese-dpo-pairs).

You can use it in [LLaMA Factory](https://github.com/hiyouga/LLaMA-Factory) by specifying `dataset: dpo_mix_en,dpo_mix_zh`.

许可证：Apache-2.0
任务类别：
- 文本生成
语言：
- 英语
- 汉语
标签：
- 直接偏好优化（Direct Preference Optimization，DPO）
- 比值比偏好优化（Odds Ratio Preference Optimization，ORPO）
- 基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）
- LLaMA Factory
样本规模区间：1万 < 样本量 < 10万
配置项：
- 配置名称：en
数据文件：
- 拆分集：训练集
路径：dpo_en.json
- 配置名称：zh
数据文件：
- 拆分集：训练集
路径：dpo_zh.json
数据集信息：
- 配置名称：en
特征字段：
- 字段名：conversations，为列表类型，每个元素包含：
- 字段：from，数据类型：字符串
- 字段：value，数据类型：字符串
- 字段名：chosen，为结构体类型，包含：
- 字段：from，数据类型：字符串
- 字段：value，数据类型：字符串
- 字段名：rejected，为结构体类型，包含：
- 字段：from，数据类型：字符串
- 字段：value，数据类型：字符串
- 配置名称：zh
特征字段：
- 字段名：conversations，为列表类型，每个元素包含：
- 字段：from，数据类型：字符串
- 字段：value，数据类型：字符串
- 字段名：chosen，为结构体类型，包含：
- 字段：from，数据类型：字符串
- 字段：value，数据类型：字符串
- 字段名：rejected，为结构体类型，包含：
- 字段：from，数据类型：字符串
- 字段：value，数据类型：字符串

本数据集由以下部分构成：
- 4000条样本来自数据集[argilla/distilabel-capybara-dpo-7k-binarized](https://huggingface.co/datasets/argilla/distilabel-capybara-dpo-7k-binarized)，且优选回复得分≥4。
- 3000条样本来自数据集[argilla/distilabel-intel-orca-dpo-pairs](https://huggingface.co/datasets/argilla/distilabel-intel-orca-dpo-pairs)，且优选回复得分≥8。
- 3000条样本来自数据集[argilla/ultrafeedback-binarized-preferences-cleaned](https://huggingface.co/datasets/argilla/ultrafeedback-binarized-preferences-cleaned)，且优选回复得分≥4。
- 10000条样本来自数据集[wenbopan/Chinese-dpo-pairs](https://huggingface.co/datasets/wenbopan/Chinese-dpo-pairs)。

你可通过指定`dataset: dpo_mix_en,dpo_mix_zh`在[LLaMA Factory](https://github.com/hiyouga/LLaMA-Factory)中使用本数据集。