lightblue/mitsu_tophalf_borda

--- dataset_info: features: - name: prompt dtype: string - name: chosen list: - name: content dtype: string - name: role dtype: string - name: rejected list: - name: content dtype: string - name: role dtype: string splits: - name: test num_bytes: 216048.79407407407 num_examples: 68 - name: train num_bytes: 4289220 num_examples: 1350 download_size: 4766811 dataset_size: 4505268.794074073 configs: - config_name: default data_files: - split: train path: data/train-* - split: test path: data/test-* license: cc-by-nc-4.0 --- # Mitsu <p align="center"> <img width=400 src="https://cdn-uploads.huggingface.co/production/uploads/64b63f8ad57e02621dc93c8b/Ypd0x0ZyVCJs7rkd5xA_O.png" alt="Mitsu - a honey bee in its comb"/> </p> [[Paper]](https://arxiv.org/abs/2405.18952) [[Model]](https://huggingface.co/lightblue/suzume-llama-3-8B-multilingual-orpo-borda-half) This is a multilingual preference dataset generated using human written prompts and responses from 7 LLMs. We evaluate each set of responses 5 times using GPT4. Note that this model has a non-commerical license as we used the Command R and Command R+ models to create this data. We are currently working on a developing a commerically usable model, so stay tuned for that! # Dataset details This is the ORPO training dataset derived from the [lightblue/mitsu](https://huggingface.co/datasets/lightblue/mitsu). This dataset contains the prompts corresponding to the 50\% most consistely ranked responses by GPT, with the highest/lowest ranked responses used as the positive and negative responses for each prompt. # How we made this: We made this dataset using our Repeated Ranking method, which entails the following steps: 1. Sample responses from [lightblue/tagengo-gpt4](https://huggingface.co/datasets/lightblue/tagengo-gpt4), stratifying by language by sampling 100 per language 2. Generate responses for each prompt using each of the following models: * gpt-35-turbo-instruct (0914) * gpt-4 (0125-Preview) * Nexusflow/Starling-LM-7B-beta * Qwen/Qwen1.5-32B-Chat * Qwen/Qwen1.5-72B-Chat * CohereForAI/c4ai-command-r-v01 * CohereForAI/c4ai-command-r-plus 3. Evaluate the responses using gpt-4 (0125-Preview) 5 times, randomly shuffling the order that the responses are given in each time 4. Calculate the agreement between the rankings using Kendall's W The full code for creating this dataset can be [found on our repo](https://github.com/lightblue-tech/suzume/tree/main/mitsu/data_creation). # How to use it: We process this dataset into datasets usable for DPO/PPO/ORPO training using the [code available on our repo](https://github.com/lightblue-tech/suzume/blob/main/mitsu/data_creation/response_rank_process.ipynb). Processed versions of this dataset can be found at: * [All prompt dataset](https://huggingface.co/datasets/lightblue/mitsu_full_borda) * [Prompts with top 75% most repeated consistent evaluations](https://huggingface.co/datasets/lightblue/mitsu_top75_borda) * [Prompts with top 50% most repeated consistent evaluations (recommended for training)](https://huggingface.co/datasets/lightblue/mitsu_tophalf_borda) * [Prompts with top 25% most repeated consistent evaluations](https://huggingface.co/datasets/lightblue/mitsu_top25_borda) # Dataset results We conducted experiments by training our [lightblue/suzume-llama-3-8B-multilingual](https://huggingface.co/lightblue/suzume-llama-3-8B-multilingual) using this dataset with ORPO training. We also conduct experiments where we sample varying fractions of the dataset, ordered by the consistency of the 5 rankings that the evaluator model gave (as described in the diagram below). <p align="center"> <img width=800 src="https://cdn-uploads.huggingface.co/production/uploads/64b63f8ad57e02621dc93c8b/Ccz6V2G7zCmfZWXuHK0x3.png" alt="Diagram describing our repeated ranking methodology"/> </p> We train using the top 75%, 50%, and 25% most consistently ranked responses, and compare that to training on all responses. We find that training on less data can actually result in greater down stream accuracy for down-stream tasks, such as the MT-Bench scores in 6 languages that we test on: <p align="center"> <img width=700 src="https://cdn-uploads.huggingface.co/production/uploads/64b63f8ad57e02621dc93c8b/JahHDC6xcgbz3Ej2ZrWjQ.png" alt="MT-Bench results for our ORPO experiments"/> </p> # How to cite ```tex @article{devine2024sure, title={Are You Sure? Rank Them Again: Repeated Ranking For Better Preference Datasets}, author={Devine, Peter}, journal={arXiv preprint arXiv:2405.18952}, year={2024} } ``` # Developer Peter Devine - ([ptrdvn](https://huggingface.co/ptrdvn))dataset_info: 数据集信息： 特征： - 名称：prompt（提示词），数据类型：字符串 - 名称：chosen（选中回复），为列表类型，包含两个子字段： - 名称：content（内容），数据类型：字符串 - 名称：role（角色），数据类型：字符串 - 名称：rejected（拒选回复），为列表类型，包含两个子字段： - 名称：content（内容），数据类型：字符串 - 名称：role（角色），数据类型：字符串 划分集： - 名称：test（测试集），字节数：216048.79407407407，样本数：68 - 名称：train（训练集），字节数：4289220，样本数：1350 下载大小：4766811，数据集总大小：4505268.794074073 配置： - 配置名称：default（默认配置），数据文件： - 划分集：train，路径：data/train-* - 划分集：test，路径：data/test-* 许可证：cc-by-nc-4.0 # Mitsu <p align="center"><img width=400 src="https://cdn-uploads.huggingface.co/production/uploads/64b63f8ad57e02621dc93c8b/Ypd0x0ZyVCJs7rkd5xA_O.png" alt="Mitsu——蜂巢中的蜜蜂"/></p> [[论文]](https://arxiv.org/abs/2405.18952) [[模型]](https://huggingface.co/lightblue/suzume-llama-3-8B-multilingual-orpo-borda-half) 本数据集为多语言偏好数据集，由人工撰写的提示词与7个大语言模型（Large Language Model, LLM）生成的回复构建而成。我们使用GPT-4对每组回复进行5次评估。 注意：本数据集采用非商业许可证，因为我们在构建该数据时使用了Command R与Command R+模型。我们目前正在开发可商用的模型，敬请期待！ # 数据集详情 本数据集为源自[lightblue/mitsu](https://huggingface.co/datasets/lightblue/mitsu)的ORPO训练数据集。 本数据集包含的提示词对应经GPT评分一致性排名前50%的回复，其中评分最高/最低的回复分别作为每条提示词的正样本与负样本。 # 数据集构建方法 我们采用**重复排序法**构建本数据集，具体步骤如下： 1. 从[lightblue/tagengo-gpt4](https://huggingface.co/datasets/lightblue/tagengo-gpt4)中按语言分层采样，每种语言采样100条样本 2. 使用以下7个模型为每条提示词生成回复： * gpt-35-turbo-instruct (0914) * gpt-4 (0125-Preview) * Nexusflow/Starling-LM-7B-beta * Qwen/Qwen1.5-32B-Chat * Qwen/Qwen1.5-72B-Chat * CohereForAI/c4ai-command-r-v01 * CohereForAI/c4ai-command-r-plus 3. 使用gpt-4 (0125-Preview)对所有回复进行5次评估，每次评估时均随机打乱回复的展示顺序 4. 使用肯德尔和谐系数（Kendall's W）计算排序结果的一致性 本数据集的完整构建代码可在我们的代码仓库中获取：[https://github.com/lightblue-tech/suzume/tree/main/mitsu/data_creation](https://github.com/lightblue-tech/suzume/tree/main/mitsu/data_creation) # 使用方法 我们通过代码仓库中的脚本将本数据集处理为可用于DPO/PPO/ORPO训练的格式，代码地址为：[https://github.com/lightblue-tech/suzume/blob/main/mitsu/data_creation/response_rank_process.ipynb](https://github.com/lightblue-tech/suzume/blob/main/mitsu/data_creation/response_rank_process.ipynb) 本数据集的不同处理版本可在以下链接获取： * [全提示词数据集](https://huggingface.co/datasets/lightblue/mitsu_full_borda) * [评分一致性排名前75%的提示词回复数据集](https://huggingface.co/datasets/lightblue/mitsu_top75_borda) * [评分一致性排名前50%的提示词回复数据集（推荐用于训练）](https://huggingface.co/datasets/lightblue/mitsu_tophalf_borda) * [评分一致性排名前25%的提示词回复数据集](https://huggingface.co/datasets/lightblue/mitsu_top25_borda) # 数据集实验结果 我们使用本数据集通过ORPO训练方式训练了[lightblue/suzume-llama-3-8B-multilingual](https://huggingface.co/lightblue/suzume-llama-3-8B-multilingual)模型，并开展了相关实验。实验中我们按评估模型给出的5次评分的一致性对数据集进行排序，并按不同比例采样进行训练（具体流程如下图所示）。 <p align="center"><img width=800 src="https://cdn-uploads.huggingface.co/production/uploads/64b63f8ad57e02621dc93c8b/Ccz6V2G7zCmfZWXuHK0x3.png" alt="重复排序方法流程示意图"/></p> 我们分别使用评分一致性排名前75%、50%、25%的回复进行训练，并与使用全部回复进行训练的结果进行对比。实验结果表明，使用更少的数据进行训练反而能在下游任务中获得更高的性能，例如我们在6种语言上测试的MT-Bench评分： <p align="center"><img width=700 src="https://cdn-uploads.huggingface.co/production/uploads/64b63f8ad57e02621dc93c8b/JahHDC6xcgbz3Ej2ZrWjQ.png" alt="ORPO训练实验的MT-Bench结果"/></p> # 引用方式 tex @article{devine2024sure, title={Are You Sure? Rank Them Again: Repeated Ranking For Better Preference Datasets}, author={Devine, Peter}, journal={arXiv preprint arXiv:2405.18952}, year={2024} } # 开发者 Peter Devine - ([ptrdvn](https://huggingface.co/ptrdvn))

原始信息汇总

数据集概述

数据集信息

• 特征（Features）：

  • prompt：字符串类型
  • chosen：列表类型，包含
    • content：字符串类型
    • role：字符串类型
  • rejected：列表类型，包含
    • content：字符串类型
    • role：字符串类型

• 分割（Splits）：

  • test：包含68个示例，总字节数为216048.79407407407
  • train：包含1350个示例，总字节数为4289220

• 下载大小（Download Size）：4766811字节

• 数据集大小（Dataset Size）：4505268.794074073字节

配置（Configs）

• 默认配置（config_name: default）：
  • 训练数据文件（split: train）：路径为data/train-*
  • 测试数据文件（split: test）：路径为data/test-*

许可证（License）

• cc-by-nc-4.0

数据集创建方法

• 使用Repeated Ranking方法：
  1. 从lightblue/tagengo-gpt4数据集中按语言抽样100个响应
  2. 使用多种模型生成响应
  3. 使用gpt-4 (0125-Preview)评估响应，每次随机排序
  4. 使用Kendalls W计算排名一致性

数据集使用

• 用于DPO/PPO/ORPO训练：
  • 处理代码可在GitHub仓库找到
  • 处理后的数据集版本：
    • mitsu_full_borda
    • mitsu_top75_borda
    • mitsu_tophalf_borda
    • mitsu_top25_borda

实验结果

• 使用lightblue/suzume-llama-3-8B-multilingual进行ORPO训练：
  • 比较了不同比例的响应训练效果
  • 发现使用较少但更一致的数据可以提高下游任务的准确性

引用信息

tex @article{devine2024sure, title={Are You Sure? Rank Them Again: Repeated Ranking For Better Preference Datasets}, author={Devine, Peter}, journal={arXiv preprint arXiv:2405.18952}, year={2024} }

搜集汇总

数据集介绍

构建方式

本数据集源自多语言偏好数据集lightblue/mitsu，通过重复排序方法构建。具体而言，从lightblue/tagengo-gpt4数据集中按语言分层采样，每语种选取100条提示，随后利用七种大语言模型（包括GPT-4、GPT-3.5、Starling-LM-7B-beta、Qwen1.5-32B-Chat、Qwen1.5-72B-Chat、Command R及Command R+）生成回复。采用GPT-4对每组回复进行五次随机顺序评估，基于肯德尔和谐系数计算排序一致性，最终筛选出排名一致性最高的前50%提示，将其最高与最低排名回复分别作为正负样本，构成此偏好数据集。

特点

该数据集以多语言覆盖与排序一致性为核心特点，涵盖多种语言提示，确保偏好信号的跨语言泛化能力。通过五次重复评估与一致性筛选，有效降低单次排序的噪声与偏差，仅保留评估结果最稳定的样本。实验表明，使用该子集进行ORPO训练，可在下游任务（如六语言MT-Bench评分）中取得优于全量数据的性能，凸显了数据质量对模型对齐的关键作用。数据集包含1350条训练样本与68条测试样本，采用标准偏好格式（含prompt、chosen与rejected字段），便于直接用于偏好优化算法。

使用方法

用户可通过HuggingFace Datasets库加载该数据集，指定config为default即可获取训练与测试分片。数据以parquet格式存储，包含prompt（字符串）、chosen与rejected（均为含content与role字段的列表）三个特征。建议将其用于ORPO、DPO或PPO等偏好对齐训练流程，尤其适合多语言场景下的模型优化。官方提供预处理代码（位于GitHub仓库），可进一步按一致性阈值筛选子集，或调整正负样本选取策略。引用时请标注相关论文与开发者信息。

背景与挑战

背景概述

在大型语言模型（LLM）的快速发展中，如何构建高质量、多语言的偏好数据集以优化模型的对齐训练，已成为自然语言处理领域的核心议题。2024年，由Peter Devine主导、lightblue团队创建的多语言偏好数据集Mitsu应运而生，其衍生版本lightblue/mitsu_tophalf_borda聚焦于通过重复排名方法筛选出排名一致性最高的50%提示，用于ORPO训练。该数据集基于人类编写的提示，并采样自GPT-4、Qwen1.5-72B-Chat等7种模型的响应，经GPT-4五次评估后，利用Kendall's W计算排名一致性。这一创新方法不仅提升了训练数据的可靠性，还揭示了在偏好数据集中，减少数据量反而能增强下游任务表现的现象，为多语言LLM的对齐研究提供了新视角。

当前挑战

该数据集面临的核心挑战包括：首先，在领域问题层面，如何确保多语言偏好数据的质量与多样性，以克服单一语言或模型偏见的局限，从而提升模型在跨语言任务中的泛化能力。其次，构建过程中，需解决由GPT-4评估带来的潜在偏见和随机性，因为五次重复排名虽能提高一致性，但评估模型自身的偏好可能扭曲真实排名。此外，数据筛选环节中，仅保留50%最一致排名会丢失部分有效信息，如何在压缩数据与保持代表性之间取得平衡是一大难题。最后，非商业许可（CC-BY-NC-4.0）限制了数据集在商业场景的应用，而开发合规版本仍需解决模型响应生成与评估的版权问题，这进一步增加了数据集的实用门槛。

常用场景

经典使用场景

在偏好对齐与人类反馈强化学习的学术脉络中，lightblue/mitsu_tophalf_borda 数据集被广泛用于训练语言模型以符合人类偏好。该数据集通过重复排序方法，从多个大型语言模型生成的响应中筛选出排名一致性最高的前50%样本，构建起包含正面与负面响应的偏好对。研究者通常将其应用于 ORPO、DPO 或 PPO 等偏好优化算法的训练流程，以提升模型在多元语言环境下的指令遵循能力与输出质量。

解决学术问题

该数据集直面偏好数据质量与排序一致性这一核心学术难题。传统偏好数据集常因单次评估的随机性而引入噪声，导致模型对齐效果不稳定。通过引入重复排序与肯德尔协调系数，mitsu_tophalf_borda 能够筛选出评估者高度一致的响应样本，从而显著降低训练数据中的歧义与噪声。这一方法有效提升了偏好学习的数据可靠性，为多语言场景下的模型对齐研究提供了稳健的基准与可复现的实验范式。

衍生相关工作

围绕该数据集衍生出一系列重要工作，包括其基础数据集 lightblue/mitsu 以及不同一致性阈值的变体，如 top75、top25 等版本。研究者在此基础上探索了数据质量与训练规模之间的权衡，发现更少但更一致的数据往往带来更好的下游性能。此外，该数据集所采用的重复排序方法被总结为系统性方法论，发表于 arXiv 论文《Are You Sure? Rank Them Again》，为后续偏好数据构建提供了理论框架与可复现的代码实现。