nthakur/orpo-dpo-mix-40k-flat

Name: nthakur/orpo-dpo-mix-40k-flat
Creator: nthakur
Published: 2024-05-14 02:05:59
License: 暂无描述

Hugging Face2024-05-14 更新2024-06-12 收录

下载链接：

https://hf-mirror.com/datasets/nthakur/orpo-dpo-mix-40k-flat

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: - config_name: ar features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 571148330 num_examples: 90577 download_size: 173342264 dataset_size: 571148330 - config_name: bn features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 594517196 num_examples: 90577 download_size: 175756422 dataset_size: 594517196 - config_name: de features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 564807940 num_examples: 90577 download_size: 172805839 dataset_size: 564807940 - config_name: es features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 559735628 num_examples: 90577 download_size: 172232223 dataset_size: 559735628 - config_name: fa features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 566076018 num_examples: 90577 download_size: 173001554 dataset_size: 566076018 - config_name: fi features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 560007359 num_examples: 90577 download_size: 172409779 dataset_size: 560007359 - config_name: fr features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 562996400 num_examples: 90577 download_size: 172671226 dataset_size: 562996400 - config_name: hi features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 593249118 num_examples: 90577 download_size: 80485988 dataset_size: 593249118 - config_name: id features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 564626786 num_examples: 90577 download_size: 172927147 dataset_size: 564626786 - config_name: it features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 558467550 num_examples: 90577 download_size: 172109845 dataset_size: 558467550 - config_name: ja features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 571057753 num_examples: 90577 download_size: 173509635 dataset_size: 571057753 - config_name: ko features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 565260825 num_examples: 90577 download_size: 172862065 dataset_size: 565260825 - config_name: ms features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 560369667 num_examples: 90577 download_size: 172465697 dataset_size: 560369667 - config_name: nl features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 559826205 num_examples: 90577 download_size: 172273333 dataset_size: 559826205 - config_name: pt features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 560822552 num_examples: 90577 download_size: 172314827 dataset_size: 560822552 - config_name: ru features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 578213336 num_examples: 90577 download_size: 174238253 dataset_size: 578213336 - config_name: sw features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 558829858 num_examples: 90577 download_size: 172333811 dataset_size: 558829858 - config_name: ta features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 612089134 num_examples: 90577 download_size: 177150091 dataset_size: 612089134 - config_name: te features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 585640650 num_examples: 90577 download_size: 174753595 dataset_size: 585640650 - config_name: th features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 590169500 num_examples: 90577 download_size: 175310809 dataset_size: 590169500 - config_name: tr features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 554844470 num_examples: 90577 download_size: 171820358 dataset_size: 554844470 - config_name: vi features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 562181207 num_examples: 90577 download_size: 172465141 dataset_size: 562181207 - config_name: yo features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 567434673 num_examples: 90577 download_size: 173096436 dataset_size: 567434673 - config_name: zh features: - name: id dtype: string - name: turn dtype: int64 - name: en_prompt dtype: string - name: en_chosen dtype: string - name: en_rejected dtype: string - name: source dtype: string - name: selection dtype: string - name: translation_prompt dtype: string splits: - name: train num_bytes: 555569086 num_examples: 90577 download_size: 171829504 dataset_size: 555569086 configs: - config_name: ar data_files: - split: train path: ar/train-* - config_name: bn data_files: - split: train path: bn/train-* - config_name: de data_files: - split: train path: de/train-* - config_name: es data_files: - split: train path: es/train-* - config_name: fa data_files: - split: train path: fa/train-* - config_name: fi data_files: - split: train path: fi/train-* - config_name: fr data_files: - split: train path: fr/train-* - config_name: hi data_files: - split: train path: hi/train-* - config_name: id data_files: - split: train path: id/train-* - config_name: it data_files: - split: train path: it/train-* - config_name: ja data_files: - split: train path: ja/train-* - config_name: ko data_files: - split: train path: ko/train-* - config_name: ms data_files: - split: train path: ms/train-* - config_name: nl data_files: - split: train path: nl/train-* - config_name: pt data_files: - split: train path: pt/train-* - config_name: ru data_files: - split: train path: ru/train-* - config_name: sw data_files: - split: train path: sw/train-* - config_name: ta data_files: - split: train path: ta/train-* - config_name: te data_files: - split: train path: te/train-* - config_name: th data_files: - split: train path: th/train-* - config_name: tr data_files: - split: train path: tr/train-* - config_name: vi data_files: - split: train path: vi/train-* - config_name: yo data_files: - split: train path: yo/train-* - config_name: zh data_files: - split: train path: zh/train-* --- # Dataset Card for "orpo-dpo-mix-40k-flat" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

# 「orpo-dpo-mix-40k-flat」数据集卡片 [更多信息请参阅](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards) ## 数据集信息本数据集包含多语言配置，每个配置对应一种目标语言，具体信息如下： ### 阿拉伯语（ar）配置 - **特征字段**： 1. `id`：数据类型为string，样本唯一标识符 2. `turn`：数据类型为int64，代表对话轮次 3. `en_prompt`：数据类型为string，英文提示词 4. `en_chosen`：数据类型为string，被选中的英文回复 5. `en_rejected`：数据类型为string，被拒绝的英文回复 6. `source`：数据类型为string，数据来源 7. `selection`：数据类型为string，选择标记字段 8. `translation_prompt`：数据类型为string，翻译提示词 - **数据分割**：仅包含训练集（train），字节大小为571148330，样本总量为90577 - 下载大小：173342264，数据集总存储大小：571148330 ### 孟加拉语（bn）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为594517196，样本总量为90577 - 下载大小：175756422，数据集总存储大小：594517196 ### 德语（de）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为564807940，样本总量为90577 - 下载大小：172805839，数据集总存储大小：564807940 ### 西班牙语（es）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为559735628，样本总量为90577 - 下载大小：172232223，数据集总存储大小：559735628 ### 波斯语（fa）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为566076018，样本总量为90577 - 下载大小：173001554，数据集总存储大小：566076018 ### 芬兰语（fi）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为560007359，样本总量为90577 - 下载大小：172409779，数据集总存储大小：560007359 ### 法语（fr）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为562996400，样本总量为90577 - 下载大小：172671226，数据集总存储大小：562996400 ### 印地语（hi）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为593249118，样本总量为90577 - 下载大小：80485988，数据集总存储大小：593249118 ### 印尼语（id）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为564626786，样本总量为90577 - 下载大小：172927147，数据集总存储大小：564626786 ### 意大利语（it）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为558467550，样本总量为90577 - 下载大小：172109845，数据集总存储大小：558467550 ### 日语（ja）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为571057753，样本总量为90577 - 下载大小：173509635，数据集总存储大小：571057753 ### 韩语（ko）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为565260825，样本总量为90577 - 下载大小：172862065，数据集总存储大小：565260825 ### 马来语（ms）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为560369667，样本总量为90577 - 下载大小：172465697，数据集总存储大小：560369667 ### 荷兰语（nl）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为559826205，样本总量为90577 - 下载大小：172273333，数据集总存储大小：559826205 ### 葡萄牙语（pt）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为560822552，样本总量为90577 - 下载大小：172314827，数据集总存储大小：560822552 ### 俄语（ru）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为578213336，样本总量为90577 - 下载大小：174238253，数据集总存储大小：578213336 ### 斯瓦希里语（sw）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为558829858，样本总量为90577 - 下载大小：172333811，数据集总存储大小：558829858 ### 泰米尔语（ta）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为612089134，样本总量为90577 - 下载大小：177150091，数据集总存储大小：612089134 ### 泰卢固语（te）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为585640650，样本总量为90577 - 下载大小：174753595，数据集总存储大小：585640650 ### 泰语（th）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为590169500，样本总量为90577 - 下载大小：175310809，数据集总存储大小：590169500 ### 土耳其语（tr）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为554844470，样本总量为90577 - 下载大小：171820358，数据集总存储大小：554844470 ### 越南语（vi）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为562181207，样本总量为90577 - 下载大小：172465141，数据集总存储大小：562181207 ### 约鲁巴语（yo）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为567434673，样本总量为90577 - 下载大小：173096436，数据集总存储大小：567434673 ### 中文（zh）配置 - **特征字段**：与阿拉伯语配置一致 - **数据分割**：训练集（train）字节大小为555569086，样本总量为90577 - 下载大小：171829504，数据集总存储大小：555569086 ## 配置详情本数据集的所有配置均对应训练集数据文件，路径规则为`{语言代码}/train-*`，具体如下： - 阿拉伯语（ar）配置：数据文件路径为`ar/train-*` - 孟加拉语（bn）配置：数据文件路径为`bn/train-*` - 德语（de）配置：数据文件路径为`de/train-*` - 西班牙语（es）配置：数据文件路径为`es/train-*` - 波斯语（fa）配置：数据文件路径为`fa/train-*` - 芬兰语（fi）配置：数据文件路径为`fi/train-*` - 法语（fr）配置：数据文件路径为`fr/train-*` - 印地语（hi）配置：数据文件路径为`hi/train-*` - 印尼语（id）配置：数据文件路径为`id/train-*` - 意大利语（it）配置：数据文件路径为`it/train-*` - 日语（ja）配置：数据文件路径为`ja/train-*` - 韩语（ko）配置：数据文件路径为`ko/train-*` - 马来语（ms）配置：数据文件路径为`ms/train-*` - 荷兰语（nl）配置：数据文件路径为`nl/train-*` - 葡萄牙语（pt）配置：数据文件路径为`pt/train-*` - 俄语（ru）配置：数据文件路径为`ru/train-*` - 斯瓦希里语（sw）配置：数据文件路径为`sw/train-*` - 泰米尔语（ta）配置：数据文件路径为`ta/train-*` - 泰卢固语（te）配置：数据文件路径为`te/train-*` - 泰语（th）配置：数据文件路径为`th/train-*` - 土耳其语（tr）配置：数据文件路径为`tr/train-*` - 越南语（vi）配置：数据文件路径为`vi/train-*` - 约鲁巴语（yo）配置：数据文件路径为`yo/train-*` - 中文（zh）配置：数据文件路径为`zh/train-*`

提供机构：

nthakur

原始信息汇总

数据集概述

本数据集包含多个语言配置，每个配置下有训练数据集，具体信息如下：

语言配置及特征

阿拉伯语 (ar)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量571148330字节
- 下载大小：173342264字节
孟加拉语 (bn)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量594517196字节
- 下载大小：175756422字节
德语 (de)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量564807940字节
- 下载大小：172805839字节
西班牙语 (es)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量559735628字节
- 下载大小：172232223字节
波斯语 (fa)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量566076018字节
- 下载大小：173001554字节
芬兰语 (fi)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量560007359字节
- 下载大小：172409779字节
法语 (fr)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量562996400字节
- 下载大小：172671226字节
印地语 (hi)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量593249118字节
- 下载大小：80485988字节
印度尼西亚语 (id)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量564626786字节
- 下载大小：172927147字节
意大利语 (it)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量558467550字节
- 下载大小：172109845字节
日语 (ja)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量571057753字节
- 下载大小：173509635字节
韩语 (ko)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量565260825字节
- 下载大小：172862065字节
马来语 (ms)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量560369667字节
- 下载大小：172465697字节
荷兰语 (nl)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量559826205字节
- 下载大小：172273333字节
葡萄牙语 (pt)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量560822552字节
- 下载大小：172314827字节
俄语 (ru)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量578213336字节
- 下载大小：174238253字节
斯瓦希里语 (sw)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量558829858字节
- 下载大小：172333811字节
泰米尔语 (ta)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量612089134字节
- 下载大小：177150091字节
泰卢固语 (te)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量585640650字节
- 下载大小：174753595字节
泰语 (th)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量590169500字节
- 下载大小：175310809字节
土耳其语 (tr)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量554844470字节
- 下载大小：171820358字节
越南语 (vi)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量562181207字节
- 下载大小：172465141字节
约鲁巴语 (yo)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量567434673字节
- 下载大小：173096436字节
中文 (zh)
- 特征：id, turn, en_prompt, en_chosen, en_rejected, source, selection, translation_prompt
- 训练集大小：90577个样本，数据量555569086字节
- 下载大小：171829504字节

数据集结构

每个语言配置包含以下特征：
- id: 字符串类型
- turn: 整数类型
- en_prompt: 字符串类型
- en_chosen: 字符串类型
- en_rejected: 字符串类型
- source: 字符串类型
- selection: 字符串类型
- translation_prompt: 字符串类型
每个语言配置的训练集包含90577个样本，数据量和下载大小因语言而异。