Finnish-NLP/antropic_hhrlhf_filtered_deepl_translated

--- dataset_info: features: - name: instruction dtype: string - name: response_accepted dtype: string - name: response_rejected dtype: string - name: instruction_orig dtype: string - name: response_accepted_orig dtype: string - name: response_rejected_orig dtype: string - name: instruction_lang dtype: string - name: instruction_lang_proba dtype: float64 - name: chosen_response_lang dtype: string - name: chosen_response_lang_proba dtype: float64 - name: rejected_response_lang dtype: string - name: rejected_response_langb_proba dtype: float64 - name: instruction_perplexity_kenlm dtype: int64 - name: chosen_response_perplexity_kenlm dtype: int64 - name: rejected_response_perplexity_kenlm dtype: int64 - name: combined_perplexity dtype: int64 - name: instruction_and_accepted_perplexity dtype: int64 - name: response_orig dtype: string - name: response dtype: string - name: dataset_source dtype: string - name: dataset_type dtype: string - name: task_class dtype: string - name: orig_lang dtype: string - name: messages list: - name: content dtype: string - name: role dtype: string - name: nemotron_judging_text dtype: string - name: is_multiturn dtype: bool - name: accepted_score_pairRM dtype: float64 - name: rejected_score_pairRM dtype: float64 - name: Ystävällisyys dtype: int64 - name: Faktuaalisuus dtype: int64 - name: Selkeys dtype: int64 - name: Kielellinen laatu dtype: int64 - name: Johdonmukaisuus dtype: int64 - name: Erikoisluokittelu dtype: int64 - name: Kokonaisarvosana dtype: float64 - name: prompt_for_judging dtype: string - name: instruction_lang_score dtype: float64 - name: response_lang dtype: string - name: response_lang_score dtype: float64 - name: text dtype: string - name: fin_chunk_ratio_full_text dtype: float64 - name: fin_10_word_chunk_amt dtype: int64 - name: non_fi_10_word_chunk_amt dtype: int64 - name: text_fin_chunk_ratio_bin dtype: int64 - name: response_perplexity_kenlm dtype: int64 splits: - name: train num_bytes: 58130618 num_examples: 5497 download_size: 24977567 dataset_size: 58130618 configs: - config_name: default data_files: - split: train path: data/train-* --- README TO DO BUT RELEASED NEVERTHELESS数据集信息： 特征列表： - 字段名：instruction，数据类型：字符串类型 - 字段名：response_accepted，数据类型：字符串类型 - 字段名：response_rejected，数据类型：字符串类型 - 字段名：instruction_orig，数据类型：字符串类型 - 字段名：response_accepted_orig，数据类型：字符串类型 - 字段名：response_rejected_orig，数据类型：字符串类型 - 字段名：instruction_lang，数据类型：字符串类型 - 字段名：instruction_lang_proba，数据类型：64位浮点型 - 字段名：chosen_response_lang，数据类型：字符串类型 - 字段名：chosen_response_lang_proba，数据类型：64位浮点型 - 字段名：rejected_response_lang，数据类型：字符串类型 - 字段名：rejected_response_langb_proba，数据类型：64位浮点型 - 字段名：instruction_perplexity_kenlm：指令的KENLM困惑度（perplexity），数据类型：64位整型 - 字段名：chosen_response_perplexity_kenlm：选中回复的KENLM困惑度（perplexity），数据类型：64位整型 - 字段名：rejected_response_perplexity_kenlm：被拒绝回复的KENLM困惑度（perplexity），数据类型：64位整型 - 字段名：combined_perplexity：组合困惑度（perplexity），数据类型：64位整型 - 字段名：instruction_and_accepted_perplexity：指令与被采纳回复的组合困惑度（perplexity），数据类型：64位整型 - 字段名：response_orig，数据类型：字符串类型 - 字段名：response，数据类型：字符串类型 - 字段名：dataset_source，数据类型：字符串类型 - 字段名：dataset_type，数据类型：字符串类型 - 字段名：task_class，数据类型：字符串类型 - 字段名：orig_lang，数据类型：字符串类型 - 字段名：messages，数据类型：列表，列表项结构： - 字段名：content，数据类型：字符串类型 - 字段名：role，数据类型：字符串类型 - 字段名：nemotron_judging_text：Nemotron评分文本，数据类型：字符串类型 - 字段名：is_multiturn：是否多轮对话，数据类型：布尔类型 - 字段名：accepted_score_pairRM：被采纳回复的成对奖励模型评分（PairRM），数据类型：64位浮点型 - 字段名：rejected_score_pairRM：被拒绝回复的成对奖励模型评分（PairRM），数据类型：64位浮点型 - 字段名：Ystävällisyys：友好度（Ystävällisyys），数据类型：64位整型 - 字段名：Faktuaalisuus：事实性（Faktuaalisuus），数据类型：64位整型 - 字段名：Selkeys：清晰度（Selkeys），数据类型：64位整型 - 字段名：Kielellinen laatu：语言质量（Kielellinen laatu），数据类型：64位整型 - 字段名：Johdonmukaisuus：连贯性（Johdonmukaisuus），数据类型：64位整型 - 字段名：Erikoisluokittelu：专项评分（Erikoisluokittelu），数据类型：64位整型 - 字段名：Kokonaisarvosana：总分（Kokonaisarvosana），数据类型：64位浮点型 - 字段名：prompt_for_judging：评分提示词，数据类型：字符串类型 - 字段名：instruction_lang_score：指令语言评分，数据类型：64位浮点型 - 字段名：response_lang：回复语言，数据类型：字符串类型 - 字段名：response_lang_score：回复语言评分，数据类型：64位浮点型 - 字段名：text：文本，数据类型：字符串类型 - 字段名：fin_chunk_ratio_full_text：芬兰语文本块占比，数据类型：64位浮点型 - 字段名：fin_10_word_chunk_amt：芬兰语10词块数量，数据类型：64位整型 - 字段名：non_fi_10_word_chunk_amt：非芬兰语10词块数量，数据类型：64位整型 - 字段名：text_fin_chunk_ratio_bin：文本芬兰语块占比二进制标识，数据类型：64位整型 - 字段名：response_perplexity_kenlm：回复的KENLM困惑度（perplexity），数据类型：64位整型 划分集： - 划分名称：train（训练集），字节数：58130618，样本数量：5497 下载大小：24977567，数据集总大小：58130618 配置项： - 配置名称：default（默认配置），数据文件： - 划分：train，路径：data/train-* README待完善，但已正式发布

原始信息汇总

数据集概述

数据集特征

• instruction: 字符串类型
• response_accepted: 字符串类型
• response_rejected: 字符串类型
• instruction_orig: 字符串类型
• response_accepted_orig: 字符串类型
• response_rejected_orig: 字符串类型
• instruction_lang: 字符串类型
• instruction_lang_proba: 浮点数类型
• chosen_response_lang: 字符串类型
• chosen_response_lang_proba: 浮点数类型
• rejected_response_lang: 字符串类型
• rejected_response_langb_proba: 浮点数类型
• instruction_perplexity_kenlm: 整数类型
• chosen_response_perplexity_kenlm: 整数类型
• rejected_response_perplexity_kenlm: 整数类型
• combined_perplexity: 整数类型
• instruction_and_accepted_perplexity: 整数类型

数据集分割

• train: 包含5497个样本，占用13192016字节

数据集大小

• 下载大小: 8254060字节
• 数据集大小: 13192016字节

配置

• default: 包含训练数据文件，路径为data/train-*