D4vidHuang/LLM_Of_Babel_ZH2_RNDSelection

--- dataset_info: features: - name: file_id dtype: int64 - name: content dtype: string - name: repo dtype: string - name: path dtype: string - name: token_length dtype: int64 - name: original_comment dtype: string - name: comment_type dtype: string - name: detected_lang dtype: string - name: prompt dtype: string - name: __index_level_0__ dtype: int64 splits: - name: train num_bytes: 112422061 num_examples: 9484 download_size: 41218357 dataset_size: 112422061 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征字段： - 字段名：file_id，数据类型：64位整型 - 字段名：content，数据类型：字符串 - 字段名：repo，数据类型：字符串 - 字段名：path，数据类型：字符串 - 字段名：token_length，数据类型：64位整型 - 字段名：original_comment，数据类型：字符串 - 字段名：comment_type，数据类型：字符串 - 字段名：detected_lang，数据类型：字符串 - 字段名：prompt，数据类型：字符串 - 字段名：__index_level_0__，数据类型：64位整型 数据集拆分： - 拆分名称：train，总字节数：112422061，样本数量：9484 下载大小：41218357 数据集总大小：112422061 配置项： - 配置名称：default，数据文件： - 对应拆分：train，数据路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• file_id：整数类型
• content：字符串类型
• repo：字符串类型
• path：字符串类型
• token_length：整数类型
• original_comment：字符串类型
• comment_type：字符串类型
• detected_lang：字符串类型
• prompt：字符串类型
• index_level_0：整数类型

数据集划分

• train：
  • 示例数量：9484
  • 数据大小：112422061字节

数据集大小

• 下载大小：41218357字节
• 数据集总大小：112422061字节

配置

• default：
  • 训练数据路径：data/train-*