pharaouk/stack-v2-python-chunk1

--- dataset_info: features: - name: repo_name dtype: string - name: repo_url dtype: string - name: snapshot_id dtype: string - name: revision_id dtype: string - name: directory_id dtype: string - name: branch_name dtype: string - name: visit_date dtype: timestamp[ns] - name: revision_date dtype: timestamp[ns] - name: committer_date dtype: timestamp[ns] - name: github_id dtype: int64 - name: star_events_count dtype: int64 - name: fork_events_count dtype: int64 - name: gha_license_id dtype: string - name: gha_created_at dtype: timestamp[ns] - name: gha_updated_at dtype: timestamp[ns] - name: gha_pushed_at dtype: timestamp[ns] - name: gha_language dtype: string - name: files list: - name: blob_id dtype: string - name: path dtype: string - name: content_id dtype: string - name: language dtype: string - name: length_bytes dtype: int64 - name: detected_licenses sequence: string - name: license_type dtype: string - name: src_encoding dtype: string - name: is_vendor dtype: bool - name: is_generated dtype: bool - name: alphanum_fraction dtype: float32 - name: alpha_fraction dtype: float32 - name: num_lines dtype: int32 - name: avg_line_length dtype: float32 - name: max_line_length dtype: int32 - name: num_files dtype: int64 splits: - name: train num_bytes: 7791224713 num_examples: 2984968 download_size: 5001737916 dataset_size: 7791224713 configs: - config_name: default data_files: - split: train path: data/train-* ---

原始信息汇总

数据集概述

数据集特征

主要特征

• repo_name: 字符串类型
• repo_url: 字符串类型
• snapshot_id: 字符串类型
• revision_id: 字符串类型
• directory_id: 字符串类型
• branch_name: 字符串类型
• visit_date: 时间戳类型，单位纳秒
• revision_date: 时间戳类型，单位纳秒
• committer_date: 时间戳类型，单位纳秒
• github_id: 整数类型，64位
• star_events_count: 整数类型，64位
• fork_events_count: 整数类型，64位
• gha_license_id: 字符串类型
• gha_created_at: 时间戳类型，单位纳秒
• gha_updated_at: 时间戳类型，单位纳秒
• gha_pushed_at: 时间戳类型，单位纳秒
• gha_language: 字符串类型

文件特征

• blob_id: 字符串类型
• path: 字符串类型
• content_id: 字符串类型
• language: 字符串类型
• length_bytes: 整数类型，64位
• detected_licenses: 字符串序列
• license_type: 字符串类型
• src_encoding: 字符串类型
• is_vendor: 布尔类型
• is_generated: 布尔类型
• alphanum_fraction: 浮点类型，32位
• alpha_fraction: 浮点类型，32位
• num_lines: 整数类型，32位
• avg_line_length: 浮点类型，32位
• max_line_length: 整数类型，32位

数据集划分

• train:
  • num_bytes: 7791224713
  • num_examples: 2984968

数据集大小

• download_size: 5001737916
• dataset_size: 7791224713

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*