presencesw/hash_v5_tokened

--- dataset_info: features: - name: en dtype: string - name: vi dtype: string - name: len dtype: int64 - name: len_vi dtype: int64 - name: len_en dtype: int64 splits: - name: train num_bytes: 12407103014 num_examples: 10000000 download_size: 6942304105 dataset_size: 12407103014 configs: - config_name: default data_files: - split: train path: data/train-* ---

原始信息汇总

数据集信息

特征

• en: 类型为字符串
• vi: 类型为字符串
• len: 类型为整数
• len_vi: 类型为整数
• len_en: 类型为整数

数据分割

• train: 包含10000000个样本，总字节数为12407103014

数据大小

• 下载大小: 6942304105字节
• 数据集大小: 12407103014字节

配置

• default:
  • 数据文件:
    • split: train
    • path: data/train-*