orionweller/dolma_20bn_cc_high_quality

--- dataset_info: features: - name: id dtype: string - name: text dtype: string - name: added dtype: string - name: created dtype: string - name: source dtype: string - name: original_shard_dir dtype: string - name: original_shard_idx dtype: int64 - name: num_tokens dtype: int64 splits: - name: shard_0 num_bytes: 10159054860 num_examples: 2023832 - name: shard_1 num_bytes: 10335510418 num_examples: 2694921 - name: shard_2 num_bytes: 10116720957 num_examples: 2707244 - name: shard_3 num_bytes: 10273891132 num_examples: 2819598 - name: shard_4 num_bytes: 10254072173 num_examples: 2933450 - name: shard_5 num_bytes: 10252684183 num_examples: 2811040 - name: shard_6 num_bytes: 10251251969 num_examples: 2854604 - name: shard_7 num_bytes: 10268677922 num_examples: 2812943 - name: shard_8 num_bytes: 10204523454 num_examples: 2825417 - name: shard_9 num_bytes: 10128825804 num_examples: 2039899 - name: shard_10 num_bytes: 10093223131 num_examples: 7575012 - name: shard_11 num_bytes: 10068649531 num_examples: 2445094 - name: shard_12 num_bytes: 6413670041 num_examples: 2427760 download_size: 71821332383 dataset_size: 128820755575 configs: - config_name: default data_files: - split: shard_0 path: data/shard_0-* - split: shard_1 path: data/shard_1-* - split: shard_2 path: data/shard_2-* - split: shard_3 path: data/shard_3-* - split: shard_4 path: data/shard_4-* - split: shard_5 path: data/shard_5-* - split: shard_6 path: data/shard_6-* - split: shard_7 path: data/shard_7-* - split: shard_8 path: data/shard_8-* - split: shard_9 path: data/shard_9-* - split: shard_10 path: data/shard_10-* - split: shard_11 path: data/shard_11-* - split: shard_12 path: data/shard_12-* ---数据集信息： 特征字段： - 字段名：数据标识符（id），数据类型：字符串 - 字段名：文本内容（text），数据类型：字符串 - 字段名：添加时间（added），数据类型：字符串 - 字段名：创建时间（created），数据类型：字符串 - 字段名：数据来源（source），数据类型：字符串 - 字段名：原始分片目录（original_shard_dir），数据类型：字符串 - 字段名：原始分片索引（original_shard_idx），数据类型：64位整数 - 字段名：Token 数量（num_tokens），数据类型：64位整数 数据分片划分： - 划分名称：shard_0，字节大小：10159054860，样本数量：2023832 - 划分名称：shard_1，字节大小：10335510418，样本数量：2694921 - 划分名称：shard_2，字节大小：10116720957，样本数量：2707244 - 划分名称：shard_3，字节大小：10273891132，样本数量：2819598 - 划分名称：shard_4，字节大小：10254072173，样本数量：2933450 - 划分名称：shard_5，字节大小：10252684183，样本数量：2811040 - 划分名称：shard_6，字节大小：10251251969，样本数量：2854604 - 划分名称：shard_7，字节大小：10268677922，样本数量：2812943 - 划分名称：shard_8，字节大小：10204523454，样本数量：2825417 - 划分名称：shard_9，字节大小：10128825804，样本数量：2039899 - 划分名称：shard_10，字节大小：10093223131，样本数量：7575012 - 划分名称：shard_11，字节大小：10068649531，样本数量：2445094 - 划分名称：shard_12，字节大小：6413670041，样本数量：2427760 下载总大小：71821332383 数据集总占用大小：128820755575 配置项： - 配置名称：default 数据文件列表： - 对应划分：shard_0，文件路径：data/shard_0-* - 对应划分：shard_1，文件路径：data/shard_1-* - 对应划分：shard_2，文件路径：data/shard_2-* - 对应划分：shard_3，文件路径：data/shard_3-* - 对应划分：shard_4，文件路径：data/shard_4-* - 对应划分：shard_5，文件路径：data/shard_5-* - 对应划分：shard_6，文件路径：data/shard_6-* - 对应划分：shard_7，文件路径：data/shard_7-* - 对应划分：shard_8，文件路径：data/shard_8-* - 对应划分：shard_9，文件路径：data/shard_9-* - 对应划分：shard_10，文件路径：data/shard_10-* - 对应划分：shard_11，文件路径：data/shard_11-* - 对应划分：shard_12，文件路径：data/shard_12-*