safety-aya/fineweb-portuguese-chunk

---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: date
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: language_script
dtype: string
- name: minhash_cluster_size
dtype: int64
- name: top_langs
dtype: string
- name: classification
struct:
- name: category
list: string
- name: reason
dtype: string
- name: safety_rating
dtype: string
- name: original_idx
dtype: int64
- name: chunk_idx
dtype: int64
splits:
- name: train
num_bytes: 441387638
num_examples: 110112
download_size: 259109765
dataset_size: 441387638
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征：
- 名称：text，数据类型：字符串
- 名称：id，数据类型：字符串
- 名称：dump（原始数据转储），数据类型：字符串
- 名称：url，数据类型：统一资源定位符（URL）
- 名称：date，数据类型：字符串
- 名称：file_path，数据类型：文件路径
- 名称：language，数据类型：字符串
- 名称：language_score，数据类型：64位浮点数
- 名称：language_script，数据类型：字符串
- 名称：MinHash聚类规模（MinHash），数据类型：64位整数
- 名称：top_langs，数据类型：字符串
- 名称：classification，结构体类型，包含以下子字段：
- 类别（category）：字符串列表
- 分类依据（reason）：字符串类型
- 安全评级（safety_rating）：字符串类型
- 名称：original_idx，数据类型：64位整数
- 名称：chunk_idx，数据类型：64位整数
数据集划分：
- 名称：训练集（train），字节占用量：441387638，样本数量：110112
下载大小：259109765
数据集总大小：441387638
配置项：
- 配置名称：默认配置（default），数据文件：
- 数据集划分：训练集（train），路径：data/train-*