safety-aya/fineweb2-portuguese-safety

---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: date
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: language_script
dtype: string
- name: minhash_cluster_size
dtype: int64
- name: top_langs
dtype: string
- name: original_idx
dtype: int64
- name: chunk_idx
dtype: int64
- name: safety_label
dtype: string
- name: safety_categories
list: string
- name: safety_severity
dtype: string
- name: safety_confidence
dtype: 'null'
- name: safety_reason
dtype: string
- name: safety_words
list: 'null'
- name: safety_model
dtype: 'null'
- name: safety_scored_at
dtype: 'null'
- name: safety_reasoning
dtype: 'null'
splits:
- name: train
num_bytes: 442542048
num_examples: 110112
download_size: 247419760
dataset_size: 442542048
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 名称：文本（text），数据类型：字符串
- 名称：标识符（id），数据类型：字符串
- 名称：数据转储内容（dump），数据类型：字符串
- 名称：统一资源定位符（URL），数据类型：字符串
- 名称：日期（date），数据类型：字符串
- 名称：文件路径（file_path），数据类型：字符串
- 名称：语言（language），数据类型：字符串
- 名称：语言置信度（language_score），数据类型：双精度浮点数
- 名称：语言脚本（language_script），数据类型：字符串
- 名称：MinHash聚类规模（minhash_cluster_size），数据类型：64位整数
- 名称：Top语言列表（top_langs），数据类型：字符串
- 名称：原始索引（original_idx），数据类型：64位整数
- 名称：分块索引（chunk_idx），数据类型：64位整数
- 名称：安全标签（safety_label），数据类型：字符串
- 名称：安全类别（safety_categories），数据类型：字符串列表
- 名称：安全严重程度（safety_severity），数据类型：字符串
- 名称：安全置信度（safety_confidence），数据类型：空值
- 名称：安全判定原因（safety_reason），数据类型：字符串
- 名称：敏感词列表（safety_words），数据类型：空列表
- 名称：安全检测模型（safety_model），数据类型：空值
- 名称：安全检测时间（safety_scored_at），数据类型：空值
- 名称：安全判定推理过程（safety_reasoning），数据类型：空值
数据集划分：
- 划分名称：训练集（train），字节大小：442542048，样本数量：110112
下载总大小：247419760
数据集总大小：442542048
配置项：
- 配置名称：默认配置（default）
数据文件：
- 对应划分：训练集（train）
文件路径：data/train-*