Intuit-GenSRF/all_spanish_datasets

--- configs: - config_name: default data_files: - split: train path: data/train-* dataset_info: features: - name: text dtype: string - name: labels sequence: string - name: encoded_labels sequence: int64 - name: lang dtype: string - name: has_toxic dtype: int64 - name: has_profane dtype: int64 - name: has_insult dtype: int64 - name: has_hate dtype: int64 - name: has_threat dtype: int64 - name: has_sexual dtype: int64 - name: has_offensive dtype: int64 - name: has_selfharm dtype: int64 - name: has_harassment dtype: int64 - name: __index_level_0__ dtype: int64 splits: - name: train num_bytes: 1495796876 num_examples: 2814389 download_size: 603996129 dataset_size: 1495796876 --- # Dataset Card for "all_spanish_datasets" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)配置项： - config_name: default data_files: - split: 训练集（train） path: data/train-* dataset_info: 特征字段： - name: 文本（text） dtype: 字符串（string） - name: 标签（labels） sequence: 字符串序列（sequence<string>） - name: 编码标签（encoded_labels） sequence: 64位整数序列（sequence<int64>） - name: 语言（lang） dtype: 字符串（string） - name: 是否含毒性内容（has_toxic） dtype: 64位整数（int64） - name: 是否含亵渎性内容（has_profane） dtype: 64位整数（int64） - name: 是否含侮辱性内容（has_insult） dtype: 64位整数（int64） - name: 是否含仇恨性言论（has_hate） dtype: 64位整数（int64） - name: 是否含威胁内容（has_threat） dtype: 64位整数（int64） - name: 是否含色情相关内容（has_sexual） dtype: 64位整数（int64） - name: 是否含冒犯性内容（has_offensive） dtype: 64位整数（int64） - name: 是否含自我伤害相关内容（has_selfharm） dtype: 64位整数（int64） - name: 是否含骚扰内容（has_harassment） dtype: 64位整数（int64） - name: __index_level_0__ dtype: 64位整数（int64） 数据集拆分： - name: 训练集（train） num_bytes: 1495796876 num_examples: 2814389 download_size: 603996129 dataset_size: 1495796876 --- # "全西班牙语数据集（all_spanish_datasets）"数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

数据集信息

• 特征:
  • 名称: text
    • 数据类型: string
  • 名称: labels
    • 序列类型: string
  • 名称: encoded_labels
    • 序列类型: int64
  • 名称: lang
    • 数据类型: string
  • 名称: has_toxic
    • 数据类型: int64
  • 名称: has_profane
    • 数据类型: int64
  • 名称: has_insult
    • 数据类型: int64
  • 名称: has_hate
    • 数据类型: int64
  • 名称: has_threat
    • 数据类型: int64
  • 名称: has_sexual
    • 数据类型: int64
  • 名称: has_offensive
    • 数据类型: int64
  • 名称: has_selfharm
    • 数据类型: int64
  • 名称: has_harassment
    • 数据类型: int64
  • 名称: index_level_0
    • 数据类型: int64

分割

• 名称: train
  • 字节数: 1495796876
  • 样本数: 2814389

数据集大小

• 下载大小: 603996129
• 数据集大小: 1495796876

搜集汇总

背景与挑战

背景概述

该数据集是一个大规模西班牙语文本分类数据集，包含超过280万条训练样本，专门用于检测文本中的有害内容，如毒性、侮辱、仇恨言论、威胁、性内容、冒犯性言论、自残和骚扰等。数据集结构清晰，提供文本、标签和编码标签，适用于多标签分类任务，旨在支持西班牙语自然语言处理中的安全内容过滤研究。