SINAI/ALIA-es-discriminative-hate-speech

ALIA西班牙歧视性仇恨言论语料库是一个大规模西班牙语数据集，用于仇恨言论检测，基于精选的社交媒体评论构建，并通过多专家LLM管道与专家融合（FoE）技术自动标注。该数据集包含228,708个实例，来源于YouTube和TikTok的西班牙语评论。每个实例都保留了三个LLM专家的预测和解释，以及最终的融合输出（包括二元分类标签和置信度分数）。数据集旨在支持西班牙语仇恨言论检测的研究，包括模型分歧分析、基于解释的审核和置信度评估。数据集的构建过程分为三个阶段：原始社交媒体评论收集、西班牙语评论的筛选和过滤，以及通过三个提示的LLM专家进行自动标注和FoE融合。所有文档和源代码可在ALIA-UJA GitHub仓库中获取。

The ALIA Spanish Discriminative Hate Speech Corpus is a large-scale Spanish dataset for hate-speech detection built from curated social-media comments and automatically annotated using a multi-expert LLM pipeline with Fusion of Experts (FoE). The release contains 228,708 instances of Spanish comments from YouTube and TikTok, with per-expert predictions and explanations from three LLM experts, and final fused outputs (foe_class, foe_score) for discriminative hate-speech classification. The corpus is intended for research on Spanish hate-speech detection, model disagreement analysis, explanation-aware moderation, and confidence-based evaluation. All documentation and source code for the collection, curation, annotation and fusion processes are available in the ALIA-UJA GitHub repository.

搜集汇总

数据集介绍

构建方式

该数据集基于一个三阶段流水线构建而成。首先，通过YouTube Data API v3和TikTok Research API收集原始社交媒体评论，形成涵盖移民仇外、政治极化等西班牙语网络热议话题的语料库。随后，利用datatrove工具链对评论进行语言过滤、垃圾信息启发式筛选、匿名化处理与MinHash近似去重，确保语料质量。最终，由三个大型语言模型专家（Apertus-8B、Gemma-4-31B、MiniMax-M2.5）分别进行结构化标注并生成解释，再通过名为“专家融合”（Fusion of Experts）的轻量级MLP架构，结合专家预测、文本嵌入与解释嵌入，输出融合后的二分类标签与置信度分数。

使用方法

该数据集以JSONL格式发布为单一训练集，可通过HuggingFace Datasets库直接加载。研究人员既可将其用于构建西班牙语仇恨言论二分类系统，也能利用连续置信度分数进行模型标定研究。同时，每条样本中三个专家模型的独立预测与解释文本为分析大语言模型标注分歧、评估融合策略效果提供了宝贵素材。对于大规模型应用，库支持流式加载以降低内存占用。此外，数据集的构建流程、标注提示模板及融合模型参数均已在GitHub仓库中开源，便于研究者复现与扩展实验。

背景与挑战

背景概述

ALIA-es-discriminative-hate-speech是一个面向西班牙语仇恨言论检测的大规模语料库，由西班牙哈恩大学SINAI研究组于2026年创建，依托欧盟NextGenerationEU资助的ALIA项目，并利用SCAYLE超级计算中心的CALENDULA集群完成数据处理。该数据集的核心研究问题在于如何利用多专家大语言模型（LLM）的融合策略，提升自动仇恨言论检测的准确性与鲁棒性，特别针对YouTube和TikTok平台上西班牙语社交评论中的歧视性语言。通过引入“专家融合”（Fusion of Experts, FoE）机制，数据集收录了来自三个不同LLM的独立预测与解释，并生成融合后的二分类标签及置信度分数，成为西班牙语自然语言处理领域讨论LLM协同注释、置信度校准及模型分歧分析的重要基准资源。

当前挑战

该数据集所解决的领域挑战在于西班牙语社交媒体中仇恨言论的自动检测面临标注成本高、语境依赖性强及模型偏见难以规避等问题，而构建过程中同样遭遇多重技术难题。首先，原始评论需经语言过滤、垃圾启发式规则及MinHash去重等复杂管道，以剔除噪声并保留表达多样性；其次，三个LLM专家在注释同一评论时产生显著分歧（Fleiss' Kappa仅为0.498），需通过FoE融合模型权衡各专家置信度，而融合模型本身又引入新的偏差来源。此外，人类验证环节中，人类间一致性（Cohen's Kappa=0.510）和人类与FoE之间的一致性（Kappa约0.45–0.49）均仅为中等水平，凸显出仇恨言论标注任务的主观性与边界模糊性，且合成标签无法完全替代人工黄金标准。

常用场景

经典使用场景

ALIA-es-discriminative-hate-speech数据集为西班牙语仇恨言论检测研究提供了大规模、高质量的标注资源。其最经典的使用场景是训练和评估基于深度学习的二分类仇恨言论检测模型，研究者可直接利用数据集中融合后的二值标签（foe_class）作为监督信号，构建诸如BERT、RoBERTa等预训练语言变体在西班牙语社交媒体评论上的分类器。数据集包含来自YouTube和TikTok的22.8万余条真实评论，覆盖移民、政治极化等关键话题，使模型能够学习到富有社会语境特征的语言表达模式，显著提升了检测系统在西班牙语环境下的泛化能力与鲁棒性。

解决学术问题

该数据集关键解决了西班牙语社交媒体仇恨言论自动检测中大规模标注语料匮乏的核心难题。传统研究多依赖英语资源或以人工标注为代价的小规模语料，难以满足深度学习对数据量的要求。ALIA-es提供了一种创新范式：通过融合三位大语言模型（LLM）专家及其解释，结合Fusion of Experts机制生成可靠的合成标签，并附有3000条人类验证子集（双人标注，Cohen's Kappa达0.510）。这为探究LLM标注可靠性、模型分歧分析、置信度校准以及解释性审核等学术问题提供了宝贵研究平台，推进了低资源语言中仇恨言论检测的方法论进展。

实际应用

在实际应用层面，该数据集可直接赋能社交媒体平台的内容审核系统，尤其在西班牙语社区中实现对仇恨言论的精准识别与快速过滤。其连续置信度分数（foe_score）为平台提供了灵活的阈值调节能力，平衡召回与精度。此外，数据集的多专家标签和解释记录培养了可解释的审核辅助工具，帮助人类审核员理解模型决策依据。对于学术研究向工业界转化，该数据集可作为基准测试集，评估不同检测系统在真实、多源（YouTube+TikTok）、即时性评论上的表现，推动西班牙语网络空间的安全治理。

数据集最近研究

最新研究方向

在西班牙语仇恨言论检测领域，该数据集凭借其大规模、多专家标注与专家融合（Fusion of Experts）的创新范式，将研究焦点从单一模型分类转向对标注不一致性、解释感知型审核及置信度评估的深度探索。该语料库利用YouTube与TikTok社交评论，通过三种不同的大语言模型专家进行自动标注并融合其决策，同时提供了专家级预测与解释，为多模型分歧分析、基于解释的审核系统开发和融合策略优化提供了前沿实验平台。其人类验证子集实现了对LLM与融合结果信度的量化评估，推动了可信AI在敏感内容检测中的应用，尤其在评估模型对齐与标注可靠性方面具有里程碑意义。