projecte-aina/CaSET-catalan-stance-emotions-twitter

CaSET数据集是一个加泰罗尼亚语的推文语料库，包含情感、静态立场和动态立场的注释。数据集包含11k个独特句子，涉及五个有争议的话题，分为6k对句子，每对句子由父消息和回复消息组成。数据集由巴塞罗那超级计算中心创建，使用Twitter API收集数据，并由加泰罗尼亚语母语者进行注释。数据集旨在促进加泰罗尼亚语这一低资源语言的模型开发。

原始信息汇总

数据集概述

数据集名称

• 名称: CaSET
• 全称: Catalan Stance and Emotions Dataset from Twitter

数据集创建者

• 语言创建者: Twitter
• 标注创建者: Barcelona Supercomputing Center

语言

• 语言: Catalan (ca-ES)

许可证

• 许可证: Creative Commons Attribution 4.0 (cc-by-4.0)

多语言性

• 多语言性: 单语种

任务类别

• 任务类别: 文本分类

数据集描述

数据集总结

• 内容: 包含11k独特句子，涉及五个争议话题，组成6k句子对，包括父消息和回复消息。
• 标注: 情感、静态立场和动态立场。

支持的任务和排行榜

• 任务: 情感检测、静态立场检测、动态立场检测。

数据集结构

数据实例

• 结构: 每个实例包含父消息和回复消息的ID、文本（需通过Twitter API获取）、话题、动态立场、静态立场和情感。

• 示例:

  { "id_parent": "1413960970066710533", "id_reply": "1413968453690658816", "parent_text": "", "reply_text": "", "topic": "vaccines", "dynamic_stance": "Disagree", "parent_stance": "FAVOUR", "reply_stance": "AGAINST", "parent_emotion": ["distrust", "joy", "disgust"], "reply_emotion": ["distrust"] }

数据分割

• 分割: 数据集未进行分割。

数据集创建

采集理由

• 目的: 为低资源语言Catalan开发语言模型。

源数据

• 收集方式: 使用Twitter API由Barcelona Supercomputing Center收集。
• 关键词: 疫苗、租金管制、代孕妊娠、机场扩建、电视节目操纵。

标注

• 情感标注: 多标签，包括愤怒、期待、厌恶、恐惧、喜悦、悲伤、惊奇、不信任、无情感。
• 静态立场标注: 支持、反对、中立、不适用。
• 动态立场标注: 同意、不同意、详细说明、查询、中立、无关、不适用。

标注过程

• 情感: 3名标注者，使用Fleiss Kappa计算的平均内部一致性为45.38。
• 静态立场: 2名标注者，Fleiss Kappa为82.71。
• 动态立场: 4名标注者，Fleiss Kappa为56.51，与金标准的一致性为85.17。

标注者

• 标注者: 所有标注者均为Catalan母语者。

使用数据集的考虑

社会影响

• 期望贡献: 促进Catalan语言模型的开发。

偏见讨论

• 偏见: 数据来自社交媒体，包含偏见、仇恨言论和有毒内容，未采取措施减少其影响。

其他已知限制

• 限制: 数据需通过Twitter API下载，可能导致部分实例丢失。

附加信息

数据集管理者

• 管理者: Language Technologies Unit at the Barcelona Supercomputing Center。

资金支持

• 资金来源: Departament de la Vicepresidència i de Polítiques Digitals i Territori de la Generalitat de Catalunya。

引用信息

• 引用格式:

  @inproceedings{figueras-etal-2023-dynamic, title = "Dynamic Stance: Modeling Discussions by Labeling the Interactions", author = "Figueras, Blanca and Baucells, Irene and Caselli, Tommaso", editor = "Bouamor, Houda and Pino, Juan and Bali, Kalika", booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023", month = dec, year = "2023", address = "Singapore", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.findings-emnlp.432", doi = "10.18653/v1/2023.findings-emnlp.432", pages = "6503--6515", }

搜集汇总

数据集介绍

构建方式

CaSET数据集由巴塞罗那超级计算中心语言技术单元构建，旨在推动加泰罗尼亚语这一低资源语言的自然语言处理发展。数据采集依托Twitter API，围绕疫苗、租金管制、代孕、机场扩建及电视节目操纵五个争议性话题，选取特定讨论时段内的推文。原始数据经关键词筛选与配对，形成约6000组父子消息对，涵盖超过11000条独立语句。标注过程严谨，情感标签采用多标签方式，由三位标注员共同标注并通过聚合确定金标准，平均Fleiss' Kappa为45.38；静态立场标注由两位标注员完成，分歧时由第三位仲裁，总体Kappa达82.71；动态立场标注涉及四位标注员，若三人意见不一则由第五位裁定，平均Kappa为56.51，与金标准的一致性达85.17。所有标注员均为加泰罗尼亚语母语者，确保标注质量。

特点

该数据集的核心特色在于其多维标注体系，融合了情感、静态立场与动态立场三类信息，为对话分析提供了丰富的语义层次。情感标注涵盖愤怒、期待、厌恶、恐惧、喜悦、悲伤、惊讶、不信任及无情绪九种标签，采用多标签形式，细腻捕捉复杂情感表达。静态立场针对每条消息与话题的关系，划分为支持、反对、中立及不适用四类，反映个体观点倾向。动态立场则聚焦消息对之间的交互关系，包括同意、反对、阐述、质疑、中立、无关及不适用七类，揭示对话中的互动模式。数据集聚焦五个高度争议的社会话题，天然蕴含观点碰撞与情感张力，适用于研究社交媒体中的论辩动态与情感传播。此外，数据源自真实社交网络，保留了自然语言中的口语化表达与语境特征，增强了生态效度。

使用方法

该数据集适用于文本分类任务，可分别或联合训练情感检测、静态立场检测与动态立场检测模型。使用时需注意，文本字段需通过Twitter API根据提供的推文ID自行获取，因此部分实例可能因推文删除或隐私设置而不可用。数据集仅提供训练集，共6773个样本，用户可按需划分验证与测试子集。加载时可通过HuggingFace的datasets库直接调用projecte-aina/CaSET配置，数据以JSON格式存储，包含父消息ID、回复ID、话题编号、动态立场、父消息立场、回复立场及情感标签列表等字段。推荐使用预训练语言模型如BERT或XLM-R进行微调，针对加泰罗尼亚语可选用Aina项目提供的专用模型。评估指标建议采用宏平均F1分数，以平衡各类别性能，尤其关注低资源标签的识别效果。

背景与挑战

背景概述

CaSET（Catalan Stance and Emotions from Twitter）数据集由巴塞罗那超级计算中心（Barcelona Supercomputing Center）的语言技术团队于2023年创建，旨在推动加泰罗尼亚语这一低资源语言的自然语言处理研究。该数据集聚焦于社交媒体对话中的立场检测与情绪识别，收录了围绕疫苗、租金监管、代孕、机场扩建及电视节目操控五个争议性主题的约11,000条加泰罗尼亚语推文，并构建了约6,000组父子消息对。通过标注静态立场、动态立场及多标签情绪，CaSET为分析对话中的交互性立场演变提供了独特资源，其论文发表于EMNLP 2023，显著促进了加泰罗尼亚语在情感计算与论辩挖掘领域的发展。

当前挑战

CaSET数据集面临的核心挑战在于多维度标注的复杂性与低资源语言的固有困境。首先，动态立场标注需同时捕捉消息对间的赞同、反对、细化、质疑等六种关系，而人工标注一致性（Fleiss' Kappa仅为56.51）揭示了交互性语义理解的模糊性，这成为模型训练的瓶颈。其次，情绪标注采用多标签且包含“不信任”等非基础类别，导致标注者间平均一致性仅45.38，反映了社交媒体中情绪表达的歧义性。此外，数据集依赖Twitter API获取原始文本，推文删除或账户隐私设置可能导致实例丢失，加剧了低资源场景下数据稀疏性的挑战。这些因素共同制约了模型在加泰罗尼亚语复杂对话语境中的泛化能力。

常用场景

经典使用场景

CaSET数据集专为加泰罗尼亚语的立场检测与情绪识别任务而设计，其经典使用场景聚焦于对话中动态立场与静态立场的联合建模。该数据集以推文配对形式呈现，每条实例包含父消息与回复消息，并标注了消息间的动态关系（如同意、反驳、追问等）以及各自针对话题的静态立场。研究者可借此训练模型捕捉社交对话中立场演变与情绪交织的复杂模式，尤其适用于低资源语言的自然语言理解研究。

实际应用

在实际应用中，CaSET数据集可助力构建加泰罗尼亚语的社交媒体舆情监控系统，用于自动识别公众对疫苗、房租管制等争议性话题的立场倾向与情绪反应。企业或政府机构可利用该数据集训练模型，实时分析网络讨论中的支持与反对声音，从而辅助决策制定。同时，其动态立场标注能力使其在智能客服与对话机器人领域具备应用潜力，帮助系统理解用户态度变化并调整回应策略。

衍生相关工作

CaSET数据集衍生了一系列经典工作，如Figueras等人（2023）基于该数据提出了动态立场建模框架，通过标注对话交互中的立场关系，推动了对话理解研究。此外，Gonzalez-Agirre等人（2024）利用CaSET作为加泰罗尼亚语数据基础设施的一部分，展示了其在构建低资源语言自然语言处理资源中的核心作用。这些工作不仅验证了数据集的可靠性，还激励了后续针对加泰罗尼亚语的多任务学习与跨语言迁移研究。