e-CARE

e-CARE数据集是由哈尔滨工业大学社会计算与信息检索研究中心创建，包含超过21,000个因果推理问题，是目前已知最大的人工标注常识因果推理数据集。每个问题不仅包含因果推理本身，还提供了一个自由文本形式的概念解释，解释为什么这种因果关系存在。数据集通过众包方式构建，旨在通过提供概念解释来深入理解因果事实，促进因果推理过程。e-CARE数据集的应用领域广泛，旨在解决因果推理模型在不同数据集上表现不稳定以及易受对抗攻击的问题，通过提供概念解释来提升模型的理解能力和推理稳定性。The e-CARE dataset was created by the Research Center for Social Computing and Information Retrieval at Harbin Institute of Technology. Containing over 21,000 causal reasoning questions, it is the largest manually annotated commonsense causal reasoning dataset known to date. Each question not only includes the causal reasoning task itself but also provides a free-text conceptual explanation that elaborates on why the given causal relationship holds. Constructed via crowdsourcing, the dataset aims to deepen the understanding of causal facts and facilitate the causal reasoning process by offering conceptual explanations. The e-CARE dataset has a wide range of application scenarios, targeting the issues of unstable performance and vulnerability to adversarial attacks of causal reasoning models across different datasets, and it seeks to enhance models' comprehension ability and reasoning stability by providing conceptual explanations.

搜集汇总

数据集介绍

构建方式

因果推理是人类认知的核心能力之一，然而现有数据集多缺乏对因果关系的深层概念解释。e-CARE数据集以构建可解释的因果推理资源为目标，采用众包方式完成标注。其构建流程别具匠心：首先从GenericsKB通用知识库中筛选出描述世界知识的陈述句作为潜在解释，随后邀请标注者依据这些陈述生成对应的因果事实，并据此构建多项选择题形式的因果推理问题。每个问题包含一个前提与两个假设，其中一个假设与前提构成有效因果事实，同时附有以自然语言表述的概念性解释。为确保质量，数据集通过对抗性过滤算法替换易被表面线索区分的错误假设，并经过多轮人工验证，最终包含超过21,000个因果推理问题与13,000余条独特解释，成为目前最大规模的人工标注常识因果推理数据集。

特点

e-CARE数据集的核心特色在于其开创性地引入了概念性解释信息，超越了传统仅提供因果事实标注的局限。每个实例不仅包含需判断因果合理性的多项选择题，更配有一段自由文本形式的解释，阐明该因果关系之所以成立的本质原理。这种设计使得解释具有泛化能力，能够解释一组相关的因果现象，而非仅适用于孤立事实。此外，数据集的规模优势显著，超过21,000个实例为模型评估提供了充足样本，有效避免了小数据集导致的过拟合与结果置信度问题。对抗性过滤技术的应用进一步提升了数据集的挑战性，确保模型必须真正理解因果机制而非依赖表面线索，从而更公正地衡量模型的因果推理能力。

使用方法

e-CARE数据集支持两项核心任务：因果推理任务与解释生成任务。在因果推理任务中，模型需根据给定的前提事件，从两个候选假设中选择一个能与前提构成有效因果事实的选项，形式化为多项选择预测问题。解释生成任务则要求模型为给定的有效因果事实生成自然语言形式的解释。研究者可单独训练模型完成其中一项任务，也可采用联合学习方式同时进行推理与生成，实验表明这种多任务训练能产生协同效应，提升模型对因果机制的理解。此外，e-CARE还可作为迁移学习的资源，通过预训练增强模型在其他因果相关任务上的表现，如事件因果抽取、常识问答等。数据集已公开于GitHub，便于学界复现与拓展研究。

背景与挑战

背景概述

因果推理是人类核心认知能力之一，对于自然语言处理领域的诸多应用至关重要。然而，现有因果推理数据集或规模有限，或缺乏对因果关系深层机制的解释性信息，难以支撑模型对因果事实的概念性理解。为填补这一空白，哈尔滨工业大学社会计算与信息检索研究中心的研究团队于2022年提出了e-CARE数据集，该数据集包含超过2.1万个多项选择因果推理问题，并首次为每个问题配以自然语言形式的概念性解释，旨在探索可解释因果推理。作为当前最大规模的人工标注常识因果推理基准，e-CARE为评估和提升模型的因果学习能力提供了全新平台，对推动因果推理研究向更深层次发展具有重要影响力。

当前挑战

e-CARE数据集所面临的挑战主要体现在两个层面。其一，在领域问题层面，现有最先进的预训练语言模型在因果推理任务上的准确率最高仅为75.38%，远低于人类92%的表现，揭示出模型对因果机制深层理解不足的显著难题；尤其在解释生成任务中，GPT2模型生成的有效解释仅占20%，凸显了概念性因果解释生成的极端困难。其二，在数据集构建过程中，如何避免引入表面线索（如标注伪影）成为关键挑战，研究团队通过对抗性过滤算法替换易区分的干扰项，确保模型必须依赖真正的因果关系而非浅层特征进行判断，但这一过程对数据质量和标注一致性提出了极高要求。

常用场景

经典使用场景

在自然语言处理领域，因果推理是理解事件间逻辑关联的核心能力，e-CARE数据集以其超过21,000个众包标注的多选题形式，为评估和提升模型的常识因果推理能力提供了大规模基准。其经典使用场景聚焦于因果推理任务：给定一个前提事件，模型需从两个候选假设中选出能与前提构成有效因果事实的正确选项。这一设定不仅考验模型对因果关系的表面匹配，更要求其深入理解事件之间的内在逻辑，从而避免依赖数据集中的浅层线索。e-CARE通过对抗性过滤算法剔除了易被模型利用的虚假特征，确保模型必须真正掌握因果机制才能做出正确选择，使其成为检验模型因果推理真实水平的可靠测试平台。

解决学术问题

e-CARE数据集的核心学术贡献在于解决了现有因果推理资源缺乏概念性解释的痛点，从而推动了可解释因果推理研究的发展。传统数据集如COPA规模有限且不提供解释，导致模型仅能学习预测标签的统计模式，却难以理解因果事实背后的深层原理。e-CARE通过提供每道因果问题对应的自然语言解释，首次将解释生成任务引入因果推理领域，迫使模型不仅要选出正确事实，还需生成解释其选择的文本。这一设计有效揭示了当前最先进预训练语言模型在概念层面理解因果性的显著不足，并验证了解释信号能提升推理模型的准确性与稳定性，为构建更接近人类认知的因果推理系统指明了方向。

衍生相关工作

e-CARE数据集的提出催生了一系列重要的衍生研究工作。在方法层面，其引入的因果解释质量评估指标CEQ分数直接衡量解释对理解因果机制的贡献，相较于传统BLEU和ROUGE指标更贴近人类评价，为后续可解释生成任务提供了新的评估范式。在任务层面，联合因果推理与解释生成的多任务学习框架被证明具有协同效应，即推理与解释相互促进，推动了端到端可解释模型的发展。此外，e-CARE中概念解释的通用性启发了将抽象知识用于解释多样化因果事实的研究思路，例如利用物质属性解释不同场景下的物理现象。该数据集还促进了对抗性过滤算法在因果推理领域的应用，成为构建更鲁棒数据集的标准参考。