bias-amplified-splits/anli

该数据集是一个评估框架，用于通过在训练数据中放大偏差并挑战模型以超越这些偏差来评估模型鲁棒性。它通过自动从现有数据集中提取偏差放大训练集和难以处理的反偏差测试集来定义。该框架应用于对抗性自然语言推理（ANLI）数据集，这是一个大规模的NLI基准数据集。数据集旨在促进开发不依赖于表面偏差和相关性的鲁棒NLP模型。

原始信息汇总

数据集概述

数据集名称

• 名称: Adversarial NLI

数据集内容

• 类型: 文本分类
• 语言: 英语
• 任务: 自然语言推理

数据集结构

• 特征:
  • round: 字符串
  • uid: 字符串
  • premise: 字符串
  • hypothesis: 字符串
  • label: 分类标签（entailment, neutral, contradiction）
  • reason: 字符串
• 数据分割:
  • Minority Examples:
    • train.biased: 134068 实例
    • train.anti_biased: 28797 实例
    • validation.biased: 2317 实例
    • validation.anti_biased: 883 实例
    • test.biased: 2262 实例
    • test.anti_biased: 938 实例
  • Partial-input Baselines:
    • train.biased: 134068 实例
    • train.anti_biased: 28797 实例
    • validation.biased: 2634 实例
    • validation.anti_biased: 566 实例
    • test.biased: 2634 实例
    • test.anti_biased: 566 实例

数据集使用

• 目的: 评估模型在面对数据集偏差时的鲁棒性
• 方法: 通过放大训练数据中的偏差，并在测试集中使用反偏差数据来挑战模型

数据集大小

• 下载大小: 86373189 字节
• 数据集大小: 78142562 字节
• 类别数量: 100K<n<1M 实例

许可证

• 许可证: cc-by-nc-4.0

搜集汇总

数据集介绍

构建方式

该数据集基于对抗性自然语言推理（ANLI）基准，通过模型驱动的方法自动识别并划分出偏差放大与反偏差子集。具体而言，研究者采用两种策略：其一为“少数样本法”，利用表征学习与聚类技术挖掘那些违背数据集主流统计模式的罕见反偏差实例；其二为“部分输入基线法”，通过限制模型仅使用部分输入信息来检测标注伪迹，从而定位模型依赖的表面偏差。最终，原始训练集与测试集被重新分割为偏差放大和反偏差两种版本，以构建更具挑战性的评估场景。

特点

数据集的独到之处在于其颠覆了传统去偏思路，转而主动放大训练集中的偏差，同时保留反偏差测试集作为硬性挑战。这种设计迫使模型必须在对抗表面相关性的过程中提升泛化能力。实验表明，即便如DeBERTa-large等强模型，在偏差放大训练后于反偏差测试集上的性能也会骤降（如从67.5%跌至21.4%），揭示了常见鲁棒性干预手段的局限性。数据集包含两种配置，覆盖逾16万条样本，且保留了ANLI原生的三轮对抗收集结构与解释性标注字段（reason）。

使用方法

用户可通过HuggingFace Datasets库便捷加载，需指定偏差检测方法对应的配置名（如'minority_examples'或'partial_input'）。加载后可直接调用'train.biased'作为偏差放大训练集，并以'validation.anti_biased'或'test.anti_biased'作为反偏差评估集。数据字段与原ANLI一致，包含premise、hypothesis、label及reason等。建议研究者将偏差放大子集与原始ANLI结合使用，以系统衡量模型在标准与反偏差场景下的鲁棒性差异，从而识别并改进模型对浅层相关性的依赖行为。

背景与挑战

背景概述

在自然语言处理领域，自然语言推理（NLI）任务旨在判断前提与假设之间的逻辑关系，是评估模型语义理解能力的重要基准。然而，现有NLI数据集普遍存在数据集偏差现象，即模型依赖统计伪像而非真正推理能力取得高性能。为应对这一挑战，Yuval Reif和Roy Schwartz于2023年提出了bias-amplified-splits框架，并将其应用于对抗性自然语言推理（ANLI）数据集。ANLI本身由Adina Williams等人通过人机对抗迭代收集而成，其难度远超SNLI和MNLI。该框架通过自动识别并放大训练集中的偏差，同时构建反偏差测试集，旨在揭示模型对表面线索的依赖，推动鲁棒性研究。研究团队来自希伯来大学，相关工作发表在arXiv上，为评估模型泛化能力提供了新颖视角。

当前挑战

数据集面临的核心挑战在于如何有效识别并利用偏差以测试模型鲁棒性。首先，在领域问题层面，现有NLI模型常因数据集偏差（如词汇重叠、标注伪像）而虚高表现，在真正需要逻辑推理的反偏差样本上性能骤降，例如DeBERTa-large在反偏差测试集上准确率从67.5%跌至21.4%。其次，构建过程中面临两大难点：一是需设计自动方法区分偏差样本与反偏差样本，论文采用少众样本和部分输入基线两种策略，但方法的选择直接影响数据划分质量；二是确保反偏差样本自然且具有挑战性，避免人工构造引入新偏差。此外，如何平衡偏差放大程度与训练集多样性，防止模型过拟合于特定统计模式，仍是未竟之题。

常用场景

经典使用场景

在自然语言推理领域，bias-amplified-splits/anli数据集被广泛用于评估模型对数据集偏置的鲁棒性。其经典使用场景在于通过构建偏置放大的训练集与反偏置的测试集，挑战模型是否能在缺乏常见统计线索的情况下做出正确推理。研究者利用该数据集检验模型是否依赖于诸如词汇重叠、标签分布不均等表面相关性，从而揭示模型在对抗性样本上的脆弱性。这一框架尤其适用于ANLI这类具有对抗性构建背景的复杂NLI基准，为模型在真实世界中的泛化能力提供了严苛的测试环境。

衍生相关工作

该数据集衍生了一系列聚焦于模型鲁棒性诊断与偏置缓解的经典工作。其核心框架“以偏置对抗偏置”启发了后续研究，例如利用少样本聚类识别反偏置样本的方法被拓展至其他NLP任务，如情感分析和问答系统。此外，基于该数据集的实验揭示了常见泛化改进策略（如数据重加权、模型剪枝）在极端偏置环境下的失效性，催生了专门针对偏置放大型训练集设计的鲁棒优化算法。相关论文在ACL、EMNLP等顶级会议中持续被引，成为评估自然语言理解模型鲁棒性的重要参照基准。

数据集最近研究

最新研究方向

在自然语言推理（NLI）领域，模型常依赖数据集中的浅层统计偏差而非真正的语言理解，导致泛化能力脆弱。bias-amplified-splits/anli数据集应运而生，其核心创新在于通过自动化的模型驱动方法，将对抗性NLI基准ANLI中的样本重新划分为“偏向性”与“抗偏向性”子集，从而在训练时放大偏差、在测试时挑战模型。这一框架揭示了即使是大规模预训练模型（如DeBERTa-large）在抗偏向测试集上性能也会断崖式下降（从67.5%跌至21.4%），凸显了现有鲁棒性干预手段的不足。该数据集的前沿意义在于，它提供了一种可迁移的评估范式，能对任何现存数据集进行鲁棒性压力测试，推动NLP系统从“拟合偏差”向“真正理解”转变，尤其服务于当前对公平、可信AI的迫切需求。