AdvRACE

AdvRACE是一个用于评估机器阅读理解模型鲁棒性的新型基准数据集，由哈尔滨工业大学社会计算与信息检索研究中心创建。该数据集包含4934个样本，源自RACE数据集，通过引入四种不同类型的对抗攻击进行增强。AdvRACE旨在通过模拟真实世界中的文本扰动，评估模型在面对复杂和多变的输入时的表现。数据集的创建过程涉及对原始文本的多种修改，如添加干扰信息、字符交换等，以生成具有挑战性的测试案例。AdvRACE的应用领域主要集中在提高机器阅读理解模型的鲁棒性，解决模型在实际应用中可能遇到的输入扰动问题。AdvRACE is a novel benchmark dataset for evaluating the robustness of machine reading comprehension models, developed by the Social Computing and Information Retrieval Research Center of Harbin Institute of Technology. This dataset comprises 4,934 samples derived from the RACE dataset, which is augmented with four distinct types of adversarial attacks. AdvRACE aims to assess model performance when confronted with complex and variable inputs by simulating real-world text perturbations. The dataset creation process entails multiple modifications to the original text, such as adding distracting information and character swaps, to generate challenging test cases. The core application scenarios of AdvRACE focus on enhancing the robustness of machine reading comprehension models and addressing input perturbation issues that models may encounter in practical applications.

搜集汇总

数据集介绍

构建方式

AdvRACE基于现有的RACE数据集构建，通过在其测试集上应用四种模型无关的对抗攻击方法形成。这些攻击包括：改进的AddSent方法，通过替换问题中的词汇并插入原始干扰项来生成误导性句子插入段落；CharSwap方法，对问题及段落中与问题相关的关键词进行相邻字符交换；以及两种新颖的干扰项攻击——Distractor Extraction，利用ALBERT跨度抽取模型从段落中提取与问题相关但语义不同的片段作为新干扰项，并通过后处理确保多样性；Distractor Generation，采用UniLM序列到序列模型基于段落和问题生成干扰项，并使用波束搜索挑选候选。所有扰动均经人工标注验证，确保标签保留且可解答。

特点

AdvRACE的特点在于其全面性和高效性。它包含四个独立的对抗测试集，分别针对不同的攻击类型，允许对模型鲁棒性进行细粒度分析。所有攻击均为模型无关，无需访问模型参数，因此可广泛评估各类阅读理解模型。该基准在扰动设计上具有多样性，覆盖了段落、问题和干扰项等多个组件以及句子和字符等多个层面。实验表明，当前最先进的模型（如BERT、RoBERTa、XLNet、ALBERT）在AdvRACE上性能显著下降，平均下降幅度达18%至44.5%，揭示了模型在文本匹配和语义理解上的脆弱性。同时，人工评估显示所有测试集的有效率接近100%，正确率高于原始基准的人类表现，确保了数据质量。

使用方法

AdvRACE的使用方法直接且灵活。研究者可直接下载公开的对抗测试集，将各自训练的模型在四个测试集上分别评估，以衡量模型对不同攻击的鲁棒性。每个测试集包含4934个示例，与原始RACE测试集规模一致。评估时，模型需在给定段落和问题的情况下从四个选项中选出正确答案，性能通过准确率衡量。此外，该基准的构建流程具有高可迁移性，可轻松应用于其他多项选择阅读理解数据集，生成相应的对抗测试集。论文还提供了对抗训练实验作为基线，但指出其可能过度利用数据集伪影，鼓励开发更可靠的防御方法。

背景与挑战

背景概述

机器阅读理解（MRC）作为评估自然语言理解能力的关键测试平台，近年来取得了显著进展，涌现出众多高性能模型。然而，现有基准测试多聚焦于领域内测试集性能，忽略了模型在测试时扰动或对抗攻击下的鲁棒性评估。为填补这一空白，Chenglei Si等研究人员于2020年构建了AdvRACE（Adversarial RACE）基准，该工作由马里兰大学与哈尔滨工业大学—科大讯飞联合实验室（HFL）合作完成。AdvRACE基于RACE数据集，通过引入四种模型无关的对抗攻击方法，系统性地评估了BERT、RoBERTa、XLNet和ALBERT等前沿模型的鲁棒性。该基准的提出不仅揭示了当前模型在对抗环境下的脆弱性，还为推动更健壮MRC模型的研究提供了重要评估工具，对自然语言处理领域的鲁棒性研究具有深远影响。

当前挑战

AdvRACE面临的挑战涵盖领域问题与构建过程两个层面。在领域问题方面，现有MRC基准主要评估模型在标准测试集上的准确率，却难以衡量其在面对测试时扰动或对抗攻击时的鲁棒性，导致模型在实际应用中可能因微小输入变化而失效。AdvRACE通过引入四种攻击类型——AddSent（干扰信息插入）、CharSwap（字符交换）、Distractor Extraction（干扰项提取）和Distractor Generation（干扰项生成），系统性地暴露了模型在文本匹配、拼写错误和干扰项替换等方面的脆弱性。在构建过程中，挑战尤为显著：干扰项提取需要从未标注数据中自动筛选与问题语义相关但不同于正确答案的文本片段，而干扰项生成则需确保生成的选项既具有迷惑性又保持标签不变。此外，所有攻击需保持模型无关性，以避免依赖模型参数，这进一步增加了设计难度。人类评估证实，这些攻击在保持高可答率的同时，成功诱使模型性能大幅下降，凸显了构建鲁棒MRC模型的紧迫性。

常用场景

经典使用场景

在自然语言处理领域，机器阅读理解（MRC）模型的鲁棒性评估是衡量其泛化能力的关键维度。AdvRACE作为首个针对MRC模型的多类型对抗攻击基准数据集，基于广泛使用的RACE数据集构建，通过引入添加干扰句、字符交换、干扰项提取与生成四种攻击策略，系统性地揭示了现有顶尖模型在面对测试时扰动时的脆弱性。该基准为研究者提供了标准化、可复现的评估框架，尤其适用于验证模型在复杂语义扰动下的推理稳定性，成为检验MRC系统鲁棒性的重要测试平台。

解决学术问题

AdvRACE填补了现有MRC基准仅评估域内性能而忽视鲁棒性的关键空白。它解决了两个核心学术问题：一是如何构建多样化的、标签保持的对抗样本以全面暴露模型弱点，二是如何量化模型对不同类型扰动的敏感程度。通过实验证明，BERT、RoBERTa等主流模型在AdvRACE上性能平均下降20%至44%，揭示了模型过度依赖文本匹配而缺乏深层语义理解的缺陷。该工作推动了鲁棒性评估从单一攻击向多维度综合评估的范式转变，为构建更可靠的NLU系统奠定了方法论基础。

衍生相关工作

AdvRACE催生了多项重要后续研究。其提出的干扰项提取与生成方法被应用于构建中文鲁棒性基准DuReaderRobust，以及跨语言MRC模型的对抗训练框架。在防御层面，研究者基于AdvRACE的对抗训练实验（如混合攻击训练）揭示了过拟合风险，进而推动了更可靠的鲁棒性提升技术，如因果推理增强和对抗数据去偏。此外，该基准的评估体系被CheckList等通用测试框架采纳，成为NLP系统行为测试的组成部分，深刻影响了后续对抗样本生成与防御的学术方向。