Atipico1/mrqa-adv-test-adv-gpt-passage-entity

---
dataset_info:
features:
- name: subset
dtype: string
- name: qid
dtype: string
- name: question
dtype: string
- name: answers
sequence: string
- name: masked_query
dtype: string
- name: context
dtype: string
- name: answer_sent
dtype: string
- name: answer_in_context
sequence: string
- name: entity
dtype: string
- name: similar_entity
dtype: string
- name: clear_answer_sent
dtype: string
- name: vague_answer_sent
dtype: string
- name: adversary
dtype: string
- name: replace_count
dtype: int64
- name: adversarial_passage
dtype: string
- name: masked_answer_sent
dtype: string
- name: num_mask_token
dtype: int64
- name: entities
sequence: string
- name: gpt_adv_sent
dtype: string
splits:
- name: train
num_bytes: 2063372
num_examples: 1000
download_size: 1360341
dataset_size: 2063372
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息:
特征项:
- 字段名: 子集(subset)
数据类型: 字符串(string)
- 字段名: 问题标识符(qid)
数据类型: 字符串(string)
- 字段名: 问题(question)
数据类型: 字符串(string)
- 字段名: 答案集(answers)
数据类型: 字符串序列(sequence<string>)
- 字段名: 掩码查询(masked_query)
数据类型: 字符串(string)
- 字段名: 上下文(context)
数据类型: 字符串(string)
- 字段名: 答案语句(answer_sent)
数据类型: 字符串(string)
- 字段名: 上下文中的答案(answer_in_context)
数据类型: 字符串序列(sequence<string>)
- 字段名: 实体(entity)
数据类型: 字符串(string)
- 字段名: 相似实体(similar_entity)
数据类型: 字符串(string)
- 字段名: 清晰答案语句(clear_answer_sent)
数据类型: 字符串(string)
- 字段名: 模糊答案语句(vague_answer_sent)
数据类型: 字符串(string)
- 字段名: 对抗样本(adversary)
数据类型: 字符串(string)
- 字段名: 替换次数(replace_count)
数据类型: 64位整型(int64)
- 字段名: 对抗段落(adversarial_passage)
数据类型: 字符串(string)
- 字段名: 掩码答案语句(masked_answer_sent)
数据类型: 字符串(string)
- 字段名: 掩码Token数量(num_mask_token)
数据类型: 64位整型(int64)
- 字段名: 实体集(entities)
数据类型: 字符串序列(sequence<string>)
- 字段名: GPT对抗语句(gpt_adv_sent)
数据类型: 字符串(string)
数据集划分:
- 名称: 训练集(train)
字节数: 2063372
样本数: 1000
下载体积: 1360341
数据集总字节量: 2063372
配置项:
- 配置名称: 默认(default)
数据文件:
- 划分集: 训练集(train)
路径: data/train-*

原始信息汇总

数据集概述

数据特征

• subset: 字符串类型
• qid: 字符串类型
• question: 字符串类型
• answers: 字符串序列
• masked_query: 字符串类型
• context: 字符串类型
• answer_sent: 字符串类型
• answer_in_context: 字符串序列
• entity: 字符串类型
• similar_entity: 字符串类型
• clear_answer_sent: 字符串类型
• vague_answer_sent: 字符串类型
• adversary: 字符串类型
• replace_count: 64位整数类型
• adversarial_passage: 字符串类型
• masked_answer_sent: 字符串类型
• num_mask_token: 64位整数类型
• entities: 字符串序列
• gpt_adv_sent: 字符串类型

数据分割

• train: 包含1000个样本，占用2063372字节

数据集大小

• 下载大小: 1360341字节
• 数据集大小: 2063372字节

配置

• default:
  • 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

在机器阅读理解领域，对抗性样本的构建对于评估模型鲁棒性至关重要。Atipico1/mrqa-adv-test-adv-gpt-passage-entity数据集基于MRQA基准测试，通过引入实体级对抗性扰动生成。具体而言，利用GPT模型对原始段落中的实体进行替换或修改，同时保持上下文语义的连贯性，从而构造出具有挑战性的对抗性段落。每个样本包含原始问题、答案、实体信息、相似实体以及对抗性段落，并记录了替换次数与掩码标记数量，以量化扰动强度。数据集共包含1000个训练样本，覆盖多样化的实体类型，旨在测试模型在实体混淆场景下的推理能力。

特点

该数据集的核心特点在于其精心设计的对抗性结构，能够有效暴露模型在实体识别与推理上的脆弱性。每个样本不仅提供原始上下文与对抗性段落，还包含掩码查询、答案句子、清晰与模糊答案句子等多维度标注，便于分析模型在不同粒度上的表现。此外，数据集引入了实体与相似实体字段，支持对实体替换策略的细粒度研究。对抗性段落由GPT生成，确保了文本的自然性与多样性，而替换计数与掩码数量则提供了扰动程度的量化指标，为鲁棒性评估提供了标准化基准。

使用方法

使用时，数据集可直接通过HuggingFace Datasets库加载，默认配置下仅包含训练集。研究人员可将原始问题与对抗性段落输入机器阅读理解模型，比较模型在原始与对抗性上下文中的答案预测差异。通过分析`answers`与`adversarial_passage`字段，可评估模型对实体扰动的敏感度。此外，`masked_query`与`masked_answer_sent`字段支持掩码语言建模任务，而`entity`与`similar_entity`字段可用于实体替换的消融实验。建议将数据集划分为训练与验证子集，以系统性地测试模型在对抗性环境下的泛化能力。

背景与挑战

背景概述

在机器阅读理解（MRC）领域，模型对对抗性样本的鲁棒性已成为评估其泛化能力的关键指标。Atipico1/mrqa-adv-test-adv-gpt-passage-entity数据集由研究团队在近期构建，旨在通过引入基于GPT生成的对抗性段落和实体替换，系统性地测试MRC模型在复杂场景下的表现。该数据集以MRQA（Machine Reading for Question Answering）基准测试为基础，通过对抗性扰动——如替换关键实体、生成模糊或误导性上下文——来模拟真实世界中可能出现的文本变异。其核心研究问题聚焦于：当前最先进的MRC模型能否在语义相似但表述被刻意篡改的文本中依然保持准确推理？这一数据集的推出，为评估模型在实体级对抗攻击下的脆弱性提供了标准化测试平台，对推动鲁棒问答系统的发展具有重要参考价值。

当前挑战

该数据集所面对的领域挑战主要源于机器阅读理解模型在对抗性扰动下的脆弱性。具体而言，模型往往依赖表面词汇匹配而非深层语义理解，当上下文中的关键实体被替换为相似实体或句子被重新表述时，其推理能力急剧下降。此外，构建过程中面临两大挑战：一是如何生成高质量、语义合理且能有效误导模型的对抗性样本，这要求对抗性段落既保持上下文连贯性，又隐含错误线索；二是确保扰动后的文本不偏离原始问题的可回答性，避免引入噪声导致答案完全不可恢复。这些挑战共同决定了该数据集在评估模型鲁棒性时的严苛性，也凸显了当前MRC系统在应对真实文本变异时的局限性。

常用场景

经典使用场景

在机器阅读理解领域，模型对抗鲁棒性的评估已渐成研究焦点。Atipico1/mrqa-adv-test-adv-gpt-passage-entity数据集专为测试和提升模型对对抗性样本的抵御能力而设计。其核心使用场景在于，通过引入由GPT生成的对抗性段落、实体替换及模糊答案句子等扰动，模拟现实世界中信息被有意篡改或误导的情境。研究者可借助该数据集，系统性地评估模型在遭遇文本层面的恶意攻击时的表现退化程度，从而深入剖析模型在理解复杂、含噪文本时的脆弱环节。

解决学术问题

该数据集精准回应了机器阅读理解模型在面对对抗性攻击时泛化能力不足这一学术难题。传统评测集多基于干净语料构建，难以揭示模型在非自然、对抗性输入下的真实缺陷。通过提供带有明确对抗标签（如adversary、replace_count）和多样化扰动类型（实体替换、句子掩码等）的样本，该数据集为量化模型鲁棒性、探索对抗训练策略提供了标准化基准。其意义在于推动了对抗性机器学习在自然语言处理领域的实证研究，促使学界从关注精度转向兼顾稳健性与安全性，对构建可信赖的问答系统具有深远影响。

衍生相关工作

该数据集的发布催生了若干基于对抗鲁棒性的经典工作。一方面，研究者利用其对抗性段落与实体扰动标签，开发了针对性的对抗训练算法，如动态对抗样本生成与掩码策略优化，显著提升了模型在MRQA等基准上的鲁棒性。另一方面，该数据集的细粒度标注（如masked_query、vague_answer_sent）启发了多项关于模型注意力机制与解释性的研究，例如通过对比干净与对抗样本下的注意力分布，揭示模型对关键实体的依赖模式。此外，基于该数据集的评测框架被广泛复用，成为评估大语言模型在检索增强生成中抗干扰能力的标准工具之一。