yyu/agnews-attrprompt

该数据集用于论文《Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias》中，包含多个文件，分别用于训练、验证和测试，以及通过简单提示和属性提示生成的训练数据。具体文件包括：`label.txt`（每个类别的标签名称）、`train.jsonl`（原始训练集）、`valid.jsonl`（原始验证集）、`test.jsonl`（原始测试集）、`simprompt.jsonl`（通过简单提示生成的训练数据）和`attrprompt.jsonl`（通过属性提示生成的训练数据）。

This dataset is employed in the paper titled *Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias*. It includes multiple files for the training, validation, and test splits, as well as training data generated via simple prompts and attribute prompts. The specific files are: `label.txt` (label names for each category), `train.jsonl` (original training set), `valid.jsonl` (original validation set), `test.jsonl` (original test set), `simprompt.jsonl` (training data generated via simple prompts), and `attrprompt.jsonl` (training data generated via attribute prompts).

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 文本分类
• 语言: 英语
• 数据集大小: 10K<n<100K

数据集内容

• label.txt: 包含每个类别的标签名称。
• train.jsonl: 原始训练集。
• valid.jsonl: 原始验证集。
• test.jsonl: 原始测试集。
• simprompt.jsonl: 通过简单提示生成的训练数据。
• attrprompt.jsonl: 通过属性提示生成的训练数据。

搜集汇总

数据集介绍

构建方式

在文本分类任务中，高质量标注数据的稀缺性始终是制约模型性能提升的瓶颈。为缓解这一困境，该数据集基于大型语言模型作为属性化训练数据生成器的创新范式而构建。具体而言，研究者首先采用简单提示（simple prompt）与属性提示（attributed prompt）两种策略，分别生成合成训练样本，并整理为simprompt.jsonl与attrprompt.jsonl文件。原始训练集、验证集与测试集则分别存储于train.jsonl、valid.jsonl与test.jsonl中，标签名称统一记录于label.txt，从而形成完整的实验基准。

特点

该数据集的核心特色在于其双轨生成机制，即通过对比简单提示与属性提示所衍生数据的差异，系统性地探究数据多样性（diversity）与偏差（bias）对下游文本分类模型的影响。属性提示通过注入细粒度语义属性约束，能够生成更具多样性的样本，而简单提示则可能引入隐性偏差。这种设计为理解大型语言模型在数据增强过程中的行为规律提供了独特视角，并有助于评估合成数据对真实场景分类效果的迁移能力。

使用方法

使用该数据集时，研究者可将其加载至HuggingFace Datasets库中，通过指定数据文件路径直接读取JSONL格式的样本。典型应用场景包括：利用原始训练集（train.jsonl）与合成数据（simprompt.jsonl或attrprompt.jsonl）进行联合训练，以评估属性提示策略对分类准确率的提升效果；或在测试集（test.jsonl）上对比不同生成策略的泛化性能。此外，label.txt文件可用于映射类别索引与标签名称，便于在多分类任务中快速部署模型评估流程。

背景与挑战

背景概述

在自然语言处理领域，文本分类任务一直是研究的核心，而大规模、高质量标注数据的获取往往代价高昂。近年来，大型语言模型的涌现为数据生成提供了全新范式，但如何保证生成数据的多样性与减少固有偏见成为关键难题。由Yue Yu等人于2023年提出的yyu/agnews-attrprompt数据集，源于其论文《Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias》，旨在探索利用属性提示（AttrPrompt）技术生成更具多样性和低偏见的训练数据。该数据集基于经典的AG News文本分类基准，不仅包含原始训练、验证和测试集，还提供了简单提示与属性提示生成的两种合成数据集，为评估和优化大模型在数据生成中的表现提供了重要基准，对推动少样本学习与数据增强研究具有显著影响力。

当前挑战

该数据集所解决的领域问题在于，传统文本分类依赖大量人工标注，而大模型生成数据虽能缓解数据稀缺，却面临生成样本多样性不足和模型固有偏见放大的双重挑战。具体而言，简单提示生成的样本易陷入模式重复，无法覆盖真实数据的分布广度；同时，大模型在训练中习得的社会文化偏见可能被传递至生成数据，导致下游分类器产生系统性偏差。在构建过程中，研究人员需设计精细的属性提示策略以引导模型产出多样内容，并开发评估指标量化生成数据的偏斜程度，这涉及对提示工程、数据质量校验和偏差度量等多环节的复杂权衡，确保生成数据在提升分类性能的同时不引入新的不公平性。

常用场景

经典使用场景

在文本分类领域，yyu/agnews-attrprompt数据集最为经典的使用场景是作为评估大语言模型生成训练数据质量的基准。该数据集源自AG News新闻分类任务，通过对比简单提示（simprompt）与属性提示（attrprompt）两种策略生成的训练数据，研究者能够系统性地检验大语言模型在数据生成过程中的多样性与偏差特性。这种设计使得该数据集成为探究生成式训练数据对下游分类模型性能影响的理想实验平台。

解决学术问题

该数据集有效解决了大语言模型生成训练数据时面临的多样性不足与偏差累积这一核心学术难题。传统数据增强方法往往受限于模板化生成，导致数据分布单一且难以覆盖边缘案例。而yyu/agnews-attrprompt通过引入属性引导的提示策略，显著提升了生成数据的类别内多样性，同时降低了模型偏见对数据质量的侵蚀。这为构建更公平、更具泛化能力的弱监督学习框架提供了关键理论支撑与实证依据。

衍生相关工作

该数据集衍生了一系列关于可控文本生成与数据蒸馏的经典工作。后续研究者在AttrPrompt基础上，进一步探索了多属性协同提示、对抗性偏差消除等改进方案，并催生了诸如“多样性感知的提示优化”、“基于归因分析的生成数据筛选”等前沿方向。这些工作共同构建了从数据生成到模型训练的全链路方法论体系，显著提升了合成数据在真实场景中的实用价值。