yyu/amazon-attrprompt

该数据集用于论文《Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias》中的研究。数据集包含多个文件，如`label.txt`（每个类别的标签名称）、`train.jsonl`（原始训练集）、`valid.jsonl`（原始验证集）、`test.jsonl`（原始测试集）等。此外，还包括使用简单提示和属性提示生成的训练数据文件，如`simprompt.jsonl`和`attrprompt.jsonl`。数据集还提供了使用LLM生成的数据集文件，如`regen.jsonl`、`regen_llm_augmented.jsonl`和`progen.jsonl`。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 文本分类
• 语言: 英语
• 标签: 产品、评论、主题分类
• 大小类别: 10K<n<100K

数据集内容

• label.txt: 各类别的标签名称
• train.jsonl: 原始训练集
• valid.jsonl: 原始验证集
• test.jsonl: 原始测试集
• simprompt.jsonl: 通过简单提示生成的训练数据
• attrprompt.jsonl: 通过属性提示生成的训练数据
• regen.jsonl: 通过ReGen生成的训练数据
• regen_llm_augmented.jsonl: 通过ReGen生成并由LLM生成子主题的训练数据
• progen.jsonl: 通过ProGen生成的训练数据

引用信息

• 若使用此数据集进行研究，请引用以下文献：
  • Yu, Yue et al. "Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias." arXiv preprint arXiv:2306.15895 (2023).

搜集汇总

数据集介绍

构建方式

该数据集源自对大型语言模型在属性化训练数据生成中作用的研究，旨在探索多样性与偏差之间的微妙关系。其构建基于亚马逊商品评论的原始标注数据，通过精心设计的提示策略，分别采用简单提示（Simple Prompt）与属性提示（Attributed Prompt）驱动语言模型生成扩充样本。此外，数据集还整合了ReGen与ProGen等先进生成框架的输出，包括由语言模型自动生成子主题的增强版本，从而构建了一个多源、多维度的训练数据集合。

特点

该数据集的核心特色在于其结构化的属性提示机制，通过注入细粒度的属性信息，有效提升了生成数据的类别覆盖度与语义多样性。相较于传统简单提示，属性提示生成的样本在保持类别一致性的同时，展现出更丰富的上下文变化，有助于缓解模型在少样本场景下的过拟合风险。数据集涵盖了原始标注集与多种生成策略的对比样本，为研究数据增强中的偏差传播与多样性调控提供了宝贵的实验基准。

使用方法

该数据集主要面向文本分类任务，可直接用于训练和评估分类模型。用户可加载预分割的训练、验证与测试JSONL文件，或利用生成的扩充数据（如attrprompt.jsonl）进行半监督学习。推荐将原始数据与生成数据混合使用，以检验属性提示对模型泛化能力的提升效果。此外，数据集附带的标签文件便于类别映射，配合Python的json库即可高效解析，适用于PyTorch或TensorFlow等主流框架的微调实验。

背景与挑战

背景概述

在自然语言处理领域，训练数据的质量与多样性对模型性能至关重要，然而真实世界中的标注数据往往稀缺且存在分布偏差，这催生了利用大语言模型生成合成训练数据的研究方向。由Yue Yu、Yuchen Zhuang等研究者在2023年提出的Amazon-AttrPrompt数据集，正是针对这一核心问题而构建。该数据集源自亚马逊产品评论，聚焦于文本分类任务，其独特之处在于探索了属性提示（Attributed Prompt）技术以提升生成数据的多样性与减少偏差。研究者来自多家知名机构，相关工作发表于ACL领域顶级会议，并提供了包括简单提示、属性提示以及ReGen、ProGen等多种生成策略的对比数据，为评估合成数据生成方法提供了标准化基准。该数据集对推动少样本学习、领域适应及数据增强等研究方向具有重要影响，尤其为理解大语言模型作为训练数据生成器的潜力与局限性提供了实证基础。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：产品评论分类需处理高度细粒度的情感与主题差异，例如不同商品类别（如书籍与电子产品）的评论风格迥异，传统方法难以泛化。此外，合成数据生成过程中存在显著挑战，包括如何通过属性提示有效控制生成样本的多样性以避免模式坍塌，以及如何缓解大语言模型固有偏见导致的类别不平衡问题。构建阶段还需解决标注一致性难题，例如确保生成数据与原始真实数据在语义分布上对齐，同时避免引入虚假关联。这些挑战不仅影响文本分类任务的最终性能，也对评估合成数据质量的标准提出了更高要求，促使研究者持续改进提示设计与生成策略。

常用场景

经典使用场景

在产品评论分类的学术探索中，yyu/amazon-attrprompt数据集扮演着至关重要的角色。该数据集源自亚马逊平台上的真实用户评论文本，专为文本分类任务而设计，尤其聚焦于情感分析与主题归类。其经典使用场景在于评估和提升基于属性提示（Attributed Prompt）的训练数据生成方法的效果。研究者通过对比简单提示与属性提示生成的训练数据，能够深入探究数据多样性对模型泛化能力的影响，从而为低资源场景下的分类任务提供高效的数据增强范式。

解决学术问题

该数据集直面自然语言处理领域中一个核心挑战：如何在大语言模型作为训练数据生成器时，缓解其固有的偏见并增强生成数据的多样性。通过引入属性提示策略，数据集系统性地解决了传统提示生成数据中类别不均衡、语义覆盖窄等问题。其学术意义在于揭示了属性引导能够显著提升生成数据的质量与代表性，从而改善下游分类模型的鲁棒性与公平性。这一工作为数据高效学习、领域自适应及模型偏见纠正等研究方向提供了坚实的实验基准与理论支撑。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，包括ReGen和ProGen等代表性方法。ReGen通过引入循环生成机制进一步优化了训练数据的多样性，而ProGen则探索了基于渐进式提示的策略以提升生成数据的任务相关性。这些工作共同推动了“大语言模型作为数据生成器”这一前沿方向的发展，并催生了关于数据质量评估、提示工程及模型偏见分析的持续讨论。该数据集也因此成为连接数据增强理论与实际应用的关键桥梁，激励着更多研究者探索属性驱动下的合成数据生成新范式。