BaSalam/entity-attribute-dataset-GPT-3.5-generated-v1

Entity Attribute Dataset 306k (GPT-3.5生成)数据集设计用于指令微调，特别是基于产品标题生成结构化目录的JSON格式。数据集包含来自多个类别的产品，如食品、家居和厨房、服装、手工艺品、工具、汽车设备等。数据集的语言为波斯语（fa），包含一个训练集，数据字段包括instruction和output。数据集的创建目的是帮助生成结构化产品目录，适用于电子商务平台和库存管理。数据集是使用GPT-3.5基于专家提供的指令和指南生成的。

原始信息汇总

数据集概述

基本信息

• 名称: entity-attributes-GPT3.5-generated-306k-v1
• 大小类别: 100K<n<1M
• 许可: apache-2.0
• 语言: 波斯语 (fa)
• 任务类别:
  • 文本生成
  • 特征提取
  • 文本到文本生成

数据集结构

数据字段

• instruction: 包含产品标题和描述的提示信息。
• output: 包含产品实体和属性的JSON对象，格式为 {attributes: {attribute_name : <attribute value:str>, ...}, product_entity: <product entity:str>}。

数据分割

• 训练集:
  • 示例数量: 306325
  • 字节数: 306290188

数据集用途

• 用于指令微调，特别是生成基于产品标题的结构化JSON格式目录。
• 已用于微调模型，如Llama2-7b-entity-attr-v1。

数据集创建

• 目的: 协助生成结构化产品目录，适用于电子商务平台和库存管理。
• 来源: 使用GPT-3.5根据专家提供的指令和指南生成。

搜集汇总

数据集介绍

构建方式

在电子商务与自然语言处理交叉领域，结构化产品目录的自动生成是提升供应链效率的关键技术。该数据集基于GPT-3.5模型，由领域专家提供指令与标注规范，通过大规模提示工程生成306,325条波斯语样本。每条样本包含产品标题与描述作为指令输入，输出为遵循预定义JSON架构的结构化实体-属性对，涵盖食品、家居、服饰、工具及汽车配件等多品类商品。数据构建过程强调实体与属性关系的精确映射，旨在为监督式微调提供高质量训练资源。

使用方法

该数据集专为指令微调场景设计，可直接用于基于Transformer架构的文本生成模型训练。典型应用流程包括：将'instruction'字段作为模型输入，'output'字段作为目标输出，通过监督式微调（SFT）阶段优化模型参数。已成功应用于Llama2-7B模型的领域适配，相关代码与训练管线在GitHub仓库中开源。研究者可将其作为领域预训练数据，或与通用指令数据集混合使用以增强电子商务场景下的结构化输出能力。

背景与挑战

背景概述

在自然语言处理与电子商务深度融合的背景下，结构化产品目录的自动生成成为提升库存管理与用户检索效率的关键技术。BaSalam/entity-attribute-dataset-GPT-3.5-generated-v1数据集由BaSalam团队于2023年创建，旨在通过指令微调范式，将非结构化的产品标题与描述转化为规范的JSON格式实体属性信息。该数据集包含约30.6万条波斯语样本，覆盖食品、家居、服饰、手工艺品、工具及汽车设备等多品类商品，其构建依托GPT-3.5生成能力与领域专家指导的提示设计，为低资源语言波斯语的电商智能处理提供了重要基础资源。基于该数据集微调的Llama2-7b模型已在结构化目录生成任务中展现出显著性能，推动了面向波斯语电商场景的指令微调研究发展。

当前挑战

该数据集面临的核心挑战包括：其一，领域问题层面，商品属性抽取需应对波斯语特有的形态复杂性与一词多义现象，且多品类跨度要求模型具备跨域泛化能力，而现有微调模型在长尾商品或罕见属性值上的表现仍不稳定；其二，构建过程中，依赖GPT-3.5生成数据虽降低了人工标注成本，但模型输出可能存在格式偏差、属性遗漏或实体误判等问题，需通过专家规则与后处理流程进行清洗，然而该数据集未公开明确的验证与过滤机制；此外，单一语言（波斯语）特性限制了其跨语言迁移能力，且缺乏针对属性值层级结构的标注，难以支撑更细粒度的目录生成需求。

常用场景

经典使用场景

在自然语言处理与电子商务交叉领域，结构化信息抽取始终是核心挑战之一。该数据集专为指令微调设计，其经典使用场景在于基于商品标题与描述，利用大语言模型生成标准化的JSON格式实体属性目录。通过提供涵盖食品、家居、服饰、手工艺品、工具及汽车配件等多品类的海量训练样本，研究者能够有效将非结构化的产品文本转化为机器可读的结构化数据，从而显著提升电商平台中商品信息的组织效率与检索精度。

解决学术问题

学术研究中，如何从自由文本中准确提取实体及其属性始终是信息抽取领域的难点。该数据集系统性地解决了面向波斯语商品文本的细粒度结构化抽取问题，为低资源语言下的指令微调提供了大规模、高质量的监督信号。其意义在于验证了通过GPT-3.5生成的合成数据在复杂结构化任务中的有效性，推动了少样本与零样本学习在电商场景下的理论进展，并为后续跨语言实体属性抽取研究奠定了数据基础。

实际应用

实际应用中，该数据集直接服务于电商平台的自动化商品目录构建与库存管理系统。通过微调后的语言模型，企业能够将海量、杂乱的商品标题与描述自动转化为包含产品实体名称及各类属性（如颜色、尺寸、材质）的JSON结构化数据，极大降低了人工标注成本。此外，该能力可无缝集成至搜索推荐、价格比较与供应链优化等环节，为消费者提供更为精准的商品筛选体验，并赋能中小商家实现数字化库存管理。

数据集最近研究

最新研究方向

当前，随着大型语言模型在垂直领域的应用不断深化，结构化信息抽取与指令微调成为自然语言处理的前沿热点。该数据集聚焦于波斯语电商场景，利用GPT-3.5生成超过30万条包含产品标题与描述的指令-输出对，旨在将非结构化文本转化为标准化的实体-属性JSON目录。这一研究方向紧密关联智能供应链管理与商品知识图谱构建，通过监督微调如Llama2等开源模型，显著提升了模型对多品类商品（如食品、家居、服饰等）的属性识别与结构化输出能力。在电商全球化与多语言服务需求激增的背景下，该数据集填补了低资源语言在结构化目录生成领域的空白，为自动化商品分类、库存优化及个性化推荐提供了关键数据支撑，具有推动波斯语区域数字商业基础设施升级的重要实践意义。