Weni/wenigpt-agent-sft-1.0.1

该数据集名为wenigpt-agent-sft-1.0.1，主要用于训练监督式微调（SFT）模型，专注于巴西葡萄牙语的问答（QA）任务。数据集通过改变代理的个性偏好、使用特定的指令和定义智能代理的具体目标来增强模型的个性化回答能力。数据集包含多个特征，如id、external_id、name、occupation等，并且提供了训练集的分割信息。此外，数据集还进行了改进，如人类对所有正面回答的审查和chatbot_goal列的更大变异性。

原始信息汇总

数据集概述

数据集名称

• 名称：wenigpt-agent-sft-1.0.1

数据集描述

• 用途：用于训练监督式微调（SFT）模型，专注于巴西葡萄牙语的问答任务。
• 特点：专注于调整代理的个性偏好，允许在提示中使用特定指令，并为智能代理定义特定目标。
• 版本改进：1.0.1版本相比前一版本有显著改进，包括对所有正面回答的人工审查和chatbot目标列的更高变异性。

数据集属性

• id: int64
• external_id: int64
• name: string
• occupation: string
• adjective: string
• chatbot_goal: string
• instructions: sequence: string
• content: string
• chunks_small: list
  • content: string
  • score: float64
• chunks_big: list
  • content: string
  • score: float64
• data_category: int64
• question: string
• answer: string

数据集分割

• train:
  • 数据量：9262884字节
  • 示例数：623

数据集大小

• 下载大小：2747469字节
• 数据集大小：9262884字节

数据集配置

• default:
  • 数据文件路径：data/train-*

搜集汇总

数据集介绍

构建方式

该数据集专为巴西葡萄牙语场景下基于监督微调（SFT）的问答任务而构建，旨在通过检索增强生成（RAG）提升模型对事实性答案的准确性。构建过程中，数据集从源数据集Weni/wenigpt-agent-1.4.0中提取原始样本，并引入多样化的智能体个性偏好，如通过名称、职业、形容词及具体目标（chatbot_goal）来定制每个交互的对话风格。所有正面答案（data_category=1）均经过人工审核，以确保答案的准确性与相关性。此外，为增强指令遵循能力，数据集包含了任务特定的指令（instructions）以及由语义搜索提取的两种粒度上下文切片（chunks_small与chunks_big），为模型提供丰富的检索语料支撑。

特点

该数据集最显著的特点在于其多维度的智能体个性化设计。每个样本包含名称、职业、形容词及智能体目标（chatbot_goal）等字段，使得模型能够在不同交互中展现差异化的回答风格与目标导向。版本1.0.1进一步优化了chatbot_goal的词汇熵与长度变异性，更贴近真实使用场景。数据集还通过data_category字段明确区分了三种问题-上下文关系：无上下文问题（类别0）、有上下文可回答的正向问题（类别1）以及需要特殊处理的敏感问题（类别2），为模型训练提供了清晰的质量分层。所有正向答案均经过人工审查，确保了数据的高质量与可靠性。

使用方法

该数据集主要适用于训练具有个性化风格的问答模型，尤其适合集成RAG管道的虚拟助手与客服聊天机器人场景。使用时，可将content字段作为检索语料库，结合chunks_small与chunks_big提供的语义检索结果，引导模型基于给定上下文生成答案。模型需根据question字段提出的问题，结合instructions指令与chatbot_goal目标，生成符合occupation与adjective所定义个性的回答。数据集以标准格式提供，支持直接加载默认训练集（train split），共623条样本，便于快速接入HuggingFace的Trainer或自定义微调流程，从而提升模型在事实性问答任务上的表现。

背景与挑战

背景概述

在自然语言处理领域，赋予对话系统以人格化特征与事实性回答能力已成为提升用户体验的关键方向。Weni/wenigpt-agent-sft-1.0.1 数据集由 Weni 团队于近期创建，专注于巴西葡萄牙语的问答任务，旨在通过监督微调训练模型，结合检索增强生成技术提高事实性回答的准确性。该数据集的核心研究问题在于如何平衡代理的人格偏好（如职业、形容词）与具体目标（如聊天机器人目标），同时确保回答在检索上下文中的扎实性。其创新之处在于引入了人工审核的正向答案与多样化的目标描述，为人格化问答系统提供了高质量训练资源，对巴西葡萄牙语领域的虚拟助手与客户支持聊天机器人研究具有重要推动作用。

当前挑战

该数据集面临的挑战首先体现在领域问题层面：在检索增强生成框架下，如何确保模型在面对上下文外问题（data_category=0）时仍能保持准确性与安全边界，同时处理敏感问题（data_category=2）时的特殊要求，这对模型的泛化能力构成显著考验。构建过程中，挑战集中于数据质量控制：虽已对正向答案进行人工审核，但负向与敏感类别的标注准确性仍需持续验证；此外，chunks_small 与 chunks_big 的语义检索切片粒度选择直接影响回答的扎根程度，而 chatbot_goal 的词汇熵变异性虽模拟了真实场景，却增加了训练中人格化特征与事实性目标协同优化的复杂度。

常用场景

经典使用场景

该数据集专为巴西葡萄牙语的问答任务设计，其核心应用在于通过监督微调优化基于检索增强生成（RAG）的模型。数据集中包含了丰富的agent个性偏好（如职业、形容词）和具体目标（chatbot_goal），使得模型能够在不同人格设定下生成符合上下文的回答。经典使用场景包括构建具备个性化风格的虚拟助手，使其在回答事实性问题时既能保持高准确性，又能根据用户需求调整语气与风格，从而提升人机交互的自然度与用户满意度。

解决学术问题

该数据集针对的核心学术问题是如何在低资源语言（巴西葡萄牙语）中提升RAG模型的回答准确性与鲁棒性。通过引入细粒度的数据分类（如in-context、out-of-context和sensitive三类），研究者可以系统性地评估模型在不同上下文关联度下的表现，并探索个性注入对生成质量的影响。此外，数据集中对chunks_small与chunks_big的分层设计，为研究检索粒度与生成质量之间的权衡提供了宝贵资源，推动了多语言RAG系统的理论发展。

衍生相关工作

该数据集衍生了一系列关于个性感知RAG系统的研究工作。例如，研究者基于其chatbot_goal字段的变异性，提出了动态个性调整策略，使模型能在对话中根据用户情绪切换回答风格。另一项经典工作利用data_category标签，开发了面向敏感问题的安全过滤机制，显著降低了模型生成不当内容的概率。此外，chunks_small与chunks_big的分层设计启发了多粒度检索融合方法，被后续研究广泛应用于跨语言问答系统，推动了巴西葡萄牙语NLP领域的发展。