nvidia/Daring-Anteater

Daring-Anteater是一个用于指令调优的综合数据集，涵盖了多种任务和场景。数据集主要由NVIDIA专有模型和Mixtral-8x7B-Instruct-v0.1生成，部分数据来源于FinQA、wikitablequestions和Open-Platypus的商业友好子集。数据集包含四列：conversations（用户和助手的对话轮次）、mask（不计算损失的轮次，默认为User）、system（系统提示）和dataset（数据来源）。数据混合的详细信息包括数据来源、样本数量和许可证。数据集的开源许可证为CC-BY-4.0，适用于商业用途。

原始信息汇总

数据集概述

数据集描述

Daring-Anteater 是一个用于指令调优的综合数据集，涵盖了广泛的任务和场景。该数据集主要通过 NVIDIA 专有模型和 Mixtral-8x7B-Instruct-v0.1 合成生成，其余样本来自 FinQA、wikitablequestions 和商业友好的 Open-Platypus 子集。

该数据集用于 HelpSteer2 论文，产生了一个用于进一步偏好调优的坚实 SFT 模型。我们开源此数据集以促进可重复性。

数据集结构

数据集包含四列：

1. conversations: 用户和助手对话的格式
2. mask: 不计算损失的轮次（默认为 "User"）
3. system: 系统提示
4. dataset: 数据源

数据来源详情

数据源	样本数量	许可
synthetic_conv	82450	CC-BY-4.0
synthetic_roleplay	2996	CC-BY-4.0
synthetic_math	3000	CC-BY-4.0
synthetic_precise_instruction_following	1500	CC-BY-4.0
synthetic_json_format_following	1499	CC-BY-4.0
synthetic_complex_instruction	1500	CC-BY-4.0
open_platypus_commercial	6000	CC-BY-4.0/Apache-2.0/MIT
FinQA	300	CC-BY-4.0
wikitablequestions	287	CC-BY-4.0

许可

我们开源了合成子集，并采用 CC-BY-4.0 许可。所有其他子集也采用宽松许可，只要遵守许可条款，数据集可用于商业目的。

引用

如果您发现此数据集有用，请引用以下作品： bibtex @misc{wang2024helpsteer2, title={HelpSteer2: Open-source dataset for training top-performing reward models}, author={Zhilin Wang and Yi Dong and Olivier Delalleau and Jiaqi Zeng and Gerald Shen and Daniel Egert and Jimmy J. Zhang and Makesh Narsimhan Sreedhar and Oleksii Kuchaiev}, year={2024}, eprint={2406.08673}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在指令微调领域，高质量数据集的构建是提升模型性能的关键。nvidia/Daring-Anteater数据集通过混合生成与筛选策略构建而成，其主体部分（约九万条样本）由NVIDIA专有模型与Mixtral-8x7B-Instruct-v0.1协同合成，覆盖对话、角色扮演、数学推理、精确指令遵循、JSON格式遵循及复杂指令等多样化场景。此外，数据集还整合了来自FinQA的金融问答、wikitablequestions的表格推理以及Open-Platypus中商业友好子集的精选样本，共计约九万八千条指令数据，确保领域广度与实用性。

特点

该数据集的核心特点在于其合成数据与真实数据的有机融合，兼顾了规模与多样性。合成部分通过精心设计的提示策略生成，增强了模型对复杂指令的理解与执行能力；而来自FinQA和wikitablequestions的少量真实样本则注入了金融与结构化数据推理的专业性。所有数据均采用统一的对话格式，包含用户与助手的多轮交互、损失掩码标记及系统提示，便于直接用于序列生成训练。此外，数据集采用CC-BY-4.0等宽松许可证，支持商业用途，为开源社区提供了可复现的指令微调基础。

使用方法

使用该数据集进行模型训练时，可直接加载其四列结构（conversations、mask、system、dataset）。建议将conversations列中的对话序列作为输入，利用mask列指定不参与损失计算的轮次（默认遮蔽用户话语），并结合system列提供的系统提示构建完整的训练上下文。该数据集适用于文本生成任务的监督微调，在HelpSteer2论文中已作为基础模型训练数据，并进一步用于偏好优化。用户可根据任务需求，按dataset列筛选特定子集，或直接使用完整混合数据以提升模型的通用指令遵循能力。

背景与挑战

背景概述

在自然语言处理领域，指令微调（Instruction Tuning）已成为提升大语言模型遵循用户意图能力的关键技术。NVIDIA研究团队于2024年发布的Daring-Anteater数据集，正是为应对这一需求而精心构建的综合资源。该数据集由Jiaqi Zeng等研究人员主导，依托HelpSteer2项目（arXiv:2406.08673）开发，旨在为开源社区提供高质量、商业友好的指令微调样本。数据集核心涵盖85000余条样本，其中绝大多数通过NVIDIA专有模型与Mixtral-8x7B-Instruct-v0.1合成生成，并融合了FinQA、wikitablequestions及Open-Platypus的许可子集。这一设计不仅覆盖对话、角色扮演、数学推理、精确指令遵循等多元场景，更通过其系统化的数据混合策略，为后续偏好优化训练奠定了坚实的监督微调基础，对推动可复现的指令微调研究产生了深远影响。

当前挑战

Daring-Anteater数据集面临的核心挑战体现在两个层面。其一，在解决领域问题上，指令微调数据集需应对模型对复杂、多步指令的理解与执行能力不足，以及跨任务泛化性薄弱的难题。现有模型常因训练数据覆盖场景有限，而难以应对角色扮演中的隐含约束或数学推理中的形式化要求。其二，在构建过程中，合成数据虽能大规模扩展样本多样性，却面临质量控制的严峻考验——如何确保NVIDIA专有模型与Mixtral-8x7B生成内容的准确性、无偏性及与真实用户需求的契合度，避免引入虚假关联或噪声。此外，从FinQA等外部源整合的少量真实样本，需在保持领域特异性的同时与合成数据无缝融合，这对数据配比与格式一致性提出了精细化的工程挑战。

常用场景

经典使用场景

Daring-Anteater数据集专为指令微调（Instruction Tuning）设计，其经典使用场景在于构建高性能的监督微调（SFT）模型。该数据集涵盖了对话生成、角色扮演、数学推理、精确指令遵循、JSON格式遵循以及复杂指令理解等多种任务，通过合成数据与精选真实数据（如FinQA和wikitablequestions）的巧妙融合，为大型语言模型提供了丰富且多样的训练样本，从而显著提升模型在多样化指令下的响应质量与泛化能力。

解决学术问题

该数据集有效解决了学术研究中指令微调数据稀缺与多样性不足的核心问题。通过使用NVIDIA专有模型和Mixtral-8x7B-Instruct-v0.1生成大规模合成数据，并补充商业友好的开源子集，Daring-Anteater为研究人员提供了一个可复现、高质量的训练资源。它推动了偏好调优（Preference Tuning）领域的发展，帮助学者们更系统地探索监督微调对奖励模型性能的影响，进而提升对齐技术的整体效果。

衍生相关工作

Daring-Anteater数据集衍生自HelpSteer2论文（arXiv:2406.08673），该论文利用此数据集训练出强大的SFT模型，进而用于奖励模型的偏好调优。这一工作为后续研究提供了基准，催生了一系列关于指令微调数据混合策略、合成数据质量评估以及模型对齐方法的深入探索。数据集的开源也促进了社区在可复现性方面的进步，成为相关领域（如指令遵循和角色扮演）进一步创新与比较的重要基石。