polinaeterna/OpenOrca

OpenOrca数据集是一个增强的FLAN数据集合，目前包含约100万条GPT-4的完成数据和约320万条GPT-3.5的完成数据。该数据集按照Orca论文中提出的分布进行了表格化处理，目前代表了完整预期数据集的部分完成，正在进行生成以扩展其范围。该数据主要用于自然语言处理领域的训练和评估。

原始信息汇总

数据集概述

数据集简介

OpenOrca数据集是一个增强的FLAN数据集合，目前包含约100万条GPT-4完成和320万条GPT-3.5完成。该数据集与Orca论文中描述的分布尽可能一致，主要用于自然语言处理领域的训练和评估。

数据集属性

该数据集的贡献者包括Teknium、WingLian/Caseus、Eric Hartford等，以及AlignmentLab.ai的成员。特别感谢NanoBit和Caseus开发的Axolotl平台。

支持的任务和排行榜

该数据集支持多种任务，包括语言建模、文本生成和文本增强。它对于生成高性能模型检查点至关重要，这些模型在单元测试中表现出色。

语言

数据集主要使用英语。

数据集结构

数据实例

每个数据实例代表从FLAN集合中增强的条目，通过提交问题给GPT-4或GPT-3.5，并将响应输入到响应字段中。

数据字段

数据字段包括：

1. id：唯一编号标识符，包含niv、t0、cot或flan，表示问题来源的FLAN集合子集。
2. system_prompt：提供给GPT-3.5或GPT-4 API的系统提示。
3. question：FLAN集合提供的问题条目。
4. response：对问题的响应，来自GPT-3.5或GPT-4的查询。

数据分割

数据未分割。

数据集创建

创建理由

该数据集旨在为研究人员和开发者提供增强的文本数据源。数据点主要用于增强FLAN集合数据，利用GPT-3.5和GPT-4的详细推理能力。

源数据

数据生成遵循Orca论文中描述的分布，但有一些调整，例如使用了HuggingFace上托管的FLAN集合数据子集。

数据集使用

使用案例

该数据集可用于语言理解、自然语言处理、机器学习模型训练和模型性能评估。

使用注意事项

由于该数据集仍在进行中，建议定期检查更新。使用时应遵循Orca论文中的指南和建议。

入门指南

该数据集可通过Hugging Face数据集库直接加载，建议使用流式加载。

搜集汇总

数据集介绍

构建方式

OpenOrca数据集是对FLAN Collection数据进行增强的产物，其构建过程紧密遵循Orca论文中所描述的分布原则。具体而言，研究团队将FLAN Collection中的问题条目提交至GPT-3.5与GPT-4的API接口，获取其生成的详细推理轨迹作为回答，从而构建出包含约100万条GPT-4完成结果与320万条GPT-3.5完成结果的高质量语料库。数据以表格化形式组织，每个实例包含唯一标识符、系统提示、问题及模型响应四个字段，确保与原始分布的高度对齐。

特点

该数据集的核心特征在于其通过大规模语言模型生成的推理轨迹增强了原始FLAN数据，使得基于该数据训练的LLaMA-13B模型在复杂推理任务上能够媲美甚至超越GPT-3.5的性能，突破了此前百亿参数以下模型的性能瓶颈。数据集覆盖了对话、文本分类、问答、摘要、文本生成等多种任务类型，具有广泛的应用潜力。此外，其开源的特性与持续扩展的生成计划，为自然语言处理社区提供了动态更新的宝贵资源。

使用方法

用户可通过Hugging Face的datasets库直接加载该数据集，推荐使用流式加载方式以应对其庞大的文件体积。数据集适用于语言模型微调、指令调优、推理能力评估等场景，尤其适合需要复杂多步推理能力的任务。在使用时，建议参考Orca论文中的指导原则，并定期关注OpenOrca仓库的更新以获取最新数据。研究者可将其作为基准数据集，用于训练和评估各类自然语言处理模型的性能。

背景与挑战

背景概述

OpenOrca数据集由Alignment Lab AI团队于2023年创建，旨在复现并扩展微软Orca论文中提出的渐进式学习范式。该数据集以FLAN Collection为基础，通过调用GPT-3.5与GPT-4 API对原始指令数据进行增强，生成了约420万条包含详细推理轨迹的问答对。其核心研究问题在于探究大规模语言模型能否通过模仿强模型的逐步推理能力，在参数规模受限的条件下实现性能跃升。该数据集已催生出Mistral-7B-OpenOrca等多项突破性成果，其中7B参数模型首次在整体性能上超越所有低于30B的现有模型，证实了高质量推理数据对小型模型能力提升的关键作用。作为首个完全开源的大规模GPT增强推理数据集，OpenOrca为自然语言处理领域提供了可复现的研究基准，推动了开放科学在指令微调方向的发展。

当前挑战

该数据集面临的核心挑战在于解决小参数模型复杂推理能力不足的领域难题。传统观点认为百亿参数以下的模型在需要多步推理的硬任务上表现显著劣于大型模型，OpenOrca尝试通过注入GPT-4的思维链数据来弥合这一鸿沟。在构建过程中，团队遭遇了双重数据瓶颈：FLAN Collection中思维链数据量仅约7.5万条，远低于Orca论文声称的15万条零样本条目，同时官方推荐的FLAN子集存在约150万条数据缺口。这些数据分布偏差直接影响了最终数据集对原始论文的复现精度。此外，持续的数据生成工作面临计算资源与API调用成本的制约，如何在有限预算下保持生成质量与规模平衡，仍是该数据集扩展过程中的持续性挑战。

常用场景

经典使用场景

OpenOrca数据集最经典的使用场景在于对大型语言模型进行指令微调与推理能力增强。该数据集通过对FLAN Collection中的指令数据进行GPT-4与GPT-3.5的增强标注，生成了包含详细推理轨迹的高质量对话样本。研究者可基于此数据集训练模型，使其在复杂推理任务中展现出超越同等参数规模模型的卓越表现，尤其适用于需要逐步推理能力的自然语言理解与生成场景。

实际应用

在实际应用中，OpenOrca数据集推动了高效能对话系统的开发与部署。基于该数据集训练的Mistral-7B-OpenOrca模型在7B参数量级上实现了Llama2-70B-Chat 98%的性能，大幅降低了商业部署的计算成本。此外，LlongOrca系列模型通过16K长上下文支持，在文档分析、法律咨询等需要长文本理解的场景中展现出实用价值，为中小型企业提供了低成本、高性能的AI解决方案。

衍生相关工作

OpenOrca数据集催生了多个具有影响力的衍生工作。OpenOrca-Platypus2-13B作为首个超越LLaMA1-65B的13B模型，验证了数据增强与模型架构协同优化的有效性。OpenOrcaxOpenChat-Preview2-13B则超越了原始Orca论文报告的性能基准。这些工作共同构建了从数据构建到模型训练的开源技术栈，推动了Axolotl等训练框架的成熟，并为后续研究提供了可复现的基准与实验范式。