open-llm-leaderboard/details_dvruette__oasst-llama-13b-2-epochs

该数据集是在模型dvruette/oasst-llama-13b-2-epochs在Open LLM Leaderboard上的评估运行期间自动创建的。数据集包含3个配置，每个配置对应一个评估任务，并且是从单次运行中创建的。每次运行都通过时间戳进行标识，并在每个配置中作为特定分割提供。train分割始终指向最新结果。另外，名为results的配置存储了运行中的所有聚合结果，并用于在Leaderboard上计算和显示聚合指标。可以使用Python中的datasets模块的load_dataset函数加载数据集。该数据集是在模型dvruette/oasst-llama-13b-2-epochs在Open LLM Leaderboard上的评估运行期间自动创建的。数据集包含3个配置，每个配置对应一个评估任务，并且是从单次运行中创建的。每次运行都通过时间戳进行标识，并在每个配置中作为特定分割提供。train分割始终指向最新结果。另外，名为results的配置存储了运行中的所有聚合结果，并用于在Leaderboard上计算和显示聚合指标。可以使用Python中的datasets模块的load_dataset函数加载数据集。

原始信息汇总

数据集卡片 for Evaluation run of dvruette/oasst-llama-13b-2-epochs

数据集描述

数据集概述

数据集是在模型 dvruette/oasst-llama-13b-2-epochs 的评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集由3个配置组成，每个配置对应一个评估任务。

数据集是从1次运行中创建的。每次运行可以在每个配置中找到特定的分割，分割名称使用运行的 timestamp。"train" 分割始终指向最新的结果。

额外的配置 "results" 存储了所有运行的聚合结果（用于计算和显示 Open LLM Leaderboard 上的聚合指标）。

加载运行细节的示例： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_dvruette__oasst-llama-13b-2-epochs", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-16T19:35:51.495118 运行的最新结果：

python { "all": { "em": 0.04299496644295302, "em_stderr": 0.002077330365557692, "f1": 0.10806732382550314, "f1_stderr": 0.0024113571936826787, "acc": 0.42569171474168144, "acc_stderr": 0.00971706467249931 }, "harness|drop|3": { "em": 0.04299496644295302, "em_stderr": 0.002077330365557692, "f1": 0.10806732382550314, "f1_stderr": 0.0024113571936826787 }, "harness|gsm8k|5": { "acc": 0.08263836239575435, "acc_stderr": 0.007584089220148114 }, "harness|winogrande|5": { "acc": 0.7687450670876085, "acc_stderr": 0.01185004012485051 } }

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评估框架下，针对dvruette/oasst-llama-13b-2-epochs模型进行自动化评测过程中生成的。其构建逻辑围绕三项典型任务展开，分别对应三个配置（config），即harness_drop_3、harness_gsm8k_5与harness_winogrande_5。每个配置中的评测数据均来源于唯一一次运行（run），并以时间戳命名分割（split），其中“train”分割始终指向最新一次的评估结果。此外，数据集额外包含一个名为“results”的配置，用于存储所有聚合指标，支撑排行榜上综合分数的计算与展示。

特点

该数据集的核心特点在于其结构化的层次组织与时效性追踪能力。通过将每次运行结果独立存储为时间戳分割，实现了对模型性能演变的精确回溯。同时，各任务配置与聚合结果配置的分离设计，既便于细粒度分析每个评估维度的表现，又为整体排名提供了统一的计算入口。数据以Parquet格式存储，兼具高效读取与跨平台兼容性。评测指标涵盖准确率（acc）、精确匹配率（em）及F1分数等，并附有标准误差（stderr），确保了结果统计的严谨性。

使用方法

使用者可通过Hugging Face的datasets库便捷加载数据。例如，调用load_dataset函数并指定数据集名称、目标任务配置（如harness_winogrande_5）以及分割标识（如“train”），即可获取最新评估的详细信息。若需查阅历史运行结果，则可通过对应时间戳的分割名称进行访问。聚合结果可通过“results”配置加载，便于快速复现排行榜上的综合得分。整个加载过程简洁高效，无需额外数据预处理步骤。

背景与挑战

背景概述

随着大规模语言模型（LLMs）的蓬勃发展，如何系统性地评估其多维度能力成为自然语言处理领域的核心议题。在此背景下，Hugging Face团队于2023年发起了Open LLM Leaderboard项目，旨在通过标准化基准测试追踪开源模型的进展。该数据集作为该项目的一部分，专门记录了dvruette/oasst-llama-13b-2-epochs模型的评估细节，该模型基于LLaMA-13B架构并在Open Assistant数据集上进行了两轮微调。由Clémentine Fourrier等人主导的这项工作，通过整合DROP、GSM8K和WinoGrande三项任务，系统考察了模型在阅读理解、数学推理和常识推理方面的表现。该数据集不仅为模型开发者提供了可复现的评估基准，更推动了开源LLM社区透明化竞争生态的形成。

当前挑战

该数据集所面临的挑战主要体现在两个层面。在领域问题层面，当前基准测试虽覆盖了多项核心能力，但面对语言模型日益复杂的应用场景，现有任务仍难以全面反映模型在长文本理解、多轮对话、多语言支持及知识时效性等方面的真实水平，评估体系的完备性亟待拓展。在构建过程中，数据集依赖单一时间点的评估运行，缺乏对模型性能随迭代变化的动态追踪机制；同时，不同任务间的难度差异导致指标解读存在歧义，例如WinoGrande准确率高达76.87%而GSM8K仅8.26%，这种悬殊表现使得综合评分难以客观反映模型整体能力，为后续的模型对比与优化方向选择带来了显著困难。

常用场景

经典使用场景

在大规模语言模型性能评估的浪潮中，该数据集作为Open LLM Leaderboard的自动生成产物，专门用于记录dvruette/oasst-llama-13b-2-epochs模型在多个基准任务上的推理细节。其经典使用场景在于，研究者可通过加载不同配置（如harness_winogrande_5）下的数据，复现模型在Winogrande、GSM8K及DROP等任务上的逐样本表现，从而深入分析模型在常识推理、数学解题与阅读理解等维度的能力边界。该数据集以标准化格式存储了单次评估运行的完整结果，为横向比较不同模型提供了可靠的数据基础。

实际应用

在实际应用层面，该数据集为模型选型与部署决策提供了量化依据。企业或研究团队在挑选适合特定场景的语言模型时，可依据此数据集中的多任务评估结果，权衡模型在推理速度与准确率之间的取舍。例如，若应用场景侧重常识推理（如智能客服），则可优先参考Winogrande子集的高准确率指标；若涉及数学问题求解，则需结合GSM8K的表现进行筛选。此外，该数据集还可用于自动化评估管道的搭建，通过定期更新最新运行结果，实现对生产环境中模型性能的持续监控与迭代优化。

衍生相关工作

该数据集衍生了一系列围绕大模型评估标准化的经典工作。其中，Open LLM Leaderboard本身作为评测平台，依托此类细粒度结果数据集，催生了多种模型性能可视化工具与排行榜聚合方法。研究者基于此数据集提出了针对不同任务难度的加权评估指标，以更公平地比较模型在复杂推理任务上的表现。此外，该数据集还启发了对评估结果噪声来源的分析，例如同一模型多次运行时的方差研究，进而推动了更稳定的评估协议设计。这些衍生工作共同构建了大模型社区中可信评估的基础设施。