open-llm-leaderboard-old/details_garage-bAInd__Stable-Platypus2-13B

该数据集是在Open LLM Leaderboard上对模型garage-bAInd/Stable-Platypus2-13B进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果存储为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，并用于在Open LLM Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型 garage-bAInd/Stable-Platypus2-13B 在 Open LLM Leaderboard 上的自动创建的。数据集包含64个配置，每个配置对应一个评估任务。

数据集结构

• 配置数量：64个配置
• 数据来源：从2次运行中创建
• 数据分割：每个配置包含特定运行的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新结果。
• 结果汇总：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_garage-bAInd__Stable-Platypus2-13B", "harness_winogrande_5", split="train")

最新结果

以下是 2023-09-17T23:47:31.962394 运行的最新结果： python { "all": { "em": 0.37531459731543626, "em_stderr": 0.004958702554959804, "f1": 0.45221476510067204, "f1_stderr": 0.004729347386559949, "acc": 0.39347033490847444, "acc_stderr": 0.00776582600946219 }, "harness|drop|3": { "em": 0.37531459731543626, "em_stderr": 0.004958702554959804, "f1": 0.45221476510067204, "f1_stderr": 0.004729347386559949 }, "harness|gsm8k|5": { "acc": 0.01819560272934041, "acc_stderr": 0.003681611894073872 }, "harness|winogrande|5": { "acc": 0.7687450670876085, "acc_stderr": 0.011850040124850508 } }

配置详情

• harness_arc_challenge_25

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|arc:challenge|25_2023-08-09T15:52:34.927040.parquet

• harness_drop_3

  • 分割：2023_09_17T23_47_31.962394, latest
  • 路径：**/details_harness|drop|3_2023-09-17T23-47-31.962394.parquet

• harness_gsm8k_5

  • 分割：2023_09_17T23_47_31.962394, latest
  • 路径：**/details_harness|gsm8k|5_2023-09-17T23-47-31.962394.parquet

• harness_hellaswag_10

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hellaswag|10_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：多个路径，例如 **/details_harness|hendrycksTest-abstract_algebra|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_abstract_algebra_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_anatomy_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_astronomy_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_college_biology_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_college_physics_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_computer_security_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_econometrics_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-electrical_engineering|5_2023-08-09T15:52:34.927040.parquet

• harness_hendrycksTest_elementary_mathematics_5

  • 分割：2023_08_09T15_52_34.927040, latest
  • 路径：**/details_harness|hendrycksTest-elementary_mathematics|5_2023-08-09T15:52:34.927040.parquet

以上是数据集的详细概述，包括数据集的简介、结构、加载示例、最新结果以及各个配置的详细信息。

搜集汇总

数据集介绍

构建方式

在大型语言模型评估的广阔领域中，该数据集作为Open LLM Leaderboard对garage-bAInd/Stable-Platypus2-13B模型进行评测的产物而诞生。其构建过程围绕64个独立配置展开，每个配置对应一项被评估的任务，涵盖了从常识推理到数学求解的多元场景。数据源自两次独立的运行，每次运行的结果被组织为特定时间戳命名的分割，而“train”分割则始终指向最新一轮的评测数据。此外，一个名为“results”的额外配置被设立，用于汇聚所有运行的聚合指标，为排行榜上最终得分的计算与展示提供支撑。这种设计确保了数据结构的层次分明与时间维度的可追溯性。

特点

该数据集最显著的特征在于其精细化的任务划分与版本管理机制。64个配置全面覆盖了诸如ARC挑战、DROP、GSM8K、HellaSwag及涵盖57个学科的HendrycksTest等基准测试，展现了评估维度的广度与深度。每一次运行都作为独立分割被永久保存，使得研究者能够回溯不同时间点模型的性能变化。同时，“latest”分割的存在简化了获取最新结果的操作。这种既保留历史快照又提供最新数据的双重结构，为模型迭代过程中的性能追踪与对比分析提供了可靠的数据基础。

使用方法

使用该数据集时，研究者可通过Hugging Face的datasets库便捷加载。具体而言，通过load_dataset函数指定数据集名称及目标配置，例如“harness_winogrande_5”，并选择所需的分割（如“train”以获取最新结果），即可获取对应任务的详细评测数据。每个配置下的数据以Parquet格式存储，适合高效处理。此外，通过访问“results”配置，用户能够直接获取所有任务的聚合指标，从而快速评估模型的整体表现。这种加载方式简洁直观，为后续的模型性能分析或排行榜复现提供了标准化的接口。

背景与挑战

背景概述

在大型语言模型（LLMs）蓬勃发展的浪潮中，如何系统、公允地评估模型在多样化任务上的表现，成为推动该领域进步的核心议题。Open LLM Leaderboard 作为一个开放式的评估平台，旨在通过标准化流程量化不同模型的综合能力。该数据集正是针对模型 garage-bAInd/Stable-Platypus2-13B 在 2023 年 8 月至 9 月间进行的两次评估运行的产物，由 Hugging Face 团队（联系人 Clémentine Fourrier）主导创建。其核心研究问题在于，通过涵盖常识推理（如 Winogrande）、数学解题（GSM8K）、阅读理解（DROP）及多学科知识（MMLU）等任务的细粒度评测，揭示该 130 亿参数模型在复杂推理与知识应用上的真实水平。该数据集不仅为 Stable-Platypus2-13B 提供了可复现的基准表现记录，更作为 Leaderboard 生态的一环，推动了模型评估的透明化与社区协作。

当前挑战

该数据集所应对的领域挑战在于，大型语言模型在零样本或少样本场景下，面对诸如数学推理（GSM8K 上仅 1.82% 的准确率）和开放式问答（DROP 中 F1 分数为 45.22%）等任务时，仍存在显著的性能瓶颈，凸显了模型在符号计算与长文本信息抽取方面的不足。构建过程本身亦面临多重挑战：其一，评估配置多达 64 种，涵盖从基础学科到专业领域的海量子任务，需确保数据加载与评分逻辑的精确对齐；其二，因多次运行的时间戳不同，需维护复杂的版本管理（如各 split 的命名与路径映射），以避免结果混淆；其三，跨任务指标（如准确率与 F1 分数）的聚合与标准化计算，要求底层 Harness 框架具备高鲁棒性，以应对不同任务格式的差异。

常用场景

经典使用场景

在大规模语言模型迅猛发展的背景下，Open LLM Leaderboard评测数据集为Stable-Platypus2-13B等模型的性能评估提供了标准化框架。该数据集的核心使用场景在于通过统一的评测配置，涵盖ARC挑战赛、HellaSwag常识推理、MMLU多学科知识、GSM8K数学推理及Winogrande指代消解等任务，实现对模型在推理、知识储备与语言理解等多维度能力的量化剖析。研究者可借助该数据集，在相同条件下横向对比不同模型的泛化能力与鲁棒性，从而精准定位模型优势与短板。

实际应用

在实际应用中，该数据集为模型部署前的性能筛选提供了关键参考。开发团队可依据其在GSM8K、Winogrande等任务上的得分，快速评估模型在教育辅导、智能问答或文本理解等场景下的适用性。例如，Winogrande的高准确率表明模型在指代消解任务上表现优异，可优先用于需要精准理解上下文语义的对话系统。同时，该数据集的结果也为模型微调方向提供了数据驱动的决策支持，助力企业降低试错成本并加速产品落地。

衍生相关工作

基于该评测数据集，衍生出一系列旨在提升模型性能的经典工作。例如，研究者利用其暴露的数学推理短板，开发了针对性的链式思维微调方法，显著提升了GSM8K得分。此外，该数据集的细粒度任务配置也启发了多任务学习框架的设计，通过联合训练不同难度的评测任务来增强模型的通用能力。这些工作不仅验证了该数据集作为评估基准的有效性，还推动了评测驱动的研究范式，使模型优化过程更加系统化和可量化。