open-llm-leaderboard/details_ausboss__llama-30b-supercot

该数据集是在Open LLM Leaderboard上对模型ausboss/llama-30b-supercot进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集是从2次运行中创建的，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，名为results的配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载运行细节的示例。This dataset was automatically created during the evaluation of the model ausboss/llama-30b-supercot on the Open LLM Leaderboard. The dataset consists of 64 configurations, each corresponding to one evaluation task. The dataset is constructed from 2 runs, where each run is represented as a specific split under each configuration, with the split name using the timestamp of the run. The train split always points to the most recent results. Additionally, the configuration named `results` stores the aggregated results from all runs, which are used to calculate and display the aggregate metrics on the Open LLM Leaderboard. The README also provides examples of how to use the `load_dataset` function from the `datasets` library to load the run details.

原始信息汇总

数据集概述

该数据集是在评估模型 ausboss/llama-30b-supercot 在 Open LLM Leaderboard 上的自动创建的。数据集包含 64 个配置，每个配置对应一个评估任务。

数据集结构

• 配置数量: 64
• 创建来源: 2 次运行
• 数据分割: 每个配置包含特定运行的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新结果。
• 结果配置: 一个额外的 "results" 配置存储所有运行的聚合结果，用于计算和显示聚合指标在 Open LLM Leaderboard 上。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_ausboss__llama-30b-supercot", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-16T01:12:25.087238 运行的最新结果：

python { "all": { "em": 0.11619127516778524, "em_stderr": 0.0032817504432788346, "f1": 0.19070469798657516, "f1_stderr": 0.003401025373096678, "acc": 0.45967263712374484, "acc_stderr": 0.010077515646893735 }, "harness|drop|3": { "em": 0.11619127516778524, "em_stderr": 0.0032817504432788346, "f1": 0.19070469798657516, "f1_stderr": 0.003401025373096678 }, "harness|gsm8k|5": { "acc": 0.11902956785443518, "acc_stderr": 0.008919702911161629 }, "harness|winogrande|5": { "acc": 0.8003157063930545, "acc_stderr": 0.01123532838262584 } }

配置详情

• harness_arc_challenge_25

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|arc:challenge|25_2023-07-19T22:24:52.456650.parquet

• harness_drop_3

  • 分割: 2023_10_16T01_12_25.087238, latest
  • 路径: **/details_harness|drop|3_2023-10-16T01-12-25.087238.parquet

• harness_gsm8k_5

  • 分割: 2023_10_16T01_12_25.087238, latest
  • 路径: **/details_harness|gsm8k|5_2023-10-16T01-12-25.087238.parquet

• harness_hellaswag_10

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hellaswag|10_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: 多个路径，例如 **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_abstract_algebra_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_anatomy_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-anatomy|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_astronomy_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-astronomy|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-business_ethics|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_college_biology_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-college_biology|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-college_medicine|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_college_physics_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-college_physics|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_computer_security_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-computer_security|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_econometrics_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-econometrics|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-electrical_engineering|5_2023-07-19T22:24:52.456650.parquet

• harness_hendrycksTest_elementary_mathematics_5

  • 分割: 2023_07_19T22_24_52.456650, latest
  • 路径: **/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-19T22:24:52.456650.parquet

以上是数据集的详细概述，包括数据集的结构、加载示例、最新结果以及各个配置的详细信息。

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard为模型性能的量化评估提供了标准化平台。该数据集系针对模型ausboss/llama-30b-supercot在Open LLM Leaderboard上执行评估任务时自动生成，完整记录了评估过程的细节信息。数据集由64个配置项构成，每个配置项对应一项被评估的特定任务，覆盖了从常识推理到数学求解的多元评测维度。数据来自两次独立的运行，每次运行的结果被存储为对应配置下的独立分割（split），分割名称采用运行时间戳进行标识，而'train'分割则始终指向最新一次的评测结果。此外，数据集还包含一个名为'results'的独立配置，用于汇总所有运行的整体聚合指标，这些指标直接服务于Leaderboard上模型综合分数的计算与展示。

特点

该数据集最显著的特点在于其结构化与版本化设计，能够清晰追溯模型在不同时间点、不同任务上的表现演变。每个评测任务均拥有独立的配置，使得研究者可以按需聚焦于特定能力的分析，例如在harness_winogrande_5配置下考察模型的常识推理，或在harness_gsm8k_5配置下评估数学解题能力。数据集通过时间戳分割保留了历史运行记录，支持对模型性能的纵向对比，而'train'分割始终指向最新结果的设计则简化了持续追踪最新进展的操作。这种精细化的组织方式，不仅为模型开发者提供了详尽的调试信息，也为社区复现和验证评测结果提供了坚实的数据基础。

使用方法

研究者可通过HuggingFace的datasets库便捷地加载与使用该数据集。加载时需指定目标任务的配置名称以及所需的分割，例如通过load_dataset函数，传入数据集标识符'open-llm-leaderboard/details_ausboss__llama-30b-supercot'，并选择如'harness_winogrande_5'作为配置参数，再以'split="train"'获取最新运行结果。若需查阅历史数据，则可将split参数替换为对应的时间戳字符串。对于希望获取模型整体性能概览的用户，可直接访问'results'配置，其中包含了所有任务的聚合指标，如准确率（acc）及其标准误差。此外，原始评测结果的JSON文件同样存储在仓库中，支持直接下载与离线分析。

背景与挑战

背景概述

随着大规模语言模型在自然语言处理领域取得突破性进展，如何系统性地评估其多维能力成为学界与工业界的核心关切。Open LLM Leaderboard由HuggingFace团队于2023年发起，旨在构建一个透明、可复现的模型性能对比平台，其核心研究问题聚焦于如何通过标准化评测框架揭示不同架构与训练策略下模型的真实表现。针对ausboss/llama-30b-supercot这一基于LLaMA-30B的增强型模型，该数据集记录了其在ARC、DROP、GSM8K、HellaSwag及MMLU等65项子任务上的详细评测结果，覆盖常识推理、数学求解、阅读理解与多学科知识等关键维度。该数据集的创建不仅为SuperCOT等链式思维微调方法提供了量化验证，更通过公开评测日志推动了模型能力透明化与社区协作评估的范式演进。

当前挑战

该数据集所应对的领域挑战在于大模型评测的碎片化与不可复现性——传统单一指标难以反映模型在复杂推理、领域迁移与对抗样本下的真实鲁棒性，而各团队采用的自定义评测协议更导致结果难以横向比较。在构建过程中，团队面临多源异构任务整合的工程挑战，需将ARC、GSM8K等格式迥异的基准测试统一为可并行处理的Parquet格式，并设计64个独立配置以区分不同采样参数下的推理结果。时间戳分片机制虽保障了多轮评测的可追溯性，但如何在海量日志中高效定位最新结果并消除评估批次间的偏差，仍是维持排行榜公信力的持续技术难题。

常用场景

经典使用场景

在大型语言模型的评估生态中，open-llm-leaderboard/details_ausboss__llama-30b-supercot 数据集扮演着基准评测的枢纽角色。该数据集专为追踪和记录 llama-30b-supercot 模型在 Open LLM Leaderboard 上的多维度表现而设计，涵盖了 ARC、HellaSwag、MMLU、GSM8K 等经典推理与知识任务。其经典使用场景在于，研究者可通过加载特定任务配置（如 winogrande 或 gsm8k）的详细评估结果，复现模型在常识推理、数学解题或阅读理解等能力上的精确得分，从而进行模型间的横向比较与纵向迭代分析。

解决学术问题

此数据集直接回应了大规模语言模型评估中透明度与可复现性不足的学术困境。传统上，模型性能的宣称常缺乏细粒度的结果支撑，而该数据集通过结构化存储每次评估的完整日志与指标（如准确率、F1 分数及其标准误），使得学术界能够深入剖析模型在特定子任务上的表现优劣。它解决了“黑箱式”评估带来的验证难题，为理解模型能力的边界、诊断推理失败模式以及验证训练策略的有效性提供了坚实的数据基础，从而推动了更严谨的模型对比研究。

衍生相关工作

该数据集衍生了一系列围绕模型评估标准化与自动化的工作。其设计理念催生了更为细粒度的评估框架，如将单次运行结果拆分为多个配置，便于研究者按需分析特定任务。相关工作包括基于此数据构建的模型性能趋势可视化工具，以及利用其历史快照进行“评估泄露”检测的研究。此外，该数据集的结构化存储方式启发了后续工作，通过统一格式整合多模型、多轮次的评估结果，为元分析和大规模模型排行榜的构建提供了范本，促进了评估流程的工程化与社区协作。