open-llm-leaderboard/details_llama-anon__instruct-13b

该数据集是在模型 llama-anon/instruct-13b 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集由 64 个配置组成，每个配置对应一个被评估的任务。数据集是从 2 次运行中生成的，每次运行在每个配置中表示为特定的分割。train 分割始终指向最新的结果。一个名为 results 的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了如何使用 `datasets` 库中的 `load_dataset` 函数加载运行中的详细信息的示例。

This dataset was automatically created during the evaluation run of the model llama-anon/instruct-13b on the Open LLM Leaderboard. The dataset consists of 64 configurations, each corresponding to one evaluated task. The dataset is generated from 2 runs, where each run is represented as a specific split within each configuration. The `train` split always points to the most recent results. An additional configuration named `results` stores the aggregated results across all runs, which are used to calculate and display the aggregate metrics on the Open LLM Leaderboard. The README also provides examples of how to use the `load_dataset` function from the `datasets` library to load detailed information from the runs.

原始信息汇总

数据集概述

数据集名称

• Evaluation run of llama-anon/instruct-13b

数据集描述

• 该数据集是在模型 llama-anon/instruct-13b 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集组成

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中作为一个特定的分片找到，分片名称使用运行的时间戳。
• "train" 分片始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示聚合指标在 Open LLM Leaderboard 上。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_llama-anon__instruct-13b", "harness_winogrande_5", split="train")

最新结果

• 这些是最新结果（来自 2023-09-17T02:24:06.962063 运行）： python { "all": { "em": 0.31438758389261745, "em_stderr": 0.004754574768123327, "f1": 0.3769809144295322, "f1_stderr": 0.004680725874888402, "acc": 0.37917019961428294, "acc_stderr": 0.00825067276736675 }, "harness|drop|3": { "em": 0.31438758389261745, "em_stderr": 0.004754574768123327, "f1": 0.3769809144295322, "f1_stderr": 0.004680725874888402 }, "harness|gsm8k|5": { "acc": 0.022744503411675512, "acc_stderr": 0.004106620637749704 }, "harness|winogrande|5": { "acc": 0.7355958958168903, "acc_stderr": 0.012394724896983799 } }

配置详情

• harness_arc_challenge_25

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|arc:challenge|25_2023-07-19T18:48:36.816075.parquet

• harness_drop_3

  • 分片：2023_09_17T02_24_06.962063, latest
  • 路径：**/details_harness|drop|3_2023-09-17T02-24-06.962063.parquet

• harness_gsm8k_5

  • 分片：2023_09_17T02_24_06.962063, latest
  • 路径：**/details_harness|gsm8k|5_2023-09-17T02-24-06.962063.parquet

• harness_hellaswag_10

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hellaswag|10_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：多个路径，例如 **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_abstract_algebra_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_anatomy_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_astronomy_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_business_ethics_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_college_biology_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_college_medicine_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_college_physics_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_computer_security_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_econometrics_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-electrical_engineering|5_2023-07-19T18:48:36.816075.parquet

• harness_hendrycksTest_elementary_mathematics_5

  • 分片：2023_07_19T18_48_36.816075, latest
  • 路径：**/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-19T18:48:36.816075.parquet

以上是数据集的详细概述，包括数据集名称、描述、组成、加载示例、最新结果以及各个配置的详细信息。

搜集汇总

数据集介绍

构建方式

该数据集源于对llama-anon/instruct-13b模型在Open LLM Leaderboard上的自动化评估流程。系统通过多次运行评测任务，将每次评估的详细结果以Parquet格式存储，共形成64个配置，每个配置对应一个特定的评测任务。每个运行轮次均被记录为一个独立的数据分割，并以时间戳命名，而“train”分割则始终指向最新一次的评估结果。此外，还设有“results”配置，用于汇总并存储所有运行轮次的聚合指标，以支持排行榜的最终计算与展示。

特点

数据集最显著的特征在于其结构化的多配置设计，能够精细地反映模型在不同任务上的表现细节。每个配置均包含按时间戳区分的多个数据分割，便于追踪模型性能的演变轨迹。同时，“train”分割的自动更新机制确保了用户总能访问到最新的评测数据。这种设计不仅增强了数据的历史可追溯性，也为模型迭代提供了纵向对比的便利，使得性能波动与优化效果一目了然。

使用方法

用户可通过HuggingFace的datasets库便捷地加载所需数据。例如，调用load_dataset函数并指定数据集名称、任务配置名（如“harness_winogrande_5”）以及所需的分割（如“train”），即可获取特定任务的详细评估结果。该数据集支持灵活的任务筛选与版本回溯，适用于模型性能分析、排行榜复现以及不同时间点结果的比较研究，为语言模型的评估与改进提供了坚实的数据基础。

背景与挑战

背景概述

在大型语言模型（LLM）蓬勃发展的时代，如何系统、公正地衡量模型能力成为核心议题。Open LLM Leaderboard应运而生，由Hugging Face团队（主要联系人Clementine）于2023年创建，旨在为社区提供一个标准化、透明的模型评估平台。该数据集记录了模型llama-anon/instruct-13b在排行榜上的详细评测结果，覆盖ARC、HellaSwag、MMLU、GSM8K、Winogrande及DROP等多项经典基准任务。通过存储每次运行的细粒度性能指标（如准确率、F1分数及其标准误差），该数据集不仅揭示了指令微调模型在推理、常识与数学等多维度的表现，更推动了LLM评估范式的统一与可复现性，对模型比较与迭代优化产生了深远影响。

当前挑战

该数据集所应对的核心挑战在于解决LLM评测中标准缺失与结果不可比的问题。领域层面，不同任务（如DROP的精确匹配与GSM8K的数学推理）对模型能力的要求迥异，单一指标难以全面反映模型优劣，而该数据集通过多任务、多指标聚合提供了综合视角。构建过程中，挑战在于确保评测流程的自动化与一致性：每次运行需严格对齐任务配置（如样本数量与提示格式），并处理因时间推移导致的版本差异（如2023年7月与9月两次运行）。此外，面对海量结果（如MMLU的57个子任务），数据存储与版本管理（如使用Parquet格式与时间戳分割）亦需精巧设计，以支持高效查询与结果复现。

常用场景

经典使用场景

在大型语言模型的评估领域，该数据集作为Open LLM Leaderboard的标准化评测记录，承载了对llama-anon/instruct-13b模型在多项基准任务上的细粒度表现。其经典使用场景在于通过加载特定任务配置（如harness_winogrande_5），研究者能够获取模型在常识推理、数学求解、文本理解等维度的逐项得分与置信区间，从而系统性地剖析模型能力的优势与短板。这种结构化评估数据为模型迭代提供了可复现的量化依据。

衍生相关工作

该数据集衍生了一系列围绕大模型能力图谱构建与动态监控的经典工作。例如，研究者基于其多任务评测结果开发了模型性能雷达图，用以可视化不同架构的优劣势；另有工作利用该数据的时间戳分割特性，追踪模型在不同训练阶段的能力演化轨迹。此外，该数据集还催生了自动化评测流水线的优化研究，如通过分析评测日志中的标准差与置信区间，改进少样本提示策略的稳定性评估方法。

数据集最近研究

最新研究方向

在大型语言模型评测领域，Open LLM Leaderboard 已成为衡量模型综合能力的关键基准平台。该数据集记录了 llama-anon/instruct-13b 模型在多个任务上的详细评估结果，涵盖 ARC、HellaSwag、MMLU 等经典基准，以及 DROP、GSM8K 等复杂推理任务。最新研究趋势聚焦于通过细粒度评测揭示模型在数学推理、常识理解与多领域知识上的能力边界，例如 GSM8K 上仅 2.27% 的准确率凸显了指令微调模型在数学问题求解上的显著短板。这类数据集为社区提供了透明、可复现的评测框架，推动了模型性能的横向对比与迭代优化，成为理解大模型能力演进与局限性不可或缺的实证基础。