open-llm-leaderboard-old/details_google__gemma-7b

该数据集是在评估模型google/gemma-7b时自动创建的，主要用于在Open LLM Leaderboard上展示模型的性能。数据集包含63个配置，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为一个特定的分割存储，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和展示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集名称

• 名称: Evaluation run of google/gemma-7b

数据集组成

• 配置数量: 63个配置
• 每个配置对应: 一个评估任务
• 创建来源: 从2次运行中创建
• 分割命名: 使用运行的时间戳
• 最新结果: "train"分割指向最新结果

额外配置

• "results"配置: 存储所有运行结果的聚合，用于计算和显示在Open LLM Leaderboard上的聚合指标

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_google__gemma-7b", "harness_winogrande_5", split="train")

最新结果

• 最新结果来源: 从2024-02-23T18:01:00.586646运行中获取
• 结果示例: python { "all": { "acc": 0.6580452433778683, "acc_stderr": 0.03198812334565303, "acc_norm": 0.662225563457007, "acc_norm_stderr": 0.03262216078960403, "mc1": 0.30966952264381886, "mc1_stderr": 0.016185744355144912, "mc2": 0.4490548840372056, "mc2_stderr": 0.014654652028381131 }, "harness|arc:challenge|25": { "acc": 0.5708191126279863, "acc_stderr": 0.014464085894870653, "acc_norm": 0.6109215017064846, "acc_norm_stderr": 0.014247309976045607 }, "harness|hellaswag|10": { "acc": 0.622087233618801, "acc_stderr": 0.0048387473057833474, "acc_norm": 0.8247361083449513, "acc_norm_stderr": 0.0037941565512722643 }, ... }

配置详情

• 配置名称: harness_arc_challenge_25

  • 数据文件:
    • 分割: 2024_02_16T08_54_11.990054
      • 路径: **/details_harness|arc:challenge|25_2024-02-16T08-54-11.990054.parquet
    • 分割: 2024_02_23T18_01_00.586646
      • 路径: **/details_harness|arc:challenge|25_2024-02-23T18-01-00.586646.parquet
    • 分割: latest
      • 路径: **/details_harness|arc:challenge|25_2024-02-23T18-01-00.586646.parquet

• 配置名称: harness_gsm8k_5

  • 数据文件:
    • 分割: 2024_02_16T08_54_11.990054
      • 路径: **/details_harness|gsm8k|5_2024-02-16T08-54-11.990054.parquet
    • 分割: 2024_02_23T18_01_00.586646
      • 路径: **/details_harness|gsm8k|5_2024-02-23T18-01-00.586646.parquet
    • 分割: latest
      • 路径: **/details_harness|gsm8k|5_2024-02-23T18-01-00.586646.parquet

• 配置名称: harness_hellaswag_10

  • 数据文件:
    • 分割: 2024_02_16T08_54_11.990054
      • 路径: **/details_harness|hellaswag|10_2024-02-16T08-54-11.990054.parquet
    • 分割: 2024_02_23T18_01_00.586646
      • 路径: **/details_harness|hellaswag|10_2024-02-23T18-01-00.586646.parquet
    • 分割: latest
      • 路径: **/details_harness|hellaswag|10_2024-02-23T18-01-00.586646.parquet

• 配置名称: harness_hendrycksTest_5

  • 数据文件:
    • 分割: 2024_02_16T08_54_11.990054
      • 路径:
        • **/details_harness|hendrycksTest-abstract_algebra|5_2024-02-16T08-54-11.990054.parquet
        • **/details_harness|hendrycksTest-anatomy|5_2024-02-16T08-54-11.990054.parquet
        • **/details_harness|hendrycksTest-astronomy|5_2024-02-16T08-54-11.990054.parquet
        • ...
    • 分割: 2024_02_23T18_01_00.586646
      • 路径:
        • **/details_harness|hendrycksTest-abstract_algebra|5_2024-02-23T18-01-00.586646.parquet
        • **/details_harness|hendrycksTest-anatomy|5_2024-02-23T18-01-00.586646.parquet
        • **/details_harness|hendrycksTest-astronomy|5_2024-02-23T18-01-00.586646.parquet
        • ...
    • 分割: latest
      • 路径:
        • **/details_harness|hendrycksTest-abstract_algebra|5_2024-02-23T18-01-00.586646.parquet
        • **/details_harness|hendrycksTest-anatomy|5_2024-02-23T18-01-00.586646.parquet
        • **/details_harness|hendrycksTest-astronomy|5_2024-02-23T18-01-00.586646.parquet
        • ...

搜集汇总

数据集介绍

构建方式

在大型语言模型的评测生态中，Open LLM Leaderboard 为模型性能的标准化评估提供了重要平台。该数据集正是在此背景下，针对 Google 发布的 Gemma-7b 模型，在 Leaderboard 上进行自动化评估运行时所生成的。其构建方式具有高度的结构化特征：数据集涵盖了 63 个配置项，每一个配置精确对应一项被评估的任务。整个数据集来源于两次独立的运行，每次运行的结果被组织为一个独立的数据分割（split），并以运行的时间戳命名，而统一的“train”分割则始终指向最新一次运行的结果。此外，数据集还包含一个名为“results”的独立配置，用于存储所有任务的聚合指标，这些聚合数据正是 Leaderboard 上展示模型综合性能的直接来源。数据以 Parquet 格式存储，确保了大规模评测数据的高效存取与处理。

特点

该数据集最显著的特点在于其精细化的任务分解与版本化管理机制。63 个配置项覆盖了从常识推理（如 ARC Challenge、HellaSwag）到数学推理（GSM8K），再到涵盖数十个学科领域的 MMLU（HendrycksTest）等广泛且具有挑战性的基准测试，全面刻画了 Gemma-7b 模型在语言理解、知识掌握与逻辑推理等多维度的能力。每个任务配置下，都保留了多次运行的历史快照，这种设计使得研究者能够追溯模型性能的演变轨迹，进行细致的比较分析。同时，数据集中记录的评估指标不仅包括基础的准确率（acc），还提供了标准误差（acc_stderr）等统计量，为量化评估的可靠性提供了科学依据。这种结构化的数据组织方式，为深入分析模型在不同任务上的表现优劣提供了无可比拟的便利。

使用方法

研究者可以通过 HuggingFace 的 datasets 库轻松加载并利用该数据集进行深入分析。加载时需指定具体的任务配置名称，例如 'harness_winogrande_5'，并通过 'split' 参数选择特定时间戳的运行结果或始终指向最新结果的 'train' 分割。这种设计允许用户灵活地获取特定评估轮次下的详细模型输出与指标。对于进行元分析或复现 Leaderboard 结果的场景，可以直接访问 'results' 配置，其中包含了所有任务的聚合指标 JSON 文件。通过对比不同时间戳分割下的数据，可以系统性地研究模型性能的稳定性与迭代改进效果，为模型开发与优化提供坚实的数据支撑。

背景与挑战

背景概述

在大型语言模型（LLM）迅猛发展的浪潮中，如何客观、全面地评估模型性能成为学术界与工业界共同关注的焦点。Open LLM Leaderboard由HuggingFace团队于2023年创建，旨在通过标准化基准测试推动模型能力的透明化比较。该数据集专为评估Google于2024年2月发布的Gemma-7b模型而生，由Clémentine Fourrier等研究人员主导，涵盖63个任务配置，包括ARC-Challenge、HellaSwag、MMLU（涵盖57个学科）及GSM8K等核心评测。其核心研究问题在于系统量化Gemma-7b在常识推理、数学求解、多领域知识掌握等方面的表现，为后续模型优化提供可靠参照。作为开源社区广泛引用的基准，该数据集不仅加速了LLM的可复现性研究，更通过细粒度结果（如各学科准确率与标准误）揭示了模型在不同认知维度上的优劣，对理解小规模高效模型的边界具有里程碑意义。

当前挑战

该数据集所解决的领域问题在于构建多维度、高覆盖的LLM评估体系，尤其针对Gemma-7b这类中等规模模型在复杂推理与知识迁移上的能力短板。具体挑战包括：1）任务多样性带来的评估一致性难题——需在57个MMLU子学科及5个核心基准间平衡难度与区分度，避免单一指标误导模型能力认知；2）模型输出波动性——同一任务在不同运行轮次（如2024-02-16与2024-02-23）的结果差异需通过多次运行取聚合值以降低随机性；3）数据构建中的版本管理挑战——63个配置对应不同时间戳的评测结果，需设计清晰的拆分机制（如latest指向最新轮次）确保可复现性；4）长尾学科（如college_physics准确率仅40.2%）的评测信度问题，小样本任务（如abstract_algebra仅5-shot）的标准误高达4.6%，要求后续扩充样本量以提升统计显著性。

常用场景

经典使用场景

该数据集记录了Google Gemma-7b模型在Open LLM Leaderboard上的完整评估过程，涵盖了63个不同任务的配置，包括ARC挑战、HellaSwag、GSM8K、MMLU以及TruthfulQA等经典基准测试。研究人员可通过加载特定任务的配置与分割，获取模型在每一次运行中的详细推理结果，从而深入分析模型在常识推理、数学计算、知识理解与事实性判断等多维能力上的表现。这一数据集为比较不同大型语言模型的性能提供了标准化、可复现的评估框架。

解决学术问题

该数据集解决了大型语言模型评估中缺乏细粒度、多任务可复现结果的问题。学术研究者常面临模型性能报告不透明、评估细节缺失的困境，而此数据集通过公开每次运行的完整推理日志与聚合指标，使研究者能够精确追溯模型在特定任务上的表现波动，从而更可靠地分析模型架构、训练策略与评估设置之间的因果关系。它推动了语言模型评估的透明化与标准化，为后续研究提供了坚实的实证基础。

衍生相关工作

基于此数据集，衍生出多项关于语言模型评估方法论的研究工作。例如，研究者利用其中的多任务结果分析了模型规模与任务难度之间的非线性关系，提出了更高效的评估采样策略。此外，该数据集也被用于验证新型评估指标（如校准误差、鲁棒性度量）的有效性，并催生了跨模型对比的可视化工具与排行榜分析平台。这些衍生工作进一步深化了对大型语言模型能力边界与评估体系的理解。