open-llm-leaderboard-old/details_amu__spin-phi2-2

该数据集是在Open LLM Leaderboard上对模型amu/spin-phi2-2进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集包含一次运行的结果，每次运行作为一个特定的分割存储，分割名称为运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。README还提供了如何使用Hugging Face datasets库加载数据集的示例。

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 amu/spin-phi2-2 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

数据集包含 63 个配置，每个配置对应一个评估任务。数据集从 1 次运行中创建，每个运行可以在每个配置中作为一个特定的分片找到，分片名称使用运行的时间戳。"train" 分片始终指向最新的结果。

额外配置

一个额外的配置 "results" 存储了所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_amu__spin-phi2-2", "harness_winogrande_5", split="train")

最新结果

以下是 2024-03-03T09:43:31.164221 运行的最新结果：

python { "all": { "acc": 0.5676543744455648, "acc_stderr": 0.033757658685339524, "acc_norm": 0.5697190789027621, "acc_norm_stderr": 0.03444152447795738, "mc1": 0.33659730722154224, "mc1_stderr": 0.016542412809494887, "mc2": 0.46398565870109565, "mc2_stderr": 0.015193614430666786 }, "harness|arc:challenge|25": { "acc": 0.5972696245733788, "acc_stderr": 0.014332236306790147, "acc_norm": 0.636518771331058, "acc_norm_stderr": 0.014056207319068283 }, "harness|hellaswag|10": { "acc": 0.5680143397729536, "acc_stderr": 0.004943400892881052, "acc_norm": 0.7579167496514638, "acc_norm_stderr": 0.004274690143629144 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.32, "acc_stderr": 0.046882617226215034, "acc_norm": 0.32, "acc_norm_stderr": 0.046882617226215034 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.45925925925925926, "acc_stderr": 0.04304979692464242, "acc_norm": 0.45925925925925926, "acc_norm_stderr": 0.04304979692464242 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.5657894736842105, "acc_stderr": 0.04033565667848319, "acc_norm": 0.5657894736842105, "acc_norm_stderr": 0.04033565667848319 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.56, "acc_stderr": 0.049888765156985884, "acc_norm": 0.56, "acc_norm_stderr": 0.049888765156985884 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.5849056603773585, "acc_stderr": 0.03032594578928611, "acc_norm": 0.5849056603773585, "acc_norm_stderr": 0.03032594578928611 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.6458333333333334, "acc_stderr": 0.039994111357535424, "acc_norm": 0.6458333333333334, "acc_norm_stderr": 0.039994111357535424 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.37, "acc_stderr": 0.04852365870939099, "acc_norm": 0.37, "acc_norm_stderr": 0.04852365870939099 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.36, "acc_stderr": 0.04824181513244218, "acc_norm": 0.36, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.31, "acc_stderr": 0.04648231987117316, "acc_norm": 0.31, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.5895953757225434, "acc_stderr": 0.03750757044895537, "acc_norm": 0.5895953757225434, "acc_norm_stderr": 0.03750757044895537 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.3431372549019608, "acc_stderr": 0.047240073523838876, "acc_norm": 0.3431372549019608, "acc_norm_stderr": 0.047240073523838876 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.74, "acc_stderr": 0.04408440022768077, "acc_norm": 0.74, "acc_norm_stderr": 0.04408440022768077 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.502127659574468, "acc_stderr": 0.03268572658667493, "acc_norm": 0.502127659574468, "acc_norm_stderr": 0.03268572658667493 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.39473684210526316, "acc_stderr": 0.045981880578165414, "acc_norm": 0.39473684210526316, "acc_norm_stderr": 0.045981880578165414 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.4827586206896552, "acc_stderr": 0.041641887201693775, "acc_norm": 0.4827586206896552, "acc_norm_stderr": 0.041641887201693775 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.42328042328042326, "acc_stderr": 0.025446365634406793, "acc_norm": 0.42328042328042326, "acc_norm_stderr": 0.025446365634406793 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.36507936507936506, "acc_stderr": 0.04306241259127153, "acc_norm": 0.36507936507936506, "acc_norm_stderr": 0.04306241259127153 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.36, "acc_stderr": 0.04824181513244218, "acc_norm": 0.36, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.6709677419354839, "acc_stderr": 0.02672949906834996, "acc_norm": 0.6709677419354839, "acc_norm_stderr": 0.02672949906834996 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.47783251231527096, "acc_stderr": 0.03514528562175008, "acc_norm": 0.47783251231527096, "acc_norm_stderr": 0.03514528562175008 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.64, "acc_stderr": 0.04824181513244218, "acc_norm": 0.64, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.6, "acc_stderr": 0.038254602783800246, "acc_norm": 0.6, "acc_norm_stderr": 0.038254602783800246 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7171717171717171, "acc_stderr": 0.03208779558786751, "acc_norm": 0.7171717171717171, "acc_norm_stderr": 0.03208779558786751 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.7823834196891192, "acc_stderr": 0.02977866303775295, "acc_norm": 0.7823834196891192, "acc_norm_stderr": 0.02977866303775295 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.5358974358974359, "acc_stderr": 0.025285585990017845, "acc_norm": 0.5358974358974359, "acc_norm_stderr": 0.025285585990017845 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.2962962962962963, "acc_stderr": 0.027840811495871923, "acc_norm": 0.2962962962962963, "acc_norm_stderr": 0.027840811495871923 }, "harness|hendrycksTest

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard框架下，对模型amu/spin-phi2-2进行自动化评估过程中生成的。数据集由63个配置组成，每个配置对应一个被评估的特定任务，如ARC挑战、HellaSwag、GSM8K及涵盖多个学科的Hendrycks测试等。每个评估运行对应一个独立的分片，分片以运行的时间戳命名，而'train'分片始终指向最新一次运行的结果。此外，一个名为'results'的额外配置存储了所有运行的综合结果，用于在排行榜上计算和展示聚合指标。

特点

该数据集的核心特征在于其结构化的多任务评估体系，覆盖了从常识推理、数学问题到多学科知识等广泛领域，共计63个配置。每个配置内部按运行时间戳组织数据，确保了评估结果的可追溯性和版本管理。'results'配置提供了跨任务的统一聚合指标，如准确率及其标准误差，便于横向比较模型在不同维度上的表现。数据集采用Parquet格式存储，兼顾了高效读取与压缩存储的需求。

使用方法

用户可通过HuggingFace的datasets库便捷地加载和使用该数据集。例如，使用load_dataset函数并指定数据集名称、目标配置（如'harness_winogrande_5'）及分片（如'train'）即可获取特定任务的评估细节。对于需要分析所有任务综合结果的场景，可直接加载'results'配置。数据以DataFrame形式返回，便于后续进行统计分析或可视化展示。

背景与挑战

背景概述

在大规模语言模型（LLM）迅猛发展的时代，如何系统性地评估模型的综合能力成为学术界与工业界共同关注的焦点。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在为开源语言模型提供标准化、多维度的性能评测平台。该数据集源自对模型amu/spin-phi2-2的一次完整评估运行，记录了其在2024年3月3日于63项任务上的详细表现，涵盖ARC挑战集、HellaSwag、GSM8K、TruthfulQA等经典基准，以及涵盖57个学科的MMLU测试。通过这一平台，研究者得以透明地比较不同模型在推理、常识、数学、知识广度等维度的优劣，推动了开源LLM社区的良性竞争与技术进步。

当前挑战

构建此类评估数据集面临多重挑战。首先，在领域问题层面，LLM评测需覆盖从逻辑推理到专业知识的多维能力，但单一指标难以全面反映模型真实水平，如何设计均衡且无偏的任务集合始终是核心难题。其次，评估过程中，模型输出的随机性与任务间的交叉干扰可能导致结果波动，需通过多次运行与统计显著性检验来确保可靠性。此外，数据构建的挑战体现在自动化流程的稳定性上——从模型加载、任务配置到结果汇总，每一步均需严格校验，避免因环境差异或代码错误引入噪声，同时需处理大规模异构数据的存储与版本管理，确保评估结果的可复现性与长期可用性。

常用场景

经典使用场景

该数据集专为评估大型语言模型在多样化推理任务上的表现而设计，涵盖了从常识推理到数学求解、从知识问答到逻辑判断的广泛场景。研究者可借助该数据集精确衡量模型在ARC挑战集、HellaSwag、GSM8K、WinoGrande以及涵盖57个学科的MMLU测试上的性能，从而洞察模型在不同认知维度上的优势与局限。其经典用法在于通过标准化评测流程，实现模型间公平可复现的横向对比。

实际应用

在实际应用中，该数据集为模型选型和优化提供了关键决策依据。开发团队可依据模型在该数据集上的表现，筛选出最适合特定业务需求的模型，例如在需要强数学推理的金融分析或严谨逻辑的司法辅助场景中，优先选择GSM8K和逻辑谬误测试得分高的模型。同时，数据集中的细粒度结果（如各学科MMLU得分）能够指导对模型进行针对性微调，以提升其在教育、医疗咨询、法律知识问答等垂直领域的实用效能。

衍生相关工作

该数据集催生了众多衍生性研究，其中最经典的工作包括基于评测结果分析模型在不同能力维度上的强弱项，从而提出新型训练策略（如SPIN方法）以针对性改进模型短板。此外，利用该数据集提供的标准化评测框架，研究者开发了多种可视化分析工具和模型性能雷达图，使得模型能力的多维度对比更加直观。这些衍生工作进一步深化了学界对语言模型泛化机制的理解，并推动了更高效、更透明模型评估范式的建立。