open-llm-leaderboard-old/details_UCLA-AGI__zephyr-7b-sft-full-SPIN-iter3

该数据集是在模型UCLA-AGI/zephyr-7b-sft-full-SPIN-iter3在Open LLM Leaderboard上的评估运行期间自动创建的。它由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，使用运行的时间戳命名。train分割始终指向最新的结果。一个额外的配置results存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。可以使用`datasets`库中的`load_dataset`函数加载该数据集。

原始信息汇总

数据集概述

数据集摘要

该数据集是在对模型 UCLA-AGI/zephyr-7b-sft-full-SPIN-iter3 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集包含 63 个配置，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每个运行可以在每个配置中作为一个特定的分片找到，分片名称使用运行的时间戳。
• "train" 分片始终指向最新的结果。
• 额外的 "results" 配置存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_UCLA-AGI__zephyr-7b-sft-full-SPIN-iter3", "harness_winogrande_5", split="train")

最新结果

以下是 2024-01-20T04:40:32.614362 运行的最新结果：

python { "all": { "acc": 0.6144035496773548, "acc_stderr": 0.032858739117399755, "acc_norm": 0.6200519616024565, "acc_norm_stderr": 0.03352475225298005, "mc1": 0.4222766217870257, "mc1_stderr": 0.017290733254248174, "mc2": 0.5789464689775264, "mc2_stderr": 0.015807009741465705 }, "harness|arc:challenge|25": { "acc": 0.6305460750853242, "acc_stderr": 0.014104578366491887, "acc_norm": 0.6612627986348123, "acc_norm_stderr": 0.01383056892797433 }, "harness|hellaswag|10": { "acc": 0.676458872734515, "acc_stderr": 0.0046687106891924, "acc_norm": 0.8584943238398726, "acc_norm_stderr": 0.0034783009945146973 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.29, "acc_stderr": 0.045604802157206845, "acc_norm": 0.29, "acc_norm_stderr": 0.045604802157206845 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.5851851851851851, "acc_stderr": 0.04256193767901408, "acc_norm": 0.5851851851851851, "acc_norm_stderr": 0.04256193767901408 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6447368421052632, "acc_stderr": 0.03894734487013317, "acc_norm": 0.6447368421052632, "acc_norm_stderr": 0.03894734487013317 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.57, "acc_stderr": 0.049756985195624284, "acc_norm": 0.57, "acc_norm_stderr": 0.049756985195624284 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6754716981132075, "acc_stderr": 0.028815615713432115, "acc_norm": 0.6754716981132075, "acc_norm_stderr": 0.028815615713432115 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.6944444444444444, "acc_stderr": 0.03852084696008534, "acc_norm": 0.6944444444444444, "acc_norm_stderr": 0.03852084696008534 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.45, "acc_stderr": 0.05, "acc_norm": 0.45, "acc_norm_stderr": 0.05 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.48, "acc_stderr": 0.050211673156867795, "acc_norm": 0.48, "acc_norm_stderr": 0.050211673156867795 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.34, "acc_stderr": 0.04760952285695235, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695235 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6184971098265896, "acc_stderr": 0.03703851193099521, "acc_norm": 0.6184971098265896, "acc_norm_stderr": 0.03703851193099521 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.4117647058823529, "acc_stderr": 0.04897104952726366, "acc_norm": 0.4117647058823529, "acc_norm_stderr": 0.04897104952726366 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.71, "acc_stderr": 0.045604802157206845, "acc_norm": 0.71, "acc_norm_stderr": 0.045604802157206845 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5446808510638298, "acc_stderr": 0.03255525359340355, "acc_norm": 0.5446808510638298, "acc_norm_stderr": 0.03255525359340355 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.43859649122807015, "acc_stderr": 0.04668000738510455, "acc_norm": 0.43859649122807015, "acc_norm_stderr": 0.04668000738510455 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5448275862068965, "acc_stderr": 0.04149886942192117, "acc_norm": 0.5448275862068965, "acc_norm_stderr": 0.04149886942192117 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.40476190476190477, "acc_stderr": 0.025279850397404904, "acc_norm": 0.40476190476190477, "acc_norm_stderr": 0.025279850397404904 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.38095238095238093, "acc_stderr": 0.04343525428949098, "acc_norm": 0.38095238095238093, "acc_norm_stderr": 0.04343525428949098 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.38, "acc_stderr": 0.048783173121456316, "acc_norm": 0.38, "acc_norm_stderr": 0.048783173121456316 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7322580645161291, "acc_stderr": 0.02518900666021238, "acc_norm": 0.7322580645161291, "acc_norm_stderr": 0.02518900666021238 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.49261083743842365, "acc_stderr": 0.035176035403610084, "acc_norm": 0.49261083743842365, "acc_norm_stderr": 0.035176035403610084 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.66, "acc_stderr": 0.04760952285695237, "acc_norm": 0.66, "acc_norm_stderr": 0.04760952285695237 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7696969696969697, "acc_stderr": 0.0328766675860349, "acc_norm": 0.7696969696969697, "acc_norm_stderr": 0.0328766675860349 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7727272727272727, "acc_stderr": 0.02985751567338642, "acc_norm": 0.7727272727272727, "acc_norm_stderr": 0.02985751567338642 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8652849740932642, "acc_stderr": 0.024639789097709447, "acc_norm": 0.8652849740932642, "acc_norm_stderr": 0.024639789097709447 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6102564102564103, "acc_stderr": 0.024726967886647074, "acc_norm": 0.6102564102564103, "acc_norm_stderr": 0.024726967886647074 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.3333333333333333, "acc_stderr": 0.028742040903948485, "acc_norm": 0.33333333333

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，Open LLM Leaderboard 提供了一个标准化的评测平台。该数据集是在对 UCLA-AGI/zephyr-7b-sft-full-SPIN-iter3 模型进行自动化评估过程中生成的，涵盖了 63 个评测任务配置，每个配置对应一个特定的评估任务。数据集基于单次运行构建，每次运行的结果以时间戳命名并作为独立的分割存储，其中 'train' 分割始终指向最新结果。此外，一个名为 'results' 的配置汇总了所有运行的聚合指标，用于在排行榜上计算和展示综合性能。

特点

该数据集的结构设计精巧，具有高度的组织性和可追溯性。每个任务配置都包含了详细的评测指标，如准确率（acc）及其标准误差（acc_stderr），以及归一化准确率（acc_norm）等，覆盖了从常识推理（如 ARC-Challenge、HellaSwag）到数学问题（GSM8K）以及多学科知识（MMLU 的 57 个学科）的广泛领域。数据以 Parquet 格式存储，保证了高效的读写性能，且每个分割均明确关联到具体的运行时间戳，便于研究者追踪不同时间点的模型表现变化。

使用方法

研究者可通过 Hugging Face 的 datasets 库便捷地加载该数据集。例如，使用 load_dataset 函数并指定任务配置名称（如 'harness_winogrande_5'）和分割名称（如 'train'）即可获取特定任务的详细评估结果。'train' 分割始终指向最新运行的数据，而历史运行结果可通过对应的时间戳分割访问。此外，'results' 配置提供了所有任务的聚合指标，便于进行整体性能分析。这一设计使得模型评估结果的复现、比较与深入分析变得高效而直观。

背景与挑战

背景概述

在大型语言模型（LLM）评估领域，标准化基准测试对于衡量模型性能至关重要。Open LLM Leaderboard由HuggingFace团队于2023年发起，旨在为开源大语言模型提供透明、可复现的评估平台。该数据集针对UCLA-AGI团队开发的zephyr-7b-sft-full-SPIN-iter3模型，记录了其在2024年1月20日的单次评估运行结果。核心研究问题聚焦于评估经过自我博弈迭代优化（SPIN）策略微调的7B参数量模型，在ARC、HellaSwag、MMLU、TruthfulQA、Winogrande和GSM8K等多维度基准上的表现。该数据集为社区提供了细粒度的模型能力剖析，推动了开源LLM评估标准化的进程。

当前挑战

该数据集面临的核心挑战涵盖领域问题与构建过程两个层面。在领域问题层面，LLM评估需应对多任务泛化能力的量化难题，例如模型在57个学科（MMLU）上的知识广度与深度平衡，以及常识推理（HellaSwag）、数学推理（GSM8K）等不同认知维度的综合度量。构建过程中，挑战在于确保评估流程的标准化与可复现性，包括处理不同基准测试的提示格式差异、采样参数（如温度设为0）的统一控制，以及跨任务结果聚合时统计误差（如acc_stderr）的精确计算。此外，单次评估的时效性限制了模型性能动态变化的追踪能力。

常用场景

经典使用场景

在大型语言模型（LLM）的快速发展浪潮中，模型性能的量化评估已成为推动技术进步的核心环节。该数据集作为Open LLM Leaderboard评估框架的产物，专为记录UCLA-AGI/zephyr-7b-sft-full-SPIN-iter3模型在63项标准化任务上的细粒度表现而设计。其经典使用场景在于为研究者提供一套结构化、可复现的评测基准，涵盖ARC挑战赛、HellaSwag常识推理、GSM8K数学问题求解以及涵盖57个学科的MMLU测试等多元维度。通过加载不同配置下的Parquet格式数据，用户能够精确追溯模型在每项任务上的准确率与标准差，从而系统性地剖析模型在推理、知识储备和生成能力上的优劣。

实际应用

在实际产业应用中，该数据集充当了模型选型与部署决策的智能罗盘。企业或开发者可依据数据集中涵盖的医疗、法律、金融等专业领域（如MMLU中的临床知识、职业法律子集）的评测成绩，快速甄别模型在特定垂直场景的适配性。例如，若某客服系统需处理高精度的事实性问答，可参考truthfulqa子集的mc1与mc2分数来规避幻觉风险；而教育类产品则能通过GSM8K和高中数学成绩筛选出具备稳健逻辑推理能力的基座模型。此外，数据集的时序快照设计（按运行时间戳分割）支持对模型在不同训练阶段的性能漂移进行追踪，为持续集成与模型更新提供了量化依据。

衍生相关工作

该数据集作为Open LLM Leaderboard生态的有机组成部分，已催生出一系列具有影响力的衍生研究。其结构化评测框架被广泛借鉴于后续的模型对比分析中，例如，研究者常基于此数据集的结果榜单设计更高效的评估策略，如引入自适应难度采样或代价敏感指标。同时，数据集本身作为模型能力图谱的原始素材，启发了多篇探讨LLM能力涌现与数据缩放律的论文，其中zephyr-7b-sft-full-SPIN-iter3在57个学科上的表现分布被用作分析知识覆盖均匀性的典型案例。此外，针对该数据集中揭示的模型弱点（如低分的大学数学与形式逻辑子集），研究者开发了针对性的数据增强与课程学习方案，进一步推动了LLM在复杂推理任务上的性能跃迁。