open-llm-leaderboard-old/details_maywell__PiVoT-10.7B-Mistral-v0.2

该数据集是在模型maywell/PiVoT-10.7B-Mistral-v0.2在Open LLM Leaderboard上进行评估时自动生成的。数据集包含63个配置，每个配置对应一个评估任务。它包含一次运行的结果，每次运行在每个配置中表示为特定的分割，分割名称由运行的时间戳命名。train分割始终指向最新的结果。另外，results配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用Hugging Face datasets库加载数据集的示例。

原始信息汇总

数据集概述

该数据集是在对模型 maywell/PiVoT-10.7B-Mistral-v0.2 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集包含 63 个配置，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_maywell__PiVoT-10.7B-Mistral-v0.2", "harness_winogrande_5", split="train")

最新结果

以下是 2023-12-16T19:05:37.712893 运行 的最新结果：

python { "all": { "acc": 0.5992040625455914, "acc_stderr": 0.03324031031237355, "acc_norm": 0.6028778357395081, "acc_norm_stderr": 0.033924366555740444, "mc1": 0.4186046511627907, "mc1_stderr": 0.01727001528447686, "mc2": 0.5823109285763256, "mc2_stderr": 0.01521353248750615 }, "harness|arc:challenge|25": { "acc": 0.591296928327645, "acc_stderr": 0.014365750345427, "acc_norm": 0.6331058020477816, "acc_norm_stderr": 0.0140841331181043 }, "harness|hellaswag|10": { "acc": 0.6161123282214698, "acc_stderr": 0.0048533716462392466, "acc_norm": 0.8167695678151763, "acc_norm_stderr": 0.0038606469988972836 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.26, "acc_stderr": 0.0440844002276808, "acc_norm": 0.26, "acc_norm_stderr": 0.0440844002276808 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.5925925925925926, "acc_stderr": 0.04244633238353228, "acc_norm": 0.5925925925925926, "acc_norm_stderr": 0.04244633238353228 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6513157894736842, "acc_stderr": 0.03878139888797611, "acc_norm": 0.6513157894736842, "acc_norm_stderr": 0.03878139888797611 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.57, "acc_stderr": 0.049756985195624284, "acc_norm": 0.57, "acc_norm_stderr": 0.049756985195624284 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6641509433962264, "acc_stderr": 0.02906722014664483, "acc_norm": 0.6641509433962264, "acc_norm_stderr": 0.02906722014664483 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.6875, "acc_stderr": 0.038760854559127644, "acc_norm": 0.6875, "acc_norm_stderr": 0.038760854559127644 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.45, "acc_stderr": 0.05, "acc_norm": 0.45, "acc_norm_stderr": 0.05 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.45, "acc_stderr": 0.05, "acc_norm": 0.45, "acc_norm_stderr": 0.05 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.32, "acc_stderr": 0.046882617226215034, "acc_norm": 0.32, "acc_norm_stderr": 0.046882617226215034 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.5895953757225434, "acc_stderr": 0.03750757044895537, "acc_norm": 0.5895953757225434, "acc_norm_stderr": 0.03750757044895537 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.43137254901960786, "acc_stderr": 0.04928099597287533, "acc_norm": 0.43137254901960786, "acc_norm_stderr": 0.04928099597287533 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.75, "acc_stderr": 0.04351941398892446, "acc_norm": 0.75, "acc_norm_stderr": 0.04351941398892446 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.48936170212765956, "acc_stderr": 0.03267862331014063, "acc_norm": 0.48936170212765956, "acc_norm_stderr": 0.03267862331014063 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.39473684210526316, "acc_stderr": 0.045981880578165414, "acc_norm": 0.39473684210526316, "acc_norm_stderr": 0.045981880578165414 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5172413793103449, "acc_stderr": 0.04164188720169375, "acc_norm": 0.5172413793103449, "acc_norm_stderr": 0.04164188720169375 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.4312169312169312, "acc_stderr": 0.025506481698138204, "acc_norm": 0.4312169312169312, "acc_norm_stderr": 0.025506481698138204 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.4523809523809524, "acc_stderr": 0.044518079590553275, "acc_norm": 0.4523809523809524, "acc_norm_stderr": 0.044518079590553275 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.41, "acc_stderr": 0.04943110704237102, "acc_norm": 0.41, "acc_norm_stderr": 0.04943110704237102 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.6516129032258065, "acc_stderr": 0.02710482632810094, "acc_norm": 0.6516129032258065, "acc_norm_stderr": 0.02710482632810094 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.458128078817734, "acc_stderr": 0.03505630140785741, "acc_norm": 0.458128078817734, "acc_norm_stderr": 0.03505630140785741 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.66, "acc_stderr": 0.04760952285695237, "acc_norm": 0.66, "acc_norm_stderr": 0.04760952285695237 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7636363636363637, "acc_stderr": 0.03317505930009181, "acc_norm": 0.7636363636363637, "acc_norm_stderr": 0.03317505930009181 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7676767676767676, "acc_stderr": 0.030088629490217487, "acc_norm": 0.7676767676767676, "acc_norm_stderr": 0.030088629490217487 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8652849740932642, "acc_stderr": 0.024639789097709443, "acc_norm": 0.8652849740932642, "acc_norm_stderr": 0.024639789097709443 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.5846153846153846, "acc_stderr": 0.02498535492310234, "acc_norm": 0.5846153846153846, "acc_norm_stderr": 0.02498535492310234 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.3111111111111111, "acc_stderr": 0.028226446749683512, "acc_norm": 0.3111111111111111, "acc_norm_stderr": 0.028226446749683512 }, "harness|hendrycksTest-high_school_microeconomics|5": { "acc": 0.6974789915966386, "acc_stderr": 0.0298379623

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评估框架下，对maywell/PiVoT-10.7B-Mistral-v0.2模型进行自动评估的过程中生成的。数据集由63个配置组成，每个配置对应一个评估任务，这些任务涵盖了从常识推理到专业学科知识等多个维度的基准测试。数据来源于单次运行，每次运行的结果以时间戳命名的分割形式存储，其中“train”分割始终指向最新一次的评估结果。此外，还包含一个名为“results”的额外配置，用于汇总所有运行的聚合指标，这些指标被用于在排行榜上计算和展示模型的综合性能。

特点

数据集的核心特点在于其结构化的多任务评估体系，囊括了ARC-Challenge、HellaSwag、GSM8K、TruthfulQA、Winogrande以及涵盖57个学科的MMLU基准测试等广泛任务。每个配置均以Parquet格式存储详细的评估细节，便于高效存取。数据集不仅提供了每个任务的具体指标（如准确率及其标准误差），还通过“results”配置提供了全局聚合结果，使用户能够从微观和宏观两个层面洞察模型表现。时间戳分割的设计则支持对模型性能随时间的变化进行追踪分析。

使用方法

使用该数据集时，可借助Hugging Face的datasets库进行加载。例如，通过指定配置名称（如“harness_winogrande_5”）和分割（如“train”），即可加载对应任务的评估详情。加载后的数据可用于复现排行榜上的评估结果、进行模型性能的细粒度分析，或作为进一步研究模型在特定任务上表现的基准。对于需要获取全局聚合结果的场景，可直接访问“results”配置，其中包含了所有任务的最新评估指标，便于快速比较不同模型或不同运行版本之间的性能差异。

背景与挑战

背景概述

该数据集诞生于大语言模型评估领域的快速发展时期，由Hugging Face团队于2023年创建，旨在系统性地追踪开源大语言模型在标准化基准上的性能表现。数据集围绕模型PiVoT-10.7B-Mistral-v0.2在Open LLM Leaderboard上的评估结果构建，涵盖了从常识推理到数学解题的63个任务配置，包括ARC-Challenge、HellaSwag、GSM8K及涵盖57个学科的MMLU等核心基准。其研究核心在于为社区提供一个透明、可复现的模型性能记录体系，使研究者能够基于细粒度结果洞察模型在不同认知维度上的优劣。作为Open LLM Leaderboard生态的关键组件，该数据集通过标准化评估流程推动了开源模型的横向比较，加速了模型迭代与社区协作，对衡量语言模型在复杂推理与知识记忆方面的综合能力产生了深远影响。

当前挑战

该数据集面临的核心挑战在于评估体系本身的局限性：首先，所采用的基准测试（如MMLU的57个学科）虽覆盖面广，却难以完全反映模型在真实世界应用中的泛化能力与鲁棒性，存在任务设计与实际需求脱节的风险。其次，构建过程中需应对不同任务间评分标准不一致的问题，例如ARC-Challenge的准确率与TruthfulQA的MC1/MC2指标在语义解读上差异显著，为综合性能的横向对比引入了歧义。此外，数据集仅记录单次评估结果，缺乏对模型在不同随机种子或提示模板下表现波动的捕捉，可能导致性能排名缺乏统计显著性。最后，随着新模型不断涌现，如何动态更新任务集合以维持基准的时效性与挑战性，成为维护该数据集长期价值的持续性难题。

常用场景

经典使用场景

在开放大语言模型评测领域，open-llm-leaderboard-old/details_maywell__PiVoT-10.7B-Mistral-v0.2 数据集的核心用途在于系统性地记录与复现模型在标准化基准上的性能表现。该数据集由 Hugging Face 的 Open LLM Leaderboard 自动生成，囊括了诸如 ARC-Challenge、HellaSwag、GSM8K、MMLU 以及 TruthfulQA 等涵盖常识推理、数学求解与知识理解的多维度评测任务。研究者可通过加载该数据集中的特定配置与时间戳分割，精确追溯模型在每次评测运行中的细粒度结果，从而实现模型能力演进的纵向对比与横向验证。这种结构化的评测记录方式为学界提供了一种透明且可复现的模型性能评估范式，尤其适用于追踪不同训练阶段或超参数调整对模型综合能力的影响。

衍生相关工作

该数据集作为 Open LLM Leaderboard 基础设施的一部分，衍生了一系列关于模型评测方法论与能力分析的研究工作。基于其提供的标准化评测框架，研究者发展出了多种模型能力解耦分析技术，例如通过对比不同时间戳的评测结果来追踪模型在持续训练中的能力漂移，或利用 MMLU 子任务的得分差异构建模型的知识覆盖热力图。此外，该数据集还催生了针对评测数据泄露检测的研究，因为其记录的准确率变化可以揭示模型是否在训练过程中记忆了评测样本。在模型压缩与蒸馏领域，该数据集所包含的细粒度结果被用作教师模型与学生模型之间能力对齐的校准基准，推动了高效小模型的发展。这些衍生工作共同强化了以数据驱动的模型评估在可信人工智能研究中的核心地位。

数据集最近研究

最新研究方向

在大型语言模型（LLM）的评估领域，PiVoT-10.7B-Mistral-v0.2模型在Open LLM Leaderboard上的评测数据为模型的泛化能力与多任务性能提供了重要参考。该数据集涵盖了从常识推理（如HellaSwag、ARC-Challenge）到数学问题求解（GSM8K）以及多学科知识（MMLU）等63个配置项，反映了当前前沿研究对模型在零样本与少样本场景下综合表现的关注。随着LLM在学术基准上的竞争日趋激烈，这类细粒度评测数据不仅揭示了模型在特定任务（如Winogrande达到80%准确率）上的优势，也暴露了其在道德推理或细粒度知识（如大学数学）上的短板，从而驱动研究者探索更高效的模型架构与训练策略。该数据集的影响在于，它通过标准化评测流程促进了模型间的公平对比，并为后续的模型优化与领域适应性研究奠定了数据基础，尤其推动了在复杂推理与知识密集型任务上的突破。