open-llm-leaderboard-old/details_pansophic__m3

该数据集是在模型 pansophic/m3 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集由 63 个配置组成，每个配置对应一个被评估的任务。数据集是从 1 次运行中创建的，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train 分割始终指向最新的结果。一个名为 results 的额外配置存储了运行的所有聚合结果，这些结果用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了一个示例，展示了如何使用 `datasets` 库中的 `load_dataset` 函数加载运行中的详细信息。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型 pansophic/m3 在 Open LLM Leaderboard 上的运行过程中自动创建的。数据集包含 63 个配置，每个配置对应一个评估任务。

数据集结构

数据集由 1 次运行创建，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

额外配置

一个额外的配置 "results" 存储了所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_pansophic__m3", "harness_winogrande_5", split="train")

最新结果

以下是 2024-03-21T14:25:01.099763 运行的最新结果：

python { "all": { "acc": 0.5671644569574777, "acc_stderr": 0.033995922530025674, "acc_norm": 0.5688418224852516, "acc_norm_stderr": 0.03470075211665992, "mc1": 0.31334149326805383, "mc1_stderr": 0.016238065069059608, "mc2": 0.4498365244105992, "mc2_stderr": 0.015033111764624815 }, "harness|arc:challenge|25": { "acc": 0.5733788395904437, "acc_stderr": 0.014453185592920293, "acc_norm": 0.6040955631399317, "acc_norm_stderr": 0.01429122839353659 }, "harness|hellaswag|10": { "acc": 0.5608444532961562, "acc_stderr": 0.004952698802275647, "acc_norm": 0.7448715395339573, "acc_norm_stderr": 0.004350424750646201 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.28, "acc_stderr": 0.045126085985421296, "acc_norm": 0.28, "acc_norm_stderr": 0.045126085985421296 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.45925925925925926, "acc_stderr": 0.04304979692464242, "acc_norm": 0.45925925925925926, "acc_norm_stderr": 0.04304979692464242 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.5592105263157895, "acc_stderr": 0.04040311062490436, "acc_norm": 0.5592105263157895, "acc_norm_stderr": 0.04040311062490436 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.56, "acc_stderr": 0.049888765156985884, "acc_norm": 0.56, "acc_norm_stderr": 0.049888765156985884 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.5849056603773585, "acc_stderr": 0.03032594578928611, "acc_norm": 0.5849056603773585, "acc_norm_stderr": 0.03032594578928611 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.6319444444444444, "acc_stderr": 0.04032999053960718, "acc_norm": 0.6319444444444444, "acc_norm_stderr": 0.04032999053960718 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.41, "acc_stderr": 0.049431107042371025, "acc_norm": 0.41, "acc_norm_stderr": 0.049431107042371025 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.48, "acc_stderr": 0.050211673156867795, "acc_norm": 0.48, "acc_norm_stderr": 0.050211673156867795 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.41, "acc_stderr": 0.04943110704237101, "acc_norm": 0.41, "acc_norm_stderr": 0.04943110704237101 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.5664739884393064, "acc_stderr": 0.037786210790920566, "acc_norm": 0.5664739884393064, "acc_norm_stderr": 0.037786210790920566 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.3431372549019608, "acc_stderr": 0.04724007352383888, "acc_norm": 0.3431372549019608, "acc_norm_stderr": 0.04724007352383888 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.68, "acc_stderr": 0.04688261722621505, "acc_norm": 0.68, "acc_norm_stderr": 0.04688261722621505 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.48936170212765956, "acc_stderr": 0.03267862331014063, "acc_norm": 0.48936170212765956, "acc_norm_stderr": 0.03267862331014063 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.41228070175438597, "acc_stderr": 0.04630653203366595, "acc_norm": 0.41228070175438597, "acc_norm_stderr": 0.04630653203366595 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5379310344827586, "acc_stderr": 0.04154659671707548, "acc_norm": 0.5379310344827586, "acc_norm_stderr": 0.04154659671707548 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.41534391534391535, "acc_stderr": 0.025379524910778408, "acc_norm": 0.41534391534391535, "acc_norm_stderr": 0.025379524910778408 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.3412698412698413, "acc_stderr": 0.042407993275749255, "acc_norm": 0.3412698412698413, "acc_norm_stderr": 0.042407993275749255 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.38, "acc_stderr": 0.048783173121456316, "acc_norm": 0.38, "acc_norm_stderr": 0.048783173121456316 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.6612903225806451, "acc_stderr": 0.026923446059302844, "acc_norm": 0.6612903225806451, "acc_norm_stderr": 0.026923446059302844 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.4482758620689655, "acc_stderr": 0.03499113137676744, "acc_norm": 0.4482758620689655, "acc_norm_stderr": 0.03499113137676744 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.64, "acc_stderr": 0.04824181513244218, "acc_norm": 0.64, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.6363636363636364, "acc_stderr": 0.037563357751878974, "acc_norm": 0.6363636363636364, "acc_norm_stderr": 0.037563357751878974 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7222222222222222, "acc_stderr": 0.03191178226713547, "acc_norm": 0.7222222222222222, "acc_norm_stderr": 0.03191178226713547 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.7772020725388601, "acc_stderr": 0.03003114797764154, "acc_norm": 0.7772020725388601, "acc_norm_stderr": 0.03003114797764154 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.541025641025641, "acc_stderr": 0.025265525491284295, "acc_norm": 0.541025641025641, "acc_norm_stderr": 0.025265525491284295 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.3333333333333333, "acc_stderr": 0.028742040903948496, "acc_norm": 0.3333333333333333, "acc_norm_stderr": 0.02874204090394

搜集汇总

数据集介绍

构建方式

该数据集是Open LLM Leaderboard评估框架在运行pansophic/m3模型时自动生成的副产品。其构建过程遵循标准化评估流程，将模型在63个不同任务上的推理结果系统性地组织起来。每个任务对应一个独立的配置（configuration），而每次运行产生的数据则作为该配置下的一个特定分割（split）存储，分割名称采用运行时间戳进行标识。为便于访问最新成果，'train'分割始终指向最近一次运行的结果。此外，一个名为'results'的独立配置负责汇总所有运行的整体评估指标，这些聚合数据直接服务于Leaderboard上模型性能的可视化展示与排名计算。

使用方法

使用者可通过HuggingFace Datasets库便捷地访问该数据集。加载时需指定目标任务对应的配置名称，例如'harness_winogrande_5'，并通过'split'参数选择所需的数据版本。若需获取最新评估结果，应使用split='train'；若需回溯特定历史运行，则使用对应的时间戳字符串作为分割名称。加载后的数据可直接用于分析模型在各项指标上的详细表现，包括准确率及其标准误等统计量，为深入理解模型能力边界与进行横向对比研究提供了标准化的数据接口。

背景与挑战

背景概述

随着大语言模型（LLM）技术的迅猛发展，如何系统、公正地评估模型的多维能力成为学术界与工业界共同关注的焦点。Open LLM Leaderboard由HuggingFace团队于2023年发起，旨在通过标准化基准测试推动模型性能的透明化比较。该数据集记录了模型pansophic/m3在2024年3月21日的评估运行结果，涵盖ARC挑战集、HellaSwag、MMLU（57个学科子集）、TruthfulQA、Winogrande及GSM8K等63项任务配置，全面覆盖常识推理、知识问答、数学求解等核心能力。作为开源评估生态的重要组成，该数据集为研究者提供了细粒度的模型表现追踪工具，其累积的评测数据已成为衡量LLM进展的关键参考，对促进模型可复现性评估与领域发展具有深远影响。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，现有基准测试虽覆盖广泛，但模型在MMLU中抽象代数（28%）、大学数学（41%）等专业学科上的低准确率，以及TruthfulQA事实一致性（MC1仅31.3%）的欠佳表现，揭示了LLM在深度推理与知识可靠性上的核心瓶颈。在构建过程中，多任务异构数据的自动化采集与标准化处理是一大难点，需将不同格式的评测结果（如parquet文件）按时间戳动态整合为统一配置，同时维护latest与历史快照的版本一致性。此外，如何确保评测流程的完全可复现性，并应对模型迭代带来的增量数据管理，亦是持续挑战。

常用场景

经典使用场景

该数据集是Open LLM Leaderboard在评估pansophic/m3模型过程中自动生成的评测记录集合，涵盖63个评测任务配置。其经典使用场景在于为大型语言模型的多维度能力评估提供标准化、可复现的细粒度性能数据。研究人员可通过加载不同任务的配置和运行时间戳分割，获取模型在ARC挑战、HellaSwag、MMLU、GSM8K等基准上的逐项表现，从而进行深入的模型能力剖析与横向对比。

解决学术问题

该数据集主要解决了大语言模型评测过程中结果碎片化与难以复现的学术困境。通过系统性地收集模型在涵盖常识推理、数学求解、多领域知识问答等多样化任务上的表现，为研究者提供了评估模型泛化能力与特定领域专长的结构化证据。其意义在于推动了模型评测的标准化进程，使得不同研究团队能够基于统一的数据格式与指标，客观衡量模型进步，从而加速了语言模型能力的系统化认知与迭代优化。

实际应用

在实际应用中，该数据集为模型开发者提供了精准的性能诊断工具。通过分析模型在不同学科知识测试（如医学、法学、物理学）及推理任务上的得分差异，开发者可以定位模型的知识盲区与推理短板，进而指导针对性的训练数据补充、模型架构调整或微调策略优化。此外，该数据集也可作为模型选型的参考依据，帮助应用方根据具体业务场景（如教育辅导、法律咨询）选择能力适配的模型。

数据集最近研究

最新研究方向

在大语言模型（LLM）性能评估领域，Open LLM Leaderboard 已成为衡量模型综合能力的重要基准平台。针对 pansophic/m3 模型的评估数据集，其研究方向聚焦于多维度、跨学科的任务泛化能力测试，涵盖 ARC-Challenge、HellaSwag、GSM8K 等推理任务，以及涵盖从基础科学到人文社科的 MMLU 子集。这一评测体系不仅反映了当前 LLM 在常识推理、数学解题与知识记忆上的表现，更与模型在真实世界应用中的鲁棒性和可解释性紧密相连。该数据集的构建与公开，为社区提供了可复现的评估标准，推动了模型在复杂推理与领域知识融合上的前沿探索，其意义在于加速了 LLM 从实验室到产业落地的可信评估进程。