open-llm-leaderboard-old/details_LeroyDyer__Mixtral_Instruct

该数据集是在Open LLM Leaderboard上对模型LeroyDyer/Mixtral_Instruct进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个被评估的任务。数据集包含一次运行的结果，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用Python中的datasets库加载运行细节的示例。

原始信息汇总

数据集概述

该数据集是在模型 LeroyDyer/Mixtral_Instruct 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集包含 63 个配置，每个配置对应一个评估任务。

数据集结构

• 配置数量：63
• 创建来源：1 次运行
• 分割命名：每个运行的分割以运行的时间戳命名，"train" 分割始终指向最新结果。
• 额外配置："results" 配置存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_LeroyDyer__Mixtral_Instruct", "harness_winogrande_5", split="train")

最新结果

以下是 2024-03-21T21:45:02.110508 运行的最新结果：

python { "all": { "acc": 0.6343863886623945, "acc_stderr": 0.03253227076750282, "acc_norm": 0.6379173337944304, "acc_norm_stderr": 0.03318585390168927, "mc1": 0.4455324357405141, "mc1_stderr": 0.017399335280140354, "mc2": 0.6189707629601314, "mc2_stderr": 0.01523459917718391 }, "harness|arc:challenge|25": { "acc": 0.6126279863481229, "acc_stderr": 0.014235872487909869, "acc_norm": 0.6450511945392492, "acc_norm_stderr": 0.013983036904094087 }, "harness|hellaswag|10": { "acc": 0.6621190997809201, "acc_stderr": 0.004720210816162057, "acc_norm": 0.8477394941246763, "acc_norm_stderr": 0.0035853896364723714 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.37, "acc_stderr": 0.04852365870939099, "acc_norm": 0.37, "acc_norm_stderr": 0.04852365870939099 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6074074074074074, "acc_stderr": 0.0421850621536888, "acc_norm": 0.6074074074074074, "acc_norm_stderr": 0.0421850621536888 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6644736842105263, "acc_stderr": 0.03842498559395269, "acc_norm": 0.6644736842105263, "acc_norm_stderr": 0.03842498559395269 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.6, "acc_stderr": 0.04923659639173309, "acc_norm": 0.6, "acc_norm_stderr": 0.04923659639173309 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.720754716981132, "acc_stderr": 0.027611163402399715, "acc_norm": 0.720754716981132, "acc_norm_stderr": 0.027611163402399715 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7430555555555556, "acc_stderr": 0.03653946969442099, "acc_norm": 0.7430555555555556, "acc_norm_stderr": 0.03653946969442099 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.48, "acc_stderr": 0.050211673156867795, "acc_norm": 0.48, "acc_norm_stderr": 0.050211673156867795 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.51, "acc_stderr": 0.05024183937956911, "acc_norm": 0.51, "acc_norm_stderr": 0.05024183937956911 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.28, "acc_stderr": 0.04512608598542127, "acc_norm": 0.28, "acc_norm_stderr": 0.04512608598542127 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.630057803468208, "acc_stderr": 0.0368122963339432, "acc_norm": 0.630057803468208, "acc_norm_stderr": 0.0368122963339432 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.39215686274509803, "acc_stderr": 0.04858083574266345, "acc_norm": 0.39215686274509803, "acc_norm_stderr": 0.04858083574266345 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.78, "acc_stderr": 0.04163331998932261, "acc_norm": 0.78, "acc_norm_stderr": 0.04163331998932261 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5404255319148936, "acc_stderr": 0.03257901482099835, "acc_norm": 0.5404255319148936, "acc_norm_stderr": 0.03257901482099835 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.45614035087719296, "acc_stderr": 0.046854730419077895, "acc_norm": 0.45614035087719296, "acc_norm_stderr": 0.046854730419077895 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5448275862068965, "acc_stderr": 0.04149886942192117, "acc_norm": 0.5448275862068965, "acc_norm_stderr": 0.04149886942192117 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.3915343915343915, "acc_stderr": 0.025138091388851105, "acc_norm": 0.3915343915343915, "acc_norm_stderr": 0.025138091388851105 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.42857142857142855, "acc_stderr": 0.0442626668137991, "acc_norm": 0.42857142857142855, "acc_norm_stderr": 0.0442626668137991 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.35, "acc_stderr": 0.0479372485441102, "acc_norm": 0.35, "acc_norm_stderr": 0.0479372485441102 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7548387096774194, "acc_stderr": 0.024472243840895525, "acc_norm": 0.7548387096774194, "acc_norm_stderr": 0.024472243840895525 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.5270935960591133, "acc_stderr": 0.03512819077876106, "acc_norm": 0.5270935960591133, "acc_norm_stderr": 0.03512819077876106 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.72, "acc_stderr": 0.04512608598542127, "acc_norm": 0.72, "acc_norm_stderr": 0.04512608598542127 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7636363636363637, "acc_stderr": 0.03317505930009181, "acc_norm": 0.7636363636363637, "acc_norm_stderr": 0.03317505930009181 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7929292929292929, "acc_stderr": 0.028869778460267045, "acc_norm": 0.7929292929292929, "acc_norm_stderr": 0.028869778460267045 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8652849740932642, "acc_stderr": 0.02463978909770944, "acc_norm": 0.8652849740932642, "acc_norm_stderr": 0.02463978909770944 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6282051282051282, "acc_stderr": 0.024503472557110936, "acc_norm": 0.6282051282051282, "acc_norm_stderr": 0.024503472557110936 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.3851851851851852, "acc_stderr": 0.029670906124630882, "acc_norm": 0.3851851851851852, "acc_norm_stderr": 0.029670906124630

搜集汇总

数据集介绍

构建方式

在大型语言模型评估的浩瀚领域中，模型性能的量化与比较是推动技术进步的核心驱动力。该数据集源于对LeroyDyer/Mixtral_Instruct模型在Open LLM Leaderboard平台上的自动化评测过程，其构建方式体现了系统性与完备性。数据集由63个配置组成，每一个配置精确对应一项被评估的任务，从而实现了对模型多维度能力的细致刻画。数据源自单次运行，每次运行的结果被存储为特定时间戳命名的分割（split），而'train'分割则始终指向最新一次的评测结果，确保了数据的时效性与可追溯性。此外，一个名为'results'的额外配置被用于存储所有任务的聚合结果，为整体性能指标的展示与计算提供了统一入口。

特点

该数据集的核心特点在于其结构化的组织方式与丰富的评估维度。它并非单一静态的快照，而是通过时间戳分割动态记录每次评测的细节，允许研究者回溯模型在不同时期的表现变化。数据集覆盖了从常识推理（如ARC挑战赛、HellaSwag）到数学逻辑（如GSM8K）、从多学科知识（如涵盖57个学科的MMLU变体）到事实性与安全性（如TruthfulQA）等广泛任务，构成了一个全面且均衡的评估基准。每个任务配置下的数据文件以Parquet格式存储，兼顾了高效读写与跨平台兼容性，而'results'配置中呈现的精确指标（如准确率及其标准误差）则提供了统计学意义上的稳健评估。

使用方法

借助Hugging Face的datasets库，研究者能够以简洁的代码轻松加载该数据集中的特定任务详情。例如，通过指定数据集名称'open-llm-leaderboard/details_LeroyDyer__Mixtral_Instruct'、目标配置（如'harness_winogrande_5'）以及分割（如'train'），即可获得该模型在某一任务上的详尽评测记录。这种模块化的访问方式使得研究者可以灵活地聚焦于特定能力维度的分析，或通过遍历不同配置来构建模型的整体性能画像。数据集的设计充分考虑了可扩展性与易用性，为后续的模型对比研究、性能复现以及误差分析提供了坚实的数据基础设施。

背景与挑战

背景概述

该数据集源自HuggingFace社区发起的Open LLM Leaderboard评测平台，旨在系统性地评估开源大语言模型的综合性能。由HuggingFace团队于2024年创建，核心研究问题聚焦于如何通过标准化评测框架衡量模型在多维度任务上的表现，包括常识推理、数学计算、知识问答及伦理判断等。数据集记录了模型LeroyDyer/Mixtral_Instruct在63个配置任务上的评测结果，覆盖了ARC-Challenge、HellaSwag、GSM8K以及涵盖57个学科的MMLU基准测试。其影响力体现在为社区提供了可复现的模型性能对比基准，推动了开源模型间的公平竞争与透明化发展，成为衡量模型进步的重要标尺。

当前挑战

当前数据集面临的核心挑战包括：其一，领域问题层面，大语言模型在复杂推理任务（如GSM8K数学推理准确率仅48.37%）与细粒度知识领域（如大学数学准确率仅28%）仍存在显著短板，暴露出模型在逻辑严谨性与专业深度上的局限性。其二，构建过程中，评测数据集需应对任务多样性带来的标准化难题，例如不同任务（如TruthfulQA的对抗性提问与Winogrande的指代消解）的评分体系难以统一，且评测结果易受提示词设计、采样温度等超参数影响。此外，模型更新迭代迅速，如何动态维护评测基准的时效性并避免数据泄露风险，亦是持续挑战。

常用场景

经典使用场景

该数据集源自Open LLM Leaderboard对LeroyDyer/Mixtral_Instruct模型的自动化评估过程，涵盖63个独立配置，分别对应ARC-Challenge、HellaSwag、MMLU（涵盖57个学科）、TruthfulQA、Winogrande及GSM8K等经典基准测试。其核心用途在于系统性地记录模型在推理、常识理解、多领域知识掌握、事实一致性及数学解题等维度的细粒度表现，为研究者提供标准化的评估框架以横向对比不同大语言模型的综合能力。

衍生相关工作

该数据集衍生了多项经典工作，包括Open LLM Leaderboard排名体系的构建，其聚合结果直接用于社区模型性能排行榜的实时更新。此外，基于该数据集的细粒度评估日志，研究者开发了模型能力雷达图可视化工具与退化分析脚本，用于追踪模型在多轮迭代中的能力演变。部分工作进一步利用其分学科结果构建了知识短板诊断系统，为模型的知识增强与课程学习策略设计提供了数据驱动的决策支持。

数据集最近研究

最新研究方向

在大型语言模型（LLM）评测领域，开放LLM排行榜（Open LLM Leaderboard）已成为衡量模型综合能力的核心基准平台。针对LeroyDyer/Mixtral_Instruct模型的评估数据集，其研究方向聚焦于通过多维度、细粒度的任务配置来系统性地剖析模型在推理、常识、数学及专业学科等63项子任务上的表现。该数据集不仅记录了模型在ARC、HellaSwag、GSM8K等经典基准上的准确率与标准差，还深入覆盖了从医学、法律到哲学等57个MMLU子领域，揭示了混合专家（MoE）架构在知识广度与深度上的平衡能力。这种细粒度的评估范式，为理解当前前沿的稀疏激活模型在零样本泛化与领域特异性上的优势与局限提供了关键实证，推动了评测方法论从单一指标向结构化、可复现的精细化方向演进。