open-llm-leaderboard-old/details_jsfs11__MixtureofMerges-MoE-2x7b-v7

该数据集是在模型jsfs11/MixtureofMerges-MoE-2x7b-v7的评估运行中自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到，运行的时间戳作为分割的名称。train分割始终指向最新的结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集来源

该数据集是在评估模型 jsfs11/MixtureofMerges-MoE-2x7b-v7 的过程中自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 配置数量：63个配置，每个配置对应一个评估任务。
• 数据来源：数据集从1次运行中创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
• 最新结果："train" 分割始终指向最新的结果。
• 汇总结果：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示 Open LLM Leaderboard 上的汇总指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_jsfs11__MixtureofMerges-MoE-2x7b-v7", "harness_winogrande_5", split="train")

最新结果

以下是 2024-03-31T13:04:45.082205 运行的最新结果：

python { "all": { "acc": 0.6527342623616331, "acc_stderr": 0.03205310813009596, "acc_norm": 0.6518948737570369, "acc_norm_stderr": 0.03272682033507929, "mc1": 0.6340269277845777, "mc1_stderr": 0.016862941684088386, "mc2": 0.7834213111931108, "mc2_stderr": 0.01359378176788509 }, "harness|arc:challenge|25": { "acc": 0.7184300341296929, "acc_stderr": 0.013143376735009019, "acc_norm": 0.7320819112627986, "acc_norm_stderr": 0.012942030195136445 }, "harness|hellaswag|10": { "acc": 0.7191794463254332, "acc_stderr": 0.004484815647064646, "acc_norm": 0.8904600677155945, "acc_norm_stderr": 0.003116771577319422 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.33, "acc_stderr": 0.047258156262526045, "acc_norm": 0.33, "acc_norm_stderr": 0.047258156262526045 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6296296296296297, "acc_stderr": 0.041716541613545426, "acc_norm": 0.6296296296296297, "acc_norm_stderr": 0.041716541613545426 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.7039473684210527, "acc_stderr": 0.03715062154998904, "acc_norm": 0.7039473684210527, "acc_norm_stderr": 0.03715062154998904 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.64, "acc_stderr": 0.04824181513244218, "acc_norm": 0.64, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.7018867924528301, "acc_stderr": 0.028152837942493864, "acc_norm": 0.7018867924528301, "acc_norm_stderr": 0.028152837942493864 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7847222222222222, "acc_stderr": 0.03437079344106135, "acc_norm": 0.7847222222222222, "acc_norm_stderr": 0.03437079344106135 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.5, "acc_stderr": 0.050251890762960605, "acc_norm": 0.5, "acc_norm_stderr": 0.050251890762960605 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.57, "acc_stderr": 0.04975698519562428, "acc_norm": 0.57, "acc_norm_stderr": 0.04975698519562428 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6473988439306358, "acc_stderr": 0.036430371689585475, "acc_norm": 0.6473988439306358, "acc_norm_stderr": 0.036430371689585475 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.39215686274509803, "acc_stderr": 0.04858083574266344, "acc_norm": 0.39215686274509803, "acc_norm_stderr": 0.04858083574266344 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.77, "acc_stderr": 0.04229525846816507, "acc_norm": 0.77, "acc_norm_stderr": 0.04229525846816507 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5617021276595745, "acc_stderr": 0.03243618636108101, "acc_norm": 0.5617021276595745, "acc_norm_stderr": 0.03243618636108101 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.4824561403508772, "acc_stderr": 0.04700708033551038, "acc_norm": 0.4824561403508772, "acc_norm_stderr": 0.04700708033551038 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5655172413793104, "acc_stderr": 0.04130740879555498, "acc_norm": 0.5655172413793104, "acc_norm_stderr": 0.04130740879555498 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.42592592592592593, "acc_stderr": 0.02546714904546955, "acc_norm": 0.42592592592592593, "acc_norm_stderr": 0.02546714904546955 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.47619047619047616, "acc_stderr": 0.04467062628403273, "acc_norm": 0.47619047619047616, "acc_norm_stderr": 0.04467062628403273 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.31, "acc_stderr": 0.04648231987117316, "acc_norm": 0.31, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7806451612903226, "acc_stderr": 0.023540799358723295, "acc_norm": 0.7806451612903226, "acc_norm_stderr": 0.023540799358723295 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.5123152709359606, "acc_stderr": 0.035169204442208966, "acc_norm": 0.5123152709359606, "acc_norm_stderr": 0.035169204442208966 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.7, "acc_stderr": 0.046056618647183814, "acc_norm": 0.7, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7696969696969697, "acc_stderr": 0.0328766675860349, "acc_norm": 0.7696969696969697, "acc_norm_stderr": 0.0328766675860349 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.797979797979798, "acc_stderr": 0.02860620428922987, "acc_norm": 0.797979797979798, "acc_norm_stderr": 0.02860620428922987 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.9067357512953368, "acc_stderr": 0.02098685459328973, "acc_norm": 0.9067357512953368, "acc_norm_stderr": 0.02098685459328973 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6564102564102564, "acc_stderr": 0.024078696580635477, "acc_norm": 0.6564102564102564, "acc_norm_stderr": 0.024078696580635477 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.32592592592592595, "acc_stderr": 0.028578348365473082,

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评估框架下，针对jsfs11/MixtureofMerges-MoE-2x7b-v7模型的一次完整评估运行中自动生成的。构建过程围绕63个独立任务配置展开，每个配置对应一项被评估的任务，涵盖了从常识推理（如ARC挑战集、HellaSwag）到数学问题求解（GSM8K）、多学科知识问答（MMLU）、常识推理（WinoGrande）及真实性评估（TruthfulQA）等多个维度。数据来源于单一运行批次，每次运行的时间戳被用作数据分割标识，其中“train”分割始终指向最新一次评估的结果。此外，一个名为“results”的专属配置用于存储所有任务的聚合指标，为Open LLM Leaderboard的排行榜计算与展示提供支撑。

特点

本数据集的核心特征在于其结构化与时效性。它通过63个独立配置精细划分了不同评估任务，每个配置内包含以时间戳命名的分割，清晰记录了模型在特定时间点的表现。数据集自动维护“latest”分割，确保用户总能获取到最新评估结果，而历史数据则作为快照保留，便于追踪模型性能的演变轨迹。另一个显著特点是“results”配置的设立，它汇总了各任务的核心指标（如准确率及其标准误差），为模型间的横向对比提供了标准化依据。这种设计不仅支持细粒度的任务级分析，也便于进行宏观的性能综合评估。

使用方法

使用该数据集时，用户可通过Hugging Face的datasets库进行加载。具体而言，调用load_dataset函数并指定数据集名称，同时传入目标任务的配置名称（如“harness_winogrande_5”）及所需的分割（如“train”），即可获取对应任务的详细评估记录。例如，`data = load_dataset("open-llm-leaderboard/details_jsfs11__MixtureofMerges-MoE-2x7b-v7", "harness_winogrande_5", split="train")`。若需访问历史评估数据，可替换分割参数为对应的时间戳字符串。此外，通过加载“results”配置，用户能直接获取模型在所有任务上的聚合性能指标，便于快速生成评估报告或进行模型对比分析。

背景与挑战

背景概述

随着大语言模型（LLM）的迅猛发展，如何客观、全面地评估其性能已成为学术界与工业界共同关注的焦点。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在为各类开源语言模型提供标准化的评测平台。该数据集记录了对模型jsfs11/MixtureofMerges-MoE-2x7b-v7的评估运行细节，该模型采用混合专家（MoE）架构，通过合并多个专家模型以提升推理能力。数据集涵盖63个评测任务，包括ARC-Challenge、HellaSwag、GSM8K及MMLU等，全面衡量模型在常识推理、数学计算和多领域知识上的表现。该数据集为社区提供了透明、可复现的模型对比基准，推动了LLM评测体系的规范化与可信度。

当前挑战

该数据集所涉及的领域问题核心在于如何准确、公平地评估大语言模型在多样化任务上的泛化能力。模型在MMLU子任务上表现差异显著，例如在高中政府与政治科目中准确率达90.67%，而在大学数学中仅为30%，暴露出模型在专业推理与抽象概念理解上的短板。构建过程中面临的挑战包括：64个评测任务需统一格式与评估标准，确保不同来源的基准测试结果可比；每次运行产生大量细粒度结果数据，需高效存储与索引；同时，评测结果易受模型版本、采样策略及随机种子影响，需通过多次运行与统计误差控制来提升可靠性。

常用场景

经典使用场景

在大型语言模型（LLM）蓬勃发展的浪潮中，如何系统性地评估模型性能成为学界与工业界共同关注的焦点。Open LLM Leaderboard上的评估运行数据集应运而生，为模型在多样化任务上的表现提供了标准化、可复现的评测框架。该数据集经典的使用场景在于，研究者可加载特定任务的配置（如ARC-Challenge、HellaSwag、GSM8K等）及其对应的时间戳分片，从而精确追溯模型在某一时刻的推理结果。通过解析这些细粒度的评估记录，能够深入剖析模型在常识推理、科学知识、数学计算及多领域知识问答等维度的能力边界，为模型迭代与优化提供坚实的数据支撑。

实际应用

在实际应用层面，该数据集的价值体现在模型选型与场景适配的决策支持上。企业在部署LLM于智能客服、教育辅导或医疗辅助等垂直领域时，可依据该数据集提供的多维度评测结果，筛选出在目标任务上表现最优的模型。例如，一个侧重于数学推理的金融计算平台，可以通过GSM8K的准确率指标快速锁定擅长符号推理的模型；而一个面向通识教育的应用，则可参考HellaSwag与MMLU的综合得分。此外，该数据集还能用于监控模型版本迭代中的性能退化，确保生产环境中模型的稳定性与可靠性，真正实现从实验室到工业落地的无缝衔接。

衍生相关工作

该数据集衍生了一系列具有深远影响的经典工作。在模型评估领域，Open LLM Leaderboard本身已成为社区公认的基准平台，催生了诸如“LLM Zoo”等大规模模型性能排行榜，促使研究者不断优化模型在标准任务上的表现。同时，基于该数据集，有学者提出了“多任务泛化能力分析”方法，通过挖掘不同评估配置间的性能相关性，揭示了模型在知识迁移中的内在规律。此外，该数据集的细粒度结果还推动了“模型鲁棒性研究”的进展，例如利用不同随机种子下的结果变异性来量化模型的不确定性。这些工作共同构建了LLM评估的理论与实践基石，引领了可复现、可比较的科研新范式。