open-llm-leaderboard-old/details_robinsmits__Mistral-Instruct-7B-v0.2-ChatAlpaca

该数据集是在模型 robinsmits/Mistral-Instruct-7B-v0.2-ChatAlpaca 在 Open LLM Leaderboard 上的评估过程中自动生成的。数据集由 63 个配置组成，每个配置对应一个被评估的任务。数据集由 2 次运行生成，每次运行在每个配置中表示为特定的分割。train 分割始终指向最新的结果。一个名为 results 的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了如何使用 Hugging Face datasets 库加载运行中的详细信息的示例。

原始信息汇总

数据集概述

数据集摘要

该数据集是在对模型 robinsmits/Mistral-Instruct-7B-v0.2-ChatAlpaca 进行评估时自动创建的，评估结果发布在 Open LLM Leaderboard 上。

数据集组成

数据集由 63 个配置组成，每个配置对应一个评估任务。数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

额外配置

一个额外的配置 "results" 存储了所有运行的聚合结果，用于计算并在 Open LLM Leaderboard 上显示聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_robinsmits__Mistral-Instruct-7B-v0.2-ChatAlpaca", "harness_winogrande_5", split="train")

最新结果

以下是 最新结果 的摘要： python { "all": { "acc": 0.5896401861614491, "acc_stderr": 0.03346170298483195, "acc_norm": 0.5943166762731281, "acc_norm_stderr": 0.03415179201309978, "mc1": 0.3953488372093023, "mc1_stderr": 0.017115815632418194, "mc2": 0.5586443323081062, "mc2_stderr": 0.015323579243350587 }, "harness|arc:challenge|25": { "acc": 0.5221843003412969, "acc_stderr": 0.014597001927076135, "acc_norm": 0.5674061433447098, "acc_norm_stderr": 0.014478005694182524 }, "harness|hellaswag|10": { "acc": 0.6096395140410277, "acc_stderr": 0.00486834105656622, "acc_norm": 0.8082055367456682, "acc_norm_stderr": 0.00392907627647338 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.29, "acc_stderr": 0.045604802157206845, "acc_norm": 0.29, "acc_norm_stderr": 0.045604802157206845 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.5481481481481482, "acc_stderr": 0.04299268905480864, "acc_norm": 0.5481481481481482, "acc_norm_stderr": 0.04299268905480864 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6513157894736842, "acc_stderr": 0.0387813988879761, "acc_norm": 0.6513157894736842, "acc_norm_stderr": 0.0387813988879761 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.58, "acc_stderr": 0.049604496374885836, "acc_norm": 0.58, "acc_norm_stderr": 0.049604496374885836 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6566037735849056, "acc_stderr": 0.02922452646912479, "acc_norm": 0.6566037735849056, "acc_norm_stderr": 0.02922452646912479 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.6597222222222222, "acc_stderr": 0.039621355734862175, "acc_norm": 0.6597222222222222, "acc_norm_stderr": 0.039621355734862175 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.41, "acc_stderr": 0.04943110704237102, "acc_norm": 0.41, "acc_norm_stderr": 0.04943110704237102 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.45, "acc_stderr": 0.049999999999999996, "acc_norm": 0.45, "acc_norm_stderr": 0.049999999999999996 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.34, "acc_stderr": 0.04760952285695235, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695235 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.5780346820809249, "acc_stderr": 0.0376574669386515, "acc_norm": 0.5780346820809249, "acc_norm_stderr": 0.0376574669386515 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.37254901960784315, "acc_stderr": 0.048108401480826346, "acc_norm": 0.37254901960784315, "acc_norm_stderr": 0.048108401480826346 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.72, "acc_stderr": 0.045126085985421276, "acc_norm": 0.72, "acc_norm_stderr": 0.045126085985421276 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.502127659574468, "acc_stderr": 0.03268572658667492, "acc_norm": 0.502127659574468, "acc_norm_stderr": 0.03268572658667492 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.43859649122807015, "acc_stderr": 0.04668000738510455, "acc_norm": 0.43859649122807015, "acc_norm_stderr": 0.04668000738510455 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5379310344827586, "acc_stderr": 0.04154659671707548, "acc_norm": 0.5379310344827586, "acc_norm_stderr": 0.04154659671707548 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.36772486772486773, "acc_stderr": 0.024833839825562417, "acc_norm": 0.36772486772486773, "acc_norm_stderr": 0.024833839825562417 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.38095238095238093, "acc_stderr": 0.04343525428949098, "acc_norm": 0.38095238095238093, "acc_norm_stderr": 0.04343525428949098 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.35, "acc_stderr": 0.0479372485441102, "acc_norm": 0.35, "acc_norm_stderr": 0.0479372485441102 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.6806451612903226, "acc_stderr": 0.026522709674667768, "acc_norm": 0.6806451612903226, "acc_norm_stderr": 0.026522709674667768 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.5320197044334976, "acc_stderr": 0.035107665979592154, "acc_norm": 0.5320197044334976, "acc_norm_stderr": 0.035107665979592154 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.58, "acc_stderr": 0.049604496374885836, "acc_norm": 0.58, "acc_norm_stderr": 0.049604496374885836 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.6848484848484848, "acc_stderr": 0.0362773057502241, "acc_norm": 0.6848484848484848, "acc_norm_stderr": 0.0362773057502241 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7474747474747475, "acc_stderr": 0.030954055470365897, "acc_norm": 0.7474747474747475, "acc_norm_stderr": 0.030954055470365897 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.844559585492228, "acc_stderr": 0.026148483469153317, "acc_norm": 0.844559585492228, "acc_norm_stderr": 0.026148483469153317 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.5692307692307692, "acc_stderr": 0.025106820660539753, "acc_norm": 0.5692307692307692, "acc_norm_stderr": 0.025106820660539753 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.3296296296296296, "acc_stderr": 0.02866120111652457, "acc_norm": 0.329629629629

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评测框架下，针对模型robinsmits/Mistral-Instruct-7B-v0.2-ChatAlpacha进行自动化评估时自动生成的。数据集由63个配置组成，每个配置对应一项被评估的任务，涵盖ARC挑战赛、HellaSwag、GSM8K、TruthfulQA、Winogrande以及涵盖57个学科的MMLU基准测试等多个维度。数据来源于两次独立的运行，每次运行的结果以时间戳命名的分割形式存储，其中“train”分割始终指向最新一次运行的评测结果。此外，还设有名为“results”的独立配置，用于汇总所有运行的聚合指标，为排行榜上综合得分的计算与展示提供支撑。

特点

该数据集的一个显著特色在于其结构化与版本化设计：每个任务配置均包含多次运行的分割，便于研究者追溯模型在不同时间点的性能变化。数据集以Parquet格式存储详情，兼顾了高效的存储与读取性能。所有任务均采用标准化评测指标，如准确率（acc）及其标准误差（acc_stderr），以及归一化准确率（acc_norm）等，确保了评测结果的可比性与严谨性。此外，数据集还收录了TruthfulQA的多选指标（mc1、mc2）等专业度量，为深入分析模型在事实一致性、推理与知识广度上的表现提供了丰富维度。

使用方法

研究者可通过HuggingFace的datasets库便捷地加载该数据集。例如，使用load_dataset函数并指定任务配置名称（如“harness_winogrande_5”）与所需分割（如“train”）即可获取特定任务的最新评测详情。数据集支持按时间戳分割加载历史运行结果，便于进行纵向对比分析。对于希望复现排行榜结果或开展细粒度错误分析的研究者，可直接读取各配置下的Parquet文件，利用其中的逐项记录进行深度剖析。整体而言，该数据集为评估和比较大语言模型在多样化自然语言理解任务上的表现提供了标准化、可复现的基础设施。

背景与挑战

背景概述

随着大语言模型（LLM）的蓬勃发展，如何系统性地评估模型在多样化任务上的综合表现成为学术界与工业界的核心关切。在此背景下，Hugging Face团队于2023年发起了Open LLM Leaderboard项目，旨在通过标准化基准测试为社区提供透明、可复现的模型性能对比。该数据集作为Leaderboard的组成部分，记录了由研究者robinsmits提交的Mistral-Instruct-7B-v0.2-ChatAlpaca模型的评估详情，创建于2024年1月。核心研究问题聚焦于指令微调后的7B参数模型在推理、常识理解、数学求解及多领域知识上的能力边界，其评估结果直接服务于模型选型与改进方向的判断，对推动开源LLM的实证比较具有显著影响力。

当前挑战

该数据集所解决的领域问题在于为LLM提供多维度、去偏的评估框架，避免单一指标导致的性能误判。具体挑战包括：1）任务多样性带来的评估一致性难题，如ARC挑战赛需衡量科学推理，GSM8K测试数学逻辑，而HellaSwag与Winogrande分别考察常识与代词消解，各任务难度与评估尺度迥异；2）构建过程中，需确保每次运行（run）的配置与结果可追溯，数据集通过时间戳分割管理多轮评测，但不同任务间结果聚合的统计鲁棒性（如准确率与标准误）仍需谨慎处理；3）模型在MMLU等57个学科上的表现波动揭示了知识覆盖的深度与广度之间的权衡，如何设计平衡的测试集仍是开放挑战。

常用场景

经典使用场景

在大型语言模型（LLM）蓬勃发展的时代背景下，该数据集作为Open LLM Leaderboard评估流程的产物，为Mistral-Instruct-7B-v0.2-ChatAlpaca模型提供了细粒度的性能剖析。其经典使用场景在于，通过整合ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande及GSM8K等涵盖推理、常识、数学与知识理解的基准任务，系统性地评估指令微调模型在零样本与少样本设置下的泛化能力。研究者可借助该数据集的63个配置与多轮运行记录，深入分析模型在不同难度层级与学科领域上的表现差异，从而精准定位其优势与短板。

衍生相关工作

该数据集衍生了多项具有启发性的后续研究。基于其详尽的评估日志，研究者得以开展关于模型鲁棒性、校准误差及任务间迁移学习的深度分析。例如，MMLU子任务中模型在抽象代数（29%）与市场营销（85.9%）间的显著差异，催生了针对领域知识不平衡的细粒度微调方法。同时，该数据集的标准化评估流程被广泛借鉴，成为诸如LLM评估套件（LM Evaluation Harness）等工具链的参考范式，并激励了社区构建更大规模、更多维度的模型排行榜，如Open LLM Leaderboard的持续迭代。

数据集最近研究

最新研究方向

在大型语言模型（LLM）评估领域，Mistral-Instruct-7B-v0.2-ChatAlpaca作为一款基于Mistral架构的指令微调模型，其性能评测已成为当前研究的热点。该数据集通过Open LLM Leaderboard平台，系统性地涵盖了ARC挑战赛、HellaSwag、GSM8K及涵盖多学科知识的MMLU等63项任务，全面评估模型在常识推理、数学解题与专业领域知识上的表现。前沿方向聚焦于模型在零样本与少样本场景下的泛化能力，尤其是在混合任务中展现的鲁棒性。例如，其在HellaSwag上的归一化准确率达80.8%，而在GSM8K数学推理任务中仅37.6%的准确率，揭示了模型在逻辑与数值推理上的局限性。这一评测结果不仅为ChatAlpaca指令微调策略的有效性提供了实证，也推动了针对数学推理瓶颈的优化研究，对构建更均衡的通用AI系统具有重要指导意义。