open-llm-leaderboard-old/details_ChavyvAkvar__habib-v2

该数据集是在评估模型ChavyvAkvar/habib-v2时自动生成的，用于Open LLM Leaderboard的评估任务。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果存储为特定配置中的一个分割，分割名称使用运行的时间戳。此外，数据集还包含一个名为"results"的配置，用于存储所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集来源

该数据集是在评估模型 ChavyvAkvar/habib-v2 在 Open LLM Leaderboard 上的运行过程中自动创建的。

数据集结构

• 配置数量：63个配置，每个配置对应一个评估任务。
• 运行次数：数据集来自1次运行。每个运行结果作为一个特定的分割存储在每个配置中，分割名称使用运行的时间戳。
• 训练分割："train" 分割始终指向最新的结果。
• 结果配置：一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_ChavyvAkvar__habib-v2", "harness_winogrande_5", split="train")

最新结果

以下是 2024-04-05T21:13:49.367920 运行的最新结果： python { "all": { "acc": 0.6336550794785022, "acc_stderr": 0.03249508049864347, "acc_norm": 0.6355364846202672, "acc_norm_stderr": 0.03315072787715271, "mc1": 0.37576499388004897, "mc1_stderr": 0.0169545840602143, "mc2": 0.5327146061886376, "mc2_stderr": 0.015015907963783581 }, "harness|arc:challenge|25": { "acc": 0.606655290102389, "acc_stderr": 0.014275101465693026, "acc_norm": 0.6399317406143344, "acc_norm_stderr": 0.014027516814585188 }, "harness|hellaswag|10": { "acc": 0.6314479187412866, "acc_stderr": 0.004814261966376849, "acc_norm": 0.8292172873929496, "acc_norm_stderr": 0.003755498941781851 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.35, "acc_stderr": 0.0479372485441102, "acc_norm": 0.35, "acc_norm_stderr": 0.0479372485441102 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6074074074074074, "acc_stderr": 0.04218506215368879, "acc_norm": 0.6074074074074074, "acc_norm_stderr": 0.04218506215368879 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.7105263157894737, "acc_stderr": 0.03690677986137283, "acc_norm": 0.7105263157894737, "acc_norm_stderr": 0.03690677986137283 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.55, "acc_stderr": 0.05, "acc_norm": 0.55, "acc_norm_stderr": 0.05 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.7094339622641509, "acc_stderr": 0.02794321998933714, "acc_norm": 0.7094339622641509, "acc_norm_stderr": 0.02794321998933714 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7083333333333334, "acc_stderr": 0.038009680605548594, "acc_norm": 0.7083333333333334, "acc_norm_stderr": 0.038009680605548594 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.46, "acc_stderr": 0.05009082659620332, "acc_norm": 0.46, "acc_norm_stderr": 0.05009082659620332 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.53, "acc_stderr": 0.05016135580465919, "acc_norm": 0.53, "acc_norm_stderr": 0.05016135580465919 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.35, "acc_stderr": 0.04793724854411019, "acc_norm": 0.35, "acc_norm_stderr": 0.04793724854411019 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6416184971098265, "acc_stderr": 0.036563436533531585, "acc_norm": 0.6416184971098265, "acc_norm_stderr": 0.036563436533531585 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.39215686274509803, "acc_stderr": 0.048580835742663434, "acc_norm": 0.39215686274509803, "acc_norm_stderr": 0.048580835742663434 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.74, "acc_stderr": 0.04408440022768077, "acc_norm": 0.74, "acc_norm_stderr": 0.04408440022768077 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5659574468085107, "acc_stderr": 0.03240038086792747, "acc_norm": 0.5659574468085107, "acc_norm_stderr": 0.03240038086792747 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.45614035087719296, "acc_stderr": 0.04685473041907789, "acc_norm": 0.45614035087719296, "acc_norm_stderr": 0.04685473041907789 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5310344827586206, "acc_stderr": 0.04158632762097828, "acc_norm": 0.5310344827586206, "acc_norm_stderr": 0.04158632762097828 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.4126984126984127, "acc_stderr": 0.025355741263055266, "acc_norm": 0.4126984126984127, "acc_norm_stderr": 0.025355741263055266 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.4365079365079365, "acc_stderr": 0.04435932892851466, "acc_norm": 0.4365079365079365, "acc_norm_stderr": 0.04435932892851466 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.35, "acc_stderr": 0.047937248544110196, "acc_norm": 0.35, "acc_norm_stderr": 0.047937248544110196 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7709677419354839, "acc_stderr": 0.023904914311782648, "acc_norm": 0.7709677419354839, "acc_norm_stderr": 0.023904914311782648 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.4729064039408867, "acc_stderr": 0.03512819077876106, "acc_norm": 0.4729064039408867, "acc_norm_stderr": 0.03512819077876106 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.65, "acc_stderr": 0.047937248544110196, "acc_norm": 0.65, "acc_norm_stderr": 0.047937248544110196 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7575757575757576, "acc_stderr": 0.03346409881055953, "acc_norm": 0.7575757575757576, "acc_norm_stderr": 0.03346409881055953 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.8131313131313131, "acc_stderr": 0.027772533334218964, "acc_norm": 0.8131313131313131, "acc_norm_stderr": 0.027772533334218964 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8601036269430051, "acc_stderr": 0.025033870583015184, "acc_norm": 0.8601036269430051, "acc_norm_stderr": 0.025033870583015184 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6538461538461539, "acc_stderr": 0.024121125416941197, "acc_norm": 0.6538461538461539, "acc_norm_stderr": 0.024121125416941197 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.2962962962962963, "acc_stderr": 0.027840811495871937, "acc_norm": 0.2962962962962963, "acc_norm_stderr": 0.027840811495871937 }, "

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard 作为权威的基准平台，系统性地追踪模型的性能表现。该数据集正是为记录模型 ChavyvAkvar/habib-v2 的评测过程而自动生成的。其构建方式基于一次完整的评测运行，涵盖了 63 个配置，每个配置对应一个被评估的具体任务。每个运行记录被存储为相应配置下的一个独立数据拆分，拆分的命名采用了运行时间戳，而 "train" 拆分则始终指向最新的评测结果。此外，数据集还包含一个名为 "results" 的独立配置，专门用于存储本次运行的聚合指标，为 Leaderboard 上综合分数的计算与展示提供数据支撑。

特点

该数据集展现出高度的结构化与版本化特征。其核心设计在于通过 63 个独立配置，将模型在 ARC-Challenge、HellaSwag、GSM8K、Winogrande、TruthfulQA 以及涵盖 57 个学科的 MMLU 测试集上的细粒度表现逐一拆解。每个配置下的数据拆分均采用时间戳命名，这一机制使得研究者能够精准回溯任意一次历史评测的原始细节。数据格式上，评测结果以 Parquet 文件存储，兼顾了高效读写与数据完整性，而聚合结果则以 JSON 格式呈现，便于直观查阅模型的整体精度与标准误差。

使用方法

研究者可通过 Hugging Face 的 datasets 库便捷地加载该数据集。具体而言，调用 `load_dataset` 函数并指定数据集名称，同时传入目标任务对应的配置名称（如 "harness_winogrande_5"）以及所需的拆分（如 "train"），即可获取该任务下的详细评测数据。对于需要分析多任务综合表现的场景，可遍历所有配置，或直接加载 "results" 配置以获取聚合后的全局指标。这种设计使得对该模型性能的深入剖析与横向对比变得高效而直观。

背景与挑战

背景概述

近年来，大规模语言模型（LLM）的蓬勃发展催生了对其性能进行标准化评估的迫切需求。在此背景下，Hugging Face社区于2023年推出了Open LLM Leaderboard，旨在为各类开源模型提供公平、透明的竞技舞台。该数据集正是围绕模型ChavyvAkvar/habib-v2在2024年4月5日的一次评估运行而构建，由Hugging Face团队主导创建，核心联系人Clémentine Fourrier。其核心研究问题在于通过涵盖ARC挑战赛、HellaSwag、MMLU（含57个学科子集）、TruthfulQA、Winogrande及GSM8K等63项任务的标准化测试，系统评估模型在常识推理、知识掌握、数学求解及事实一致性等多维度的能力。该数据集作为Open LLM Leaderboard的附属产物，为后续模型对比与复现提供了结构化依据，在推动开源LLM评估的规范化方面具有重要影响力。

当前挑战

该数据集所对应的领域挑战主要在于如何全面且公正地衡量语言模型的综合智能水平。一方面，LLM评估面临任务多样性带来的维度难题，单一指标难以反映模型在推理、知识、数学及抗幻觉等不同方面的真实表现，而该数据集通过整合ARC、MMLU、GSM8K等异质性任务，试图构建多维度评价体系，但各任务间的权重分配与结果解读仍存在争议。另一方面，构建过程中面临标准化挑战，例如不同任务采用不同采样数量（如ARC使用25样本、GSM8K使用5样本），需确保评估的统计显著性；同时，数据集的自动生成机制需解决时间戳对齐、多轮运行结果合并及最新结果标识等技术问题，以避免因评估流程差异导致的偏差。

常用场景

经典使用场景

Open LLM Leaderboard上的模型评估数据集，专为追踪和比较大型语言模型在多样化任务上的表现而设计。该数据集涵盖了63个配置，每个配置对应一个评估任务，包括ARC挑战赛、HellaSwag、MMLU、TruthfulQA、Winogrande和GSM8K等经典基准测试。研究者可通过加载特定任务配置（如harness_winogrande_5）获得模型在常识推理、知识理解、数学解题等维度的细粒度性能指标，从而系统性地剖析模型能力的优势与短板。

实际应用

在产业实践中，该数据集成为模型选型与迭代优化的关键决策工具。企业可依据数据集提供的多维度性能指标（如ARC的准确率、GSM8K的数学推理得分），精准筛选适配特定业务场景（如教育辅导、智能客服）的基座模型。同时，数据集支持对同一模型不同训练阶段的评估快照对比，使开发团队能量化微调策略对下游任务的影响，从而在计算资源有限的前提下实现模型效用的最大化。

衍生相关工作

该数据集衍生了多项推动评估范式演进的重要工作。例如，研究者基于其结构化评估框架开发了自动化模型排名系统（如Open LLM Leaderboard的实时榜单），并催生了针对特定能力维度的深度分析工具（如TruthfulQA的诚实性量化指标）。此外，数据集的任务配置方案被广泛借鉴于新基准的构建，如多语言评估数据集和领域专用评测套件，其标准化数据格式更成为后续评估工具（如LM Evaluation Harness）的兼容性参考，形成了可持续扩展的生态体系。