open-llm-leaderboard-old/details_CausalLM__34b-beta

该数据集是在Open LLM Leaderboard上对模型CausalLM/34b-beta进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行在每个配置中作为一个特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。文件中还包括一个Python代码片段，用于加载运行的详细信息以及特定运行的最新结果。该数据集是在Open LLM Leaderboard上对模型CausalLM/34b-beta进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行在每个配置中作为一个特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。文件中还包括一个Python代码片段，用于加载运行的详细信息以及特定运行的最新结果。

原始信息汇总

数据集概述

数据集名称

Evaluation run of CausalLM/34b-beta

数据集描述

该数据集是在模型 CausalLM/34b-beta 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集组成

• 数据集由 63 个配置组成，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每个运行可以在每个配置中作为一个特定的分割找到，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_CausalLM__34b-beta", "harness_winogrande_5", split="train")

最新结果

以下是 2024-02-10T01:35:49.727207 运行的最新结果：

python { "all": { "acc": 0.8441348354388523, "acc_stderr": 0.02379515832444238, "acc_norm": 0.8532367075940402, "acc_norm_stderr": 0.024157515284528485, "mc1": 0.4039167686658507, "mc1_stderr": 0.01717727682258428, "mc2": 0.5837785963295662, "mc2_stderr": 0.01545899436626738 }, "harness|arc:challenge|25": { "acc": 0.659556313993174, "acc_stderr": 0.013847460518892973, "acc_norm": 0.7056313993174061, "acc_norm_stderr": 0.013318528460539422 }, "harness|hellaswag|10": { "acc": 0.6440948018323043, "acc_stderr": 0.004778081784542404, "acc_norm": 0.8419637522405895, "acc_norm_stderr": 0.0036402949128386845 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.72, "acc_stderr": 0.04512608598542127, "acc_norm": 0.72, "acc_norm_stderr": 0.04512608598542127 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.8666666666666667, "acc_stderr": 0.029365879728106857, "acc_norm": 0.8666666666666667, "acc_norm_stderr": 0.029365879728106857 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.9013157894736842, "acc_stderr": 0.02427022773752272, "acc_norm": 0.9013157894736842, "acc_norm_stderr": 0.02427022773752272 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.84, "acc_stderr": 0.03684529491774708, "acc_norm": 0.84, "acc_norm_stderr": 0.03684529491774708 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.8981132075471698, "acc_stderr": 0.01861754975827668, "acc_norm": 0.8981132075471698, "acc_norm_stderr": 0.01861754975827668 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.9791666666666666, "acc_stderr": 0.01194372163115358, "acc_norm": 0.9791666666666666, "acc_norm_stderr": 0.01194372163115358 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.7, "acc_stderr": 0.046056618647183814, "acc_norm": 0.7, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.8, "acc_stderr": 0.040201512610368445, "acc_norm": 0.8, "acc_norm_stderr": 0.040201512610368445 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.72, "acc_stderr": 0.04512608598542128, "acc_norm": 0.72, "acc_norm_stderr": 0.04512608598542128 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.838150289017341, "acc_stderr": 0.02808359427957575, "acc_norm": 0.838150289017341, "acc_norm_stderr": 0.02808359427957575 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.6568627450980392, "acc_stderr": 0.04724007352383889, "acc_norm": 0.6568627450980392, "acc_norm_stderr": 0.04724007352383889 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.88, "acc_stderr": 0.032659863237109066, "acc_norm": 0.88, "acc_norm_stderr": 0.032659863237109066 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.8893617021276595, "acc_stderr": 0.02050614509900843, "acc_norm": 0.8893617021276595, "acc_norm_stderr": 0.02050614509900843 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.7017543859649122, "acc_stderr": 0.04303684033537317, "acc_norm": 0.7017543859649122, "acc_norm_stderr": 0.04303684033537317 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.8758620689655172, "acc_stderr": 0.0274782369836366, "acc_norm": 0.8758620689655172, "acc_norm_stderr": 0.0274782369836366 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.8412698412698413, "acc_stderr": 0.01882030729513838, "acc_norm": 0.8412698412698413, "acc_norm_stderr": 0.01882030729513838 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.6428571428571429, "acc_stderr": 0.04285714285714281, "acc_norm": 0.6428571428571429, "acc_norm_stderr": 0.04285714285714281 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.68, "acc_stderr": 0.046882617226215034, "acc_norm": 0.68, "acc_norm_stderr": 0.046882617226215034 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.9451612903225807, "acc_stderr": 0.012951418509899199, "acc_norm": 0.9451612903225807, "acc_norm_stderr": 0.012951418509899199 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.8177339901477833, "acc_stderr": 0.02716334085964515, "acc_norm": 0.8177339901477833, "acc_norm_stderr": 0.02716334085964515 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.9, "acc_stderr": 0.030151134457776348, "acc_norm": 0.9, "acc_norm_stderr": 0.030151134457776348 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.9393939393939394, "acc_stderr": 0.01863202167916562, "acc_norm": 0.9393939393939394, "acc_norm_stderr": 0.01863202167916562 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.9595959595959596, "acc_stderr": 0.014028895836494496, "acc_norm": 0.9595959595959596, "acc_norm_stderr": 0.014028895836494496 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.9844559585492227, "acc_stderr": 0.008927492715084346, "acc_norm": 0.9844559585492227, "acc_norm_stderr": 0.008927492715084346 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.8871794871794871, "acc_stderr": 0.01604076143845816, "acc_norm": 0.8871794871794871, "acc_norm_stderr": 0.01604076143845816 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.7111111111111111, "acc_stderr": 0.027634907264178544, "acc_norm": 0.7111111111111111, "acc_norm_stderr": 0.027

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，Open LLM Leaderboard 作为一项权威基准测试平台，为模型性能的横向对比提供了标准化框架。该数据集正是源于对 CausalLM/34b-beta 模型在 Leaderboard 上进行的系统性评估过程。其构建方式具有高度的自动化特征，共涵盖 63 个配置项，每个配置项精准对应一项被评估的任务。数据集的每次运行均被记录为独立的切分（split），并以运行时间戳命名，而 'train' 切分则始终指向最新一次的评估结果。此外，一个名为 'results' 的附加配置专门用于存储所有评估的聚合指标，这些指标最终被用于计算并在 Leaderboard 上展示模型的综合表现。

特点

该数据集的核心特色在于其结构化的细粒度与动态更新机制。它并非单一静态的数据集合，而是通过多个配置项分别存储不同评估任务（如 ARC、HellaSwag、GSM8K 及涵盖 57 个学科的 MMLU 变体）的详细结果。每个任务配置下，数据以 Parquet 格式高效存储，并保留了基于时间戳的版本化切分，使得研究者能够回溯任意历史评估的完整细节。这种设计不仅确保了评估过程的可复现性，还通过 'latest' 切分自动追踪最新进展，为追踪模型性能的演变轨迹提供了坚实的数据基础。

使用方法

使用该数据集进行深入分析时，研究者可借助 Hugging Face 的 datasets 库实现便捷加载。通过调用 load_dataset 函数并指定相应的配置名称（例如 'harness_winogrande_5'）及期望的切分（如 'train' 以获取最新结果），即可获取特定任务的详细评估数据。对于希望获取全局汇总指标的场景，可直接加载 'results' 配置。此外，由于每次运行的时间戳切分均被保留，用户亦可通过指定具体的时间戳字符串来加载历史评估数据，从而支持对模型性能随时间变化的纵向比较与深入剖析。

背景与挑战

背景概述

在大规模语言模型（LLM）领域，模型性能的客观评估与横向对比始终是推动技术演进的核心议题。2024年初，HuggingFace团队主导构建了Open LLM Leaderboard这一开源评测平台，旨在为社区提供标准化、可复现的模型能力度量体系。作为该平台的组成部分，数据集open-llm-leaderboard-old/details_CausalLM__34b-beta专门记录了CausalLM/34b-beta模型在63项任务上的详尽评测结果，涵盖ARC挑战集、HellaSwag常识推理、GSM8K数学推理以及涵盖57个学科的MMLU基准等。该数据集由HuggingFace研究团队（联系人[e-mail]）创建，其核心价值在于通过结构化存储模型在多种语言理解、推理与知识任务上的细粒度表现，为研究社区提供了分析模型能力边界、诊断特定领域短板的关键资源，对LLM的透明化评估与迭代优化产生了重要影响。

当前挑战

该数据集所解决的领域问题主要聚焦于LLM性能评测的标准化与细粒度化挑战。在模型层面，CausalLM/34b-beta需应对从基础常识推理（如HellaSwag准确率84.4%）到高阶学科知识（如大学数学72%）的宽泛能力跨度，尤其暴露出在形式逻辑（64.3%）、病毒学（66.3%）等专业领域的显著短板，揭示了当前模型在深度知识推理与跨域泛化上的局限性。在数据集构建过程中，挑战则体现为多源异构评测任务的统一集成——需将63个不同配置（如5-shot、25-shot）的评测结果按时间戳精准对齐，并通过parquet格式高效存储与版本化，同时确保'latest'分片始终指向最新运行结果，这对数据管道的自动化与一致性维护提出了严苛要求。

常用场景

经典使用场景

在大型语言模型的评估体系中，Open LLM Leaderboard 上针对 CausalLM/34b-beta 模型的评测运行记录构成了一个精细化的基准数据集。该数据集涵盖了 63 个配置项，每个配置对应一个独立的评估任务，如 ARC-Challenge、HellaSwag、GSM8K 以及涵盖 57 个学科的 MMLU 测试集。研究者可通过加载特定任务的子集（如 "harness_winogrande_5"）来获取模型在该任务上的逐样本细节，从而进行细粒度的性能分析。这一数据集的核心用途在于为模型开发者提供一个标准化的、可复现的评估框架，使得不同模型之间的横向比较成为可能，并支持对模型在常识推理、数学解题、知识理解等多维度能力上的深入剖析。

解决学术问题

该数据集解决了大语言模型评估中普遍存在的标准化缺失与结果不可复现的学术难题。在以往的研究中，模型评测常因任务选择、评估指标、数据划分等差异而导致结果难以直接对比。此数据集通过统一的任务配置（如 few-shot 设置）、固定的评估流程（基于 EleutherAI LM Evaluation Harness）以及结构化的结果存储（包含准确率、标准差等统计量），为社区提供了高度透明的评测基准。其意义在于推动了模型能力的量化比较，使得研究者能够客观地衡量模型在推理、知识检索、数学计算等维度的真实水平，进而引导后续的模型优化方向。

衍生相关工作

该数据集衍生了一系列围绕大语言模型评估的经典工作。Open LLM Leaderboard 本身已成为社区广泛认可的模型排名平台，其评测流程被后续多个研究项目所采纳或扩展，例如用于评估指令微调效果、对比不同规模模型的缩放法则、以及分析模型在对抗性样本下的鲁棒性。此外，该数据集中的细粒度结果（如每个样本的准确与否）被用于训练轻量级的代理评估模型，旨在降低全量评测的计算成本。部分工作还基于此数据集分析了模型在不同任务间的能力迁移现象，从而指导多任务学习与模型融合策略的制定。