open-llm-leaderboard-old/details_TeeZee__DarkSapling-7B-v1.1

该数据集是在评估模型TeeZee/DarkSapling-7B-v1.1时自动创建的，包含63个配置，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在模型TeeZee/DarkSapling-7B-v1.1的评估运行期间自动创建的，用于Open LLM Leaderboard。

数据集结构

• 配置数量：63个配置，每个配置对应一个评估任务。
• 创建来源：从1次运行中创建。每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。
• 额外配置："results"配置存储所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_TeeZee__DarkSapling-7B-v1.1", "harness_winogrande_5", split="train")

最新结果

以下是2024-02-10T16:05:24.106495运行的最新结果： python { "all": { "acc": 0.6433485007331476, "acc_stderr": 0.03224755088237272, "acc_norm": 0.6480356098242434, "acc_norm_stderr": 0.03288865628071413, "mc1": 0.3635250917992656, "mc1_stderr": 0.016838862883965827, "mc2": 0.5203512584081402, "mc2_stderr": 0.015242875318998528 }, "harness|arc:challenge|25": { "acc": 0.6006825938566553, "acc_stderr": 0.014312094557946707, "acc_norm": 0.6348122866894198, "acc_norm_stderr": 0.0140702655192688 }, "harness|hellaswag|10": { "acc": 0.6580362477594105, "acc_stderr": 0.004733980470799212, "acc_norm": 0.8509261103365864, "acc_norm_stderr": 0.003554333976897245 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.35, "acc_stderr": 0.0479372485441102, "acc_norm": 0.35, "acc_norm_stderr": 0.0479372485441102 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6296296296296297, "acc_stderr": 0.041716541613545426, "acc_norm": 0.6296296296296297, "acc_norm_stderr": 0.041716541613545426 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6776315789473685, "acc_stderr": 0.03803510248351585, "acc_norm": 0.6776315789473685, "acc_norm_stderr": 0.03803510248351585 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.58, "acc_stderr": 0.049604496374885836, "acc_norm": 0.58, "acc_norm_stderr": 0.049604496374885836 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.7056603773584905, "acc_stderr": 0.028049186315695248, "acc_norm": 0.7056603773584905, "acc_norm_stderr": 0.028049186315695248 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7291666666666666, "acc_stderr": 0.03716177437566017, "acc_norm": 0.7291666666666666, "acc_norm_stderr": 0.03716177437566017 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.5, "acc_stderr": 0.050251890762960605, "acc_norm": 0.5, "acc_norm_stderr": 0.050251890762960605 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.54, "acc_stderr": 0.05009082659620332, "acc_norm": 0.54, "acc_norm_stderr": 0.05009082659620332 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.35, "acc_stderr": 0.047937248544110196, "acc_norm": 0.35, "acc_norm_stderr": 0.047937248544110196 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6416184971098265, "acc_stderr": 0.036563436533531585, "acc_norm": 0.6416184971098265, "acc_norm_stderr": 0.036563436533531585 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.43137254901960786, "acc_stderr": 0.04928099597287534, "acc_norm": 0.43137254901960786, "acc_norm_stderr": 0.04928099597287534 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.76, "acc_stderr": 0.04292346959909283, "acc_norm": 0.76, "acc_norm_stderr": 0.04292346959909283 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5914893617021276, "acc_stderr": 0.032134180267015755, "acc_norm": 0.5914893617021276, "acc_norm_stderr": 0.032134180267015755 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.49122807017543857, "acc_stderr": 0.04702880432049615, "acc_norm": 0.49122807017543857, "acc_norm_stderr": 0.04702880432049615 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5862068965517241, "acc_stderr": 0.04104269211806232, "acc_norm": 0.5862068965517241, "acc_norm_stderr": 0.04104269211806232 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.4021164021164021, "acc_stderr": 0.02525303255499769, "acc_norm": 0.4021164021164021, "acc_norm_stderr": 0.02525303255499769 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.4365079365079365, "acc_stderr": 0.04435932892851466, "acc_norm": 0.4365079365079365, "acc_norm_stderr": 0.04435932892851466 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.37, "acc_stderr": 0.04852365870939099, "acc_norm": 0.37, "acc_norm_stderr": 0.04852365870939099 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7709677419354839, "acc_stderr": 0.023904914311782648, "acc_norm": 0.7709677419354839, "acc_norm_stderr": 0.023904914311782648 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.5320197044334976, "acc_stderr": 0.03510766597959215, "acc_norm": 0.5320197044334976, "acc_norm_stderr": 0.03510766597959215 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.7, "acc_stderr": 0.046056618647183814, "acc_norm": 0.7, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7818181818181819, "acc_stderr": 0.03225078108306289, "acc_norm": 0.7818181818181819, "acc_norm_stderr": 0.03225078108306289 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.797979797979798, "acc_stderr": 0.02860620428922987, "acc_norm": 0.797979797979798, "acc_norm_stderr": 0.02860620428922987 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8808290155440415, "acc_stderr": 0.02338193534812142, "acc_norm": 0.8808290155440415, "acc_norm_stderr": 0.02338193534812142 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6692307692307692, "acc_stderr": 0.023854795680971125, "acc_norm": 0.6692307692307692, "acc_norm_stderr": 0.023854795680971125 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.36666666666666664, "acc_stderr": 0.029381620726465076, "acc_norm": 0.36666666666666664, "

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，该数据集是专为记录模型TeeZee/DarkSapling-7B-v1.1在Open LLM Leaderboard上的评估过程而自动构建的。数据集由63个配置构成，每个配置对应一项被评估的任务，例如ARC-Challenge、HellaSwag、GSM8K等。数据源自单次运行，每次运行的结果以时间戳命名，作为独立的拆分存储在对应配置中，而'train'拆分则始终指向最新一次的评估结果。此外，一个名为'results'的额外配置汇总了所有运行的整体指标，用于在排行榜上计算和展示聚合性能。

特点

该数据集的结构化设计极具特色，通过多配置与多拆分的组织方式，实现了对模型在不同任务上细粒度性能的精确追踪。每个配置不仅存储了任务级别的原始结果，还提供了如准确率（acc）及其标准误差（acc_stderr）等关键统计量，便于进行深入的误差分析。数据集的动态更新机制确保了'train'拆分始终反映最新状态，而历史拆分则完整保留了每次评估的原始记录，为模型能力的纵向对比和复现研究提供了坚实的数据基础。

使用方法

使用该数据集时，研究者可通过HuggingFace的datasets库轻松加载。例如，要加载Winogrande任务的评估详情，可调用load_dataset函数，指定数据集名称、配置名'harness_winogrande_5'以及拆分'split="train"'。对于需要分析特定历史运行结果的情形，可将拆分参数替换为对应的时间戳字符串，如'2024_02_10T16_05_24.106495'。此外，通过加载'results'配置，可以直接获取所有任务的聚合指标，从而高效地进行模型整体性能的评估与比较。

背景与挑战

背景概述

随着大语言模型（LLM）的蓬勃发展，如何系统、公平地评估其多维度能力成为学界与工业界瞩目的焦点。在此背景下，Hugging Face社区于2023年发起并维护了Open LLM Leaderboard，旨在为开源模型提供标准化、可复现的评测基准。该数据集正是对TeeZee/DarkSapling-7B-v1.1模型进行评测的产物，由Hugging Face团队在2024年2月创建，核心研究问题在于通过涵盖常识推理、数学运算、多学科知识等63项任务的精细评估，揭示该7B参数级别模型在语言理解与推理上的综合表现。该数据集不仅为模型开发者提供了详尽的性能剖析，更推动了开源LLM评测体系的透明化与规范化，成为社区内衡量模型进步的重要标尺。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：大语言模型评测需覆盖从基础常识到专业学科的广袤知识域，例如ARC Challenge测试科学推理、GSM8K评估数学解题能力、MMLU系列则横跨57个学科，如何设计任务以精准捕捉模型在知识与推理上的真实边界是一大难题。其次，构建过程中遭遇了显著挑战：评测需在统一框架下对模型进行多次推理，每次推理调用生成大量结果，数据组织需兼顾不同时间戳运行的多版本结果，同时确保‘最新’切分始终指向最近一次评测，对数据管道的版本控制与一致性维护提出了严苛要求。

常用场景

经典使用场景

在大规模语言模型（LLM）性能评估的学术探索中，Open LLM Leaderboard评测数据集扮演着举足轻重的角色。该数据集专为系统化评估如DarkSapling-7B-v1.1等模型的多维度能力而设计，覆盖了从常识推理（如ARC Challenge、HellaSwag）、数学问题求解（GSM8K）到广泛学科知识（MMLU的57个细分领域）及对抗性真实性检测（TruthfulQA）等经典任务。研究者通过统一调用该数据集，能够基于标准化指标（如准确率及其标准误）横向对比不同模型的泛化能力与鲁棒性，从而揭示模型在特定认知领域的优势与短板。

实际应用

在实际产业应用中，该数据集为AI系统的选型与部署提供了关键决策依据。企业可通过对比不同模型在GSM8K（数学推理）或HellaSwag（常识推理）上的表现，筛选出最适合特定业务场景的基座模型。例如，在需要高度数值准确性的金融风控场景中，开发者可优先选用GSM8K得分较高的模型；而在智能客服领域，HellaSwag与MMLU的心理学、社会学子集得分则更能反映模型对日常对话的理解深度。此外，该数据集的持续更新机制确保了评估结果与模型进化保持同步。

衍生相关工作

基于该评测数据集，学术界衍生了一系列具有里程碑意义的经典工作。例如，Open LLM Leaderboard本身已成为模型性能的权威排行榜，催生了大量关于评测指标（如ACC_norm）有效性的方法论研究。研究者还利用其细粒度结果开发了模型能力诊断工具，如通过分析MMLU各学科得分差异构建知识覆盖热力图。此外，该数据集的标准配置被广泛复用于模型压缩（量化、剪枝）后的性能验证，以及多语言模型迁移能力的跨任务对比分析，形成了围绕标准化评测的完整研究生态。