open-llm-leaderboard-old/details_distilgpt2

该数据集是在评估模型distilgpt2时自动创建的，包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果存储为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。该数据集是在评估模型distilgpt2时自动创建的，包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果存储为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集名称

Evaluation run of distilgpt2

数据集描述

该数据集是在对模型distilgpt2进行评估运行期间自动创建的，用于Open LLM Leaderboard。

数据集组成

数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。

额外配置

一个额外的配置"results"存储所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_distilgpt2", "harness_winogrande_5", split="train")

最新结果

以下是2023-12-16T13:25:51.422801运行的最新结果：

python { "all": { "acc": 0.24791527761428814, "acc_stderr": 0.030281954866030584, "acc_norm": 0.2481142819487892, "acc_norm_stderr": 0.03108662123022961, "mc1": 0.24969400244798043, "mc1_stderr": 0.015152286907148128, "mc2": 0.444910866699754, "mc2_stderr": 0.015279069341683332 }, "harness|arc:challenge|25": { "acc": 0.18088737201365188, "acc_stderr": 0.011248574467407024, "acc_norm": 0.2226962457337884, "acc_norm_stderr": 0.012158314774829931 }, "harness|hellaswag|10": { "acc": 0.2705636327424816, "acc_stderr": 0.0044334307903494095, "acc_norm": 0.2758414658434575, "acc_norm_stderr": 0.004460238879247437 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.22, "acc_stderr": 0.04163331998932268, "acc_norm": 0.22, "acc_norm_stderr": 0.04163331998932268 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.24444444444444444, "acc_stderr": 0.03712537833614866, "acc_norm": 0.24444444444444444, "acc_norm_stderr": 0.03712537833614866 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.17763157894736842, "acc_stderr": 0.031103182383123398, "acc_norm": 0.17763157894736842, "acc_norm_stderr": 0.031103182383123398 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.21, "acc_stderr": 0.040936018074033256, "acc_norm": 0.21, "acc_norm_stderr": 0.040936018074033256 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.22264150943396227, "acc_stderr": 0.0256042334708991, "acc_norm": 0.22264150943396227, "acc_norm_stderr": 0.0256042334708991 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.2222222222222222, "acc_stderr": 0.03476590104304134, "acc_norm": 0.2222222222222222, "acc_norm_stderr": 0.03476590104304134 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.17, "acc_stderr": 0.03775251680686371, "acc_norm": 0.17, "acc_norm_stderr": 0.03775251680686371 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.18, "acc_stderr": 0.03861229196653694, "acc_norm": 0.18, "acc_norm_stderr": 0.03861229196653694 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.27, "acc_stderr": 0.04461960433384739, "acc_norm": 0.27, "acc_norm_stderr": 0.04461960433384739 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.20809248554913296, "acc_stderr": 0.030952890217749895, "acc_norm": 0.20809248554913296, "acc_norm_stderr": 0.030952890217749895 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.20588235294117646, "acc_stderr": 0.04023382273617747, "acc_norm": 0.20588235294117646, "acc_norm_stderr": 0.04023382273617747 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.21, "acc_stderr": 0.040936018074033256, "acc_norm": 0.21, "acc_norm_stderr": 0.040936018074033256 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.28085106382978725, "acc_stderr": 0.029379170464124818, "acc_norm": 0.28085106382978725, "acc_norm_stderr": 0.029379170464124818 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.2631578947368421, "acc_stderr": 0.04142439719489362, "acc_norm": 0.2631578947368421, "acc_norm_stderr": 0.04142439719489362 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.30344827586206896, "acc_stderr": 0.038312260488503336, "acc_norm": 0.30344827586206896, "acc_norm_stderr": 0.038312260488503336 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.2566137566137566, "acc_stderr": 0.022494510767503154, "acc_norm": 0.2566137566137566, "acc_norm_stderr": 0.022494510767503154 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.1984126984126984, "acc_stderr": 0.03567016675276865, "acc_norm": 0.1984126984126984, "acc_norm_stderr": 0.03567016675276865 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.15, "acc_stderr": 0.0358870281282637, "acc_norm": 0.15, "acc_norm_stderr": 0.0358870281282637 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.3193548387096774, "acc_stderr": 0.026522709674667768, "acc_norm": 0.3193548387096774, "acc_norm_stderr": 0.026522709674667768 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.30049261083743845, "acc_stderr": 0.03225799476233483, "acc_norm": 0.30049261083743845, "acc_norm_stderr": 0.03225799476233483 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.2, "acc_stderr": 0.04020151261036846, "acc_norm": 0.2, "acc_norm_stderr": 0.04020151261036846 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.21818181818181817, "acc_stderr": 0.03225078108306289, "acc_norm": 0.21818181818181817, "acc_norm_stderr": 0.03225078108306289 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.2878787878787879, "acc_stderr": 0.03225883512300992, "acc_norm": 0.2878787878787879, "acc_norm_stderr": 0.03225883512300992 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.23316062176165803, "acc_stderr": 0.030516111371476008, "acc_norm": 0.23316062176165803, "acc_norm_stderr": 0.030516111371476008 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.3128205128205128, "acc_stderr": 0.023507579020645347, "acc_norm": 0.3128205128205128, "acc_norm_stderr": 0.023507579020645347 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.26296296296296295, "acc_stderr": 0.026842057873833706, "acc_norm": 0.26296296296296295, "acc_norm_stderr": 0.0268420

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，精细化评估是洞察模型能力的关键。该数据集源自对distilgpt2模型在Open LLM Leaderboard上的系统性评估。其构建方式别具匠心，共包含63个配置，每个配置精准对应一个被评估的任务。数据源于一次完整的评估运行，每次运行均以时间戳为标识，形成独立的拆分（split），而'train'拆分则始终指向最新一次评估的结果。此外，一个名为'results'的独立配置被设立，用于汇聚并存储该次运行所有任务的聚合指标，为排行榜上综合度量的计算与展示提供了数据基础。所有原始数据均以Parquet格式存储，确保了数据加载与处理的高效性。

特点

该数据集最为显著的特征在于其结构化的多任务评估框架。通过为每个评估任务创建独立的配置，它实现了任务粒度的细致划分，使得研究者能够针对特定能力维度（如常识推理、数学解题、知识问答等）进行精准分析。每个任务配置内包含多个时间戳拆分，不仅记录了单次评估的详细结果，还通过'latest'拆分动态追踪模型性能的最新表现。'results'配置则提供了宏观视角，以JSON格式汇总了所有任务上的关键指标，如准确率（acc）及其标准误（acc_stderr），便于用户快速把握模型整体水平。这种层次化、时序化的数据组织方式，为模型性能的纵向追踪与横向对比提供了强大支持。

使用方法

研究者可通过Hugging Face的datasets库便捷地调用该数据集。例如，加载特定任务（如winogrande）的最新评估细节，只需指定配置名称'harness_winogrande_5'并将拆分参数设为'train'，即可获取最新一次运行的全部样本级数据。若需回溯历史评估，则可通过指定具体时间戳拆分来实现。对于需要全局概览的场景，加载'results'配置即可获得一个包含所有任务聚合指标的Python字典，其中键清晰标识了任务名称（如'harness|arc:challenge|25'），值则记录了该任务下的各项评估统计量。这种灵活的数据访问模式，充分满足了从微观样本分析到宏观性能对比的多样化研究需求。

背景与挑战

背景概述

在大型语言模型（LLM）飞速发展的浪潮中，如何系统性地评估模型性能已成为推动领域进步的核心议题。由Hugging Face团队创建的Open LLM Leaderboard，旨在为社区提供一个标准化、透明化的模型评测平台，而distilgpt2作为经典的小型蒸馏模型，其评测数据被收录于该数据集中。该数据集诞生于2023年12月，由Clementine等人主导，通过集成多种任务（如ARC、HellaSwag、MMLU等）的评测结果，揭示了小型模型在知识推理与语言理解上的局限性。其影响力在于为研究者提供了量化轻量级模型与大规模模型性能差距的基准，从而推动高效模型部署与蒸馏技术的优化。

当前挑战

该数据集面临的核心挑战在于多维度评测的复杂性。首先，在领域问题层面，distilgpt2需应对从常识推理（如Winogrande）到数学求解（如GSM8K）的广泛任务，其零分表现凸显了小型模型在复杂推理与领域知识上的显著短板。其次，构建过程中，数据集需整合63个异构任务配置，并确保评测指标（如acc、acc_norm）的跨任务一致性，同时处理不同任务采样数（如5-shot或25-shot）带来的统计偏差。此外，时间戳分片机制虽便于追踪历史结果，却增加了数据版本管理的难度，而结果聚合的实时性要求也对存储与计算架构提出了挑战。

常用场景

经典使用场景

在自然语言处理领域，该数据集作为Open LLM Leaderboard的评估记录，经典用途在于对DistilGPT2这类轻量级生成式语言模型进行多任务基准测试。它涵盖了从常识推理（如HellaSwag、ARC-Challenge）到数学问题求解（GSM8K）以及广泛学科知识（MMLU）的63项配置，为研究者提供了模型在零样本或少样本设置下性能的细粒度剖析。通过加载特定任务配置的‘latest’分割，用户可以复现评估流程，对比模型在不同难度和领域任务上的表现，从而洞察其泛化能力与局限性。

解决学术问题

该数据集有效解决了大语言模型评估标准化与可复现性的学术难题。在以往，模型性能比较常因评估协议、数据划分或指标计算方式的不同而失真。此数据集通过统一的任务模板和聚合结果存储，使研究者能够客观衡量DistilGPT2等模型在学术基准上的真实水平。其分层存储结构（按任务和时间戳分割）支持纵向追踪模型迭代效果，为分析模型规模、训练策略与下游性能之间的关系提供了可靠数据基础，推动了开放、透明的模型评估范式。

衍生相关工作

该数据集衍生了一系列关于模型评估与对比的重要工作。基于其开放的评估框架，后续研究如‘Open LLM Leaderboard’持续吸纳新模型与任务，形成了动态更新的模型性能排行榜。此外，数据集中的细粒度结果被用于分析模型在不同学科知识（如MMLU子集）上的偏差，催生了针对特定领域（如医学、法律）的定向优化方法。部分工作还利用其时间戳分割功能，研究训练数据时效性对模型知识更新的影响，为持续学习与模型更新策略的设计提供了实证基础。