open-llm-leaderboard-old/details_TinyLlama__TinyLlama-1.1B-Chat-v1.0

该数据集是在TinyLlama/TinyLlama-1.1B-Chat-v1.0模型在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型TinyLlama/TinyLlama-1.1B-Chat-v1.0在Open LLM Leaderboard上的运行过程中自动创建的。

数据集组成

• 数据集包含63个配置，每个配置对应一个评估任务。
• 数据集由2次运行创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train"分割始终指向最新的结果。
• 一个额外的配置"results"存储所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_TinyLlama__TinyLlama-1.1B-Chat-v1.0", "harness_winogrande_5", split="train")

最新结果

以下是2024-01-04T11:44:55.514182运行的最新结果： python { "all": { "acc": 0.2609421720124211, "acc_stderr": 0.03091039790056125, "acc_norm": 0.26176871498253385, "acc_norm_stderr": 0.0316552369448013, "mc1": 0.23378212974296206, "mc1_stderr": 0.014816195991931586, "mc2": 0.37475758071242915, "mc2_stderr": 0.013911882093015021 }, "harness|arc:challenge|25": { "acc": 0.34982935153583616, "acc_stderr": 0.01393680921215828, "acc_norm": 0.3609215017064846, "acc_norm_stderr": 0.01403476138617546 }, "harness|hellaswag|10": { "acc": 0.4592710615415256, "acc_stderr": 0.00497319929633997, "acc_norm": 0.6110336586337383, "acc_norm_stderr": 0.004865193237024058 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.23, "acc_stderr": 0.04229525846816505, "acc_norm": 0.23, "acc_norm_stderr": 0.04229525846816505 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.17037037037037037, "acc_stderr": 0.032477811859955935, "acc_norm": 0.17037037037037037, "acc_norm_stderr": 0.032477811859955935 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.17763157894736842, "acc_stderr": 0.031103182383123387, "acc_norm": 0.17763157894736842, "acc_norm_stderr": 0.031103182383123387 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.25, "acc_stderr": 0.04351941398892446, "acc_norm": 0.25, "acc_norm_stderr": 0.04351941398892446 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.27547169811320754, "acc_stderr": 0.02749566368372406, "acc_norm": 0.27547169811320754, "acc_norm_stderr": 0.02749566368372406 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.2361111111111111, "acc_stderr": 0.03551446610810826, "acc_norm": 0.2361111111111111, "acc_norm_stderr": 0.03551446610810826 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.26, "acc_stderr": 0.0440844002276808, "acc_norm": 0.26, "acc_norm_stderr": 0.0440844002276808 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.27, "acc_stderr": 0.044619604333847394, "acc_norm": 0.27, "acc_norm_stderr": 0.044619604333847394 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.1907514450867052, "acc_stderr": 0.02995785132986934, "acc_norm": 0.1907514450867052, "acc_norm_stderr": 0.02995785132986934 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.19607843137254902, "acc_stderr": 0.03950581861179961, "acc_norm": 0.19607843137254902, "acc_norm_stderr": 0.03950581861179961 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.27, "acc_stderr": 0.044619604333847394, "acc_norm": 0.27, "acc_norm_stderr": 0.044619604333847394 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.2723404255319149, "acc_stderr": 0.029101290698386708, "acc_norm": 0.2723404255319149, "acc_norm_stderr": 0.029101290698386708 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.23684210526315788, "acc_stderr": 0.039994238792813344, "acc_norm": 0.23684210526315788, "acc_norm_stderr": 0.039994238792813344 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.23448275862068965, "acc_stderr": 0.035306258743465914, "acc_norm": 0.23448275862068965, "acc_norm_stderr": 0.035306258743465914 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.2857142857142857, "acc_stderr": 0.023266512213730575, "acc_norm": 0.2857142857142857, "acc_norm_stderr": 0.023266512213730575 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.23015873015873015, "acc_stderr": 0.03764950879790606, "acc_norm": 0.23015873015873015, "acc_norm_stderr": 0.03764950879790606 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.24838709677419354, "acc_stderr": 0.024580028921481006, "acc_norm": 0.24838709677419354, "acc_norm_stderr": 0.024580028921481006 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.2512315270935961, "acc_stderr": 0.030516530732694433, "acc_norm": 0.2512315270935961, "acc_norm_stderr": 0.030516530732694433 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.24, "acc_stderr": 0.04292346959909282, "acc_norm": 0.24, "acc_norm_stderr": 0.04292346959909282 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.24848484848484848, "acc_stderr": 0.03374402644139405, "acc_norm": 0.24848484848484848, "acc_norm_stderr": 0.03374402644139405 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.22727272727272727, "acc_stderr": 0.029857515673386407, "acc_norm": 0.22727272727272727, "acc_norm_stderr": 0.029857515673386407 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.22279792746113988, "acc_stderr": 0.03003114797764154, "acc_norm": 0.22279792746113988, "acc_norm_stderr": 0.03003114797764154 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.2717948717948718, "acc_stderr": 0.022556551010132354, "acc_norm": 0.2717948717948718, "acc_norm_stderr": 0.022556551010132354 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.25925925925925924, "acc_stderr": 0.0267192407837121

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评估框架下，对TinyLlama/TinyLlama-1.1B-Chat-v1.0模型进行自动化评测过程中生成的。数据集由63个配置组成，每个配置对应一个独立的评估任务，涵盖ARC挑战集、HellaSwag、GSM8K、WinoGrande、TruthfulQA以及涵盖多学科知识的Hendrycks测试集等。数据来源于两次独立的评估运行，每次运行的结果被存储为特定时间戳分割，而'train'分割则始终指向最新一次运行的评估数据。此外，一个名为'results'的额外配置汇总了所有运行的综合指标，用于在排行榜上计算和展示聚合性能。

特点

该数据集具有结构化与版本化并重的鲜明特征。其核心优势在于通过63个独立配置实现了对模型在多样化任务上的细粒度性能追踪，每个配置都包含了多次评估运行的详细结果，并以时间戳分割的形式保留了历史记录。'latest'分割的设计使得用户能够便捷地获取最新评估数据，而'results'配置则提供了宏观的聚合指标，便于进行横向对比。数据格式采用Parquet文件，兼顾了存储效率与读取速度，特别适合大规模评估结果的存储与分析。

使用方法

用户可通过HuggingFace的datasets库便捷地加载该数据集。例如，使用'load_dataset("open-llm-leaderboard/details_TinyLlama__TinyLlama-1.1B-Chat-v1.0", "harness_winogrande_5", split="train")'即可加载WinoGrande任务的最新评估详情。用户可根据研究需求，通过指定不同的配置名称（如'harness_arc_challenge_25'）和分割标识（如具体时间戳或'latest'）来访问特定任务或特定运行的结果。对于需要整体性能概览的场景，可直接加载'results'配置以获取聚合后的评估指标。

背景与挑战

背景概述

随着大语言模型（LLM）技术的迅猛发展，如何客观、系统地评估模型性能成为学界与工业界关注的焦点。Open LLM Leaderboard由HuggingFace团队于2023年发起，旨在构建一个标准化、透明化的开源模型评测平台，以解决不同模型间横向比较困难的问题。该数据集记录了TinyLlama-1.1B-Chat-v1.0模型在2024年1月4日的评测运行结果，覆盖ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande及GSM8K等63项任务配置。作为参数量仅1.1B的轻量级对话模型，TinyLlama在资源受限场景下展现了潜力，其评测数据为研究小模型在复杂推理与知识密集型任务上的能力边界提供了宝贵参照，推动了高效模型部署与评测标准化的进展。

当前挑战

该数据集所反映的核心挑战集中于两个方面。在领域问题层面，TinyLlama-1.1B-Chat-v1.0在GSM8K数学推理任务中准确率仅为2.35%，在MMLU多项学科（如安全研究14.29%、医学19.08%）上表现欠佳，凸显了小参数模型在复杂逻辑推理与专业领域知识掌握上的固有局限。在构建过程中，评测流程需协调63个任务配置的并行执行与结果聚合，每个任务对应独立的parquet文件，且需处理多次运行间的时间戳分片与最新结果对齐，对数据管理的版本控制与一致性维护提出了较高要求。此外，评测基准本身随模型迭代更新，如何确保不同时期评测结果的可比性亦构成持续挑战。

常用场景

经典使用场景

在大型语言模型评估领域，该数据集作为Open LLM Leaderboard的标准化评测工具，被广泛用于衡量TinyLlama-1.1B-Chat-v1.0模型在63项任务上的综合表现。其经典使用场景涵盖常识推理、数学计算、知识问答与伦理判断等多元维度，研究者可通过加载特定配置（如harness_winogrande_5）获取细粒度评测结果，从而精准剖析模型在特定能力维度的优劣。

衍生相关工作

该数据集衍生出多项开创性工作：HuggingFace团队基于其评测框架构建了开放式模型排行榜，推动社区形成标准化评估范式；研究者利用其细粒度结果开展模型压缩研究，探索1B级参数量模型的性能上限；此外，该数据集启发了面向特定领域（如医学、法律）的专项基准构建，催生了TinyLlama系列在垂直场景的微调优化工作。

数据集最近研究

最新研究方向

在大型语言模型评估领域，TinyLlama-1.1B-Chat-v1.0的评测数据揭示了小参数模型在复杂推理任务上的潜力与局限。当前前沿研究聚焦于通过轻量化架构实现高效推理，该模型在HellaSwag和WinoGrande等常识推理基准上表现突出，却暴露出在数学推理（GSM8K）和专业知识（如医学、法律）等领域的显著短板。这一对照引发了学界对模型能力边界与评估体系适配性的深度思考——如何设计兼顾规模效率与知识广度的训练范式，成为热点方向。该数据集作为Open LLM Leaderboard的组成部分，其结构化评测结果不仅为模型迭代提供了可复现的参照，更推动了社区对小型化语言模型在资源受限场景中实际效用的系统性探讨，对构建更公平、多维的评估生态具有里程碑意义。