open-llm-leaderboard-old/details_invalid-coder__TinyLlama-1.1B-intermediate-step-1431k-3T-laser-dpo

该数据集是在评估模型invalid-coder/TinyLlama-1.1B-intermediate-step-1431k-3T-laser-dpo在Open LLM Leaderboard上的表现时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割名使用运行的时间戳命名。train分割始终指向最新的结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型invalid-coder/TinyLlama-1.1B-intermediate-step-1431k-3T-laser-dpo在Open LLM Leaderboard上的运行过程中自动创建的。

数据集组成

• 数据集包含63个配置，每个配置对应一个评估任务。
• 数据集由1次运行创建，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train"分割始终指向最新的结果。
• 一个额外的配置"results"存储所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_invalid-coder__TinyLlama-1.1B-intermediate-step-1431k-3T-laser-dpo", "harness_winogrande_5", split="train")

最新结果

以下是2024-03-30T15:13:38.324226的最新结果：

python { "all": { "acc": 0.2735286860324725, "acc_stderr": 0.03143769848552324, "acc_norm": 0.2754881804383971, "acc_norm_stderr": 0.03222142068698204, "mc1": 0.22766217870257038, "mc1_stderr": 0.01467925503211107, "mc2": 0.38078325221080583, "mc2_stderr": 0.01386769746146585 }, "harness|arc:challenge|25": { "acc": 0.30887372013651876, "acc_stderr": 0.013501770929344003, "acc_norm": 0.3302047781569966, "acc_norm_stderr": 0.013743085603760427 }, "harness|hellaswag|10": { "acc": 0.4447321250746863, "acc_stderr": 0.004959204773046204, "acc_norm": 0.5999800836486756, "acc_norm_stderr": 0.004889007921214687 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.24, "acc_stderr": 0.04292346959909284, "acc_norm": 0.24, "acc_norm_stderr": 0.04292346959909284 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.2074074074074074, "acc_stderr": 0.03502553170678318, "acc_norm": 0.2074074074074074, "acc_norm_stderr": 0.03502553170678318 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.14473684210526316, "acc_stderr": 0.028631951845930394, "acc_norm": 0.14473684210526316, "acc_norm_stderr": 0.028631951845930394 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.26, "acc_stderr": 0.04408440022768078, "acc_norm": 0.26, "acc_norm_stderr": 0.04408440022768078 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.27547169811320754, "acc_stderr": 0.027495663683724064, "acc_norm": 0.27547169811320754, "acc_norm_stderr": 0.027495663683724064 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.2638888888888889, "acc_stderr": 0.03685651095897532, "acc_norm": 0.2638888888888889, "acc_norm_stderr": 0.03685651095897532 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.41, "acc_stderr": 0.049431107042371025, "acc_norm": 0.41, "acc_norm_stderr": 0.049431107042371025 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.34, "acc_stderr": 0.04760952285695235, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695235 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.33, "acc_stderr": 0.047258156262526045, "acc_norm": 0.33, "acc_norm_stderr": 0.047258156262526045 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.31213872832369943, "acc_stderr": 0.03533133389323657, "acc_norm": 0.31213872832369943, "acc_norm_stderr": 0.03533133389323657 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.20588235294117646, "acc_stderr": 0.04023382273617749, "acc_norm": 0.20588235294117646, "acc_norm_stderr": 0.04023382273617749 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.25, "acc_stderr": 0.04351941398892446, "acc_norm": 0.25, "acc_norm_stderr": 0.04351941398892446 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.28936170212765955, "acc_stderr": 0.02964400657700962, "acc_norm": 0.28936170212765955, "acc_norm_stderr": 0.02964400657700962 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.21052631578947367, "acc_stderr": 0.03835153954399419, "acc_norm": 0.21052631578947367, "acc_norm_stderr": 0.03835153954399419 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.2620689655172414, "acc_stderr": 0.036646663372252565, "acc_norm": 0.2620689655172414, "acc_norm_stderr": 0.036646663372252565 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.291005291005291, "acc_stderr": 0.02339382650048488, "acc_norm": 0.291005291005291, "acc_norm_stderr": 0.02339382650048488 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.31746031746031744, "acc_stderr": 0.04163453031302859, "acc_norm": 0.31746031746031744, "acc_norm_stderr": 0.04163453031302859 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.25161290322580643, "acc_stderr": 0.02468597928623997, "acc_norm": 0.25161290322580643, "acc_norm_stderr": 0.02468597928623997 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.2561576354679803, "acc_stderr": 0.0307127300709826, "acc_norm": 0.2561576354679803, "acc_norm_stderr": 0.0307127300709826 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.24, "acc_stderr": 0.04292346959909282, "acc_norm": 0.24, "acc_norm_stderr": 0.04292346959909282 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.32727272727272727, "acc_stderr": 0.03663974994391243, "acc_norm": 0.32727272727272727, "acc_norm_stderr": 0.03663974994391243 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.2474747474747475, "acc_stderr": 0.0307463007421245, "acc_norm": 0.2474747474747475, "acc_norm_stderr": 0.0307463007421245 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.24352331606217617, "acc_stderr": 0.03097543638684543, "acc_norm": 0.24352331606217617, "acc_norm_stderr": 0.03097543638684543 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.30256410256410254, "acc_stderr": 0.02329088805377274, "acc_norm": 0.30256410256410254, "acc_norm_stderr": 0.02329088805377274 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.255555555

搜集汇总

数据集介绍

构建方式

在大型语言模型评估的蓬勃发展中，Open LLM Leaderboard作为一个标准化评测平台，为模型性能的横向比较提供了坚实基石。该数据集是专为模型invalid-coder/TinyLlama-1.1B-intermediate-step-1431k-3T-laser-dpo在Open LLM Leaderboard上的评估过程而自动生成的。其构建方式基于一次完整的评测运行，将63个评估任务分别对应为63个独立配置。每个配置内部以运行时间戳为标识划分数据拆分，其中“train”拆分始终指向最新一次评测的结果。此外，一个名为“results”的附加配置汇聚了所有评测任务的聚合指标，用于在Leaderboard上计算并展示模型的综合表现。

使用方法

研究者可通过HuggingFace的datasets库便捷地加载该数据集。例如，调用load_dataset函数并指定目标配置名称（如"harness_winogrande_5"）及拆分（"train"），即可获取特定任务的最新详细评估数据。对于希望深入分析历史运行结果的使用者，可通过配置中按时间戳命名的拆分（如"2024_03_30T15_13_38.324226"）加载特定批次的数据。此外，通过访问"results"配置，能够直接获得模型所有任务的聚合指标，便于进行整体性能的快速评估与对比。

背景与挑战

背景概述

在大型语言模型（LLM）蓬勃发展的浪潮中，如何系统性地评估模型性能成为学界与工业界共同关注的核心议题。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在为开源LLM提供标准化、可复现的评测基准。该数据集记录了模型invalid-coder/TinyLlama-1.1B-intermediate-step-1431k-3T-laser-dpo在2024年3月30日的评测结果，涵盖ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande及GSM8K等63项任务配置。作为轻量级模型（1.1B参数）的评测实例，它揭示了小参数模型在复杂推理与知识密集型任务中的表现边界，为研究模型压缩与性能权衡提供了关键参考。

当前挑战

该数据集所面临的挑战主要体现在两个层面。首先，在领域问题层面，小参数模型（如TinyLlama）在数学推理（GSM8K准确率仅1.21%）与多学科知识（MMLU多数科目低于30%）等任务上表现薄弱，暴露出当前轻量级LLM在深度语义理解与逻辑推演上的根本性局限。其次，在构建过程中，数据集需处理来自同一模型多次评测的异构结果，通过时间戳区分不同运行批次，并确保63个配置与评测任务的精确对应，这对数据结构的可扩展性与查询效率提出了严苛要求。此外，评测指标（如acc_norm、mc2）的标准化计算与跨任务聚合，也增加了数据处理的复杂度。

常用场景

经典使用场景

该数据集是Open LLM Leaderboard在评估TinyLlama-1.1B-intermediate-step-1431k-3T-laser-dpo模型时自动生成的评测详情数据集，涵盖了63个评测任务的配置。其经典使用场景在于为研究者提供细粒度的模型表现分析，通过加载特定任务配置（如harness_winogrande_5）的parquet文件，能够深入探究模型在常识推理、知识问答、数学求解等多样化基准上的逐项表现，从而支撑模型能力的横向比较与纵向追踪。

解决学术问题

该数据集系统性地解决了大语言模型评估中结果可复现性与细粒度分析不足的学术难题。通过结构化存储每轮评测的完整结果（包括多个任务的准确率、标准误及归一化指标），研究者得以精确量化模型在ARC挑战、HellaSwag、MMLU等经典基准上的能力边界。其意义在于为模型迭代提供客观的实证依据，推动从单一分数到多维能力剖析的评估范式转变，进而促进对语言模型知识掌握与推理机制的深入理解。

实际应用

在实际应用中，该数据集可作为模型选型与部署的决策参考。开发团队可通过分析数据集中的任务级表现（如GSM8K数学推理仅1.2%准确率），快速识别TinyLlama系列模型在数学逻辑领域的局限性，从而在智能客服、教育辅导等场景中规避其短板。同时，数据集支持的实时结果更新机制，使企业能够动态追踪模型优化后的性能跃迁，为模型上线前的质量门禁提供量化依据。

数据集最近研究

最新研究方向

当前，大规模语言模型的性能评估已成为自然语言处理领域的研究热点。在此背景下，该数据集聚焦于TinyLlama-1.1B模型经中间步骤训练与DPO优化后的评估结果，涵盖了ARC挑战、HellaSwag、GSM8K及MMLU等63项多样化任务。前沿研究正利用此类精细化评估数据集，深入探讨小规模模型在推理、常识理解与数学求解等维度的能力边界，并与Open LLM Leaderboard等基准平台联动，推动模型性能的透明化比较。这一方向不仅为轻量级模型的优化提供了实证依据，也促进了高效评估框架的标准化，对降低大模型部署门槛、加速边缘计算应用具有深远意义。