open-llm-leaderboard-old/details_CHIH-HUNG__llama-2-13b-FINETUNE5_4w-r4-q_k_v_o

该数据集是在模型CHIH-HUNG/llama-2-13b-FINETUNE5_4w-r4-q_k_v_o的评估运行期间自动创建的，用于在Open LLM Leaderboard上进行评估。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行都可以在每个配置的特定分割中找到，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，一个名为results的配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。该数据集是在模型CHIH-HUNG/llama-2-13b-FINETUNE5_4w-r4-q_k_v_o的评估运行期间自动创建的，用于在Open LLM Leaderboard上进行评估。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行都可以在每个配置的特定分割中找到，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，一个名为results的配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型 CHIH-HUNG/llama-2-13b-FINETUNE5_4w-r4-q_k_v_o 在 Open LLM Leaderboard 上的运行过程中自动创建的。

数据集结构

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_CHIH-HUNG__llama-2-13b-FINETUNE5_4w-r4-q_k_v_o", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-28T03:32:51.454817 运行的最新结果： python { "all": { "em": 0.37258808724832215, "em_stderr": 0.004951428522573584, "f1": 0.41863255033557134, "f1_stderr": 0.004838761301543826, "acc": 0.4445987937813739, "acc_stderr": 0.010466651540029098 }, "harness|drop|3": { "em": 0.37258808724832215, "em_stderr": 0.004951428522573584, "f1": 0.41863255033557134, "f1_stderr": 0.004838761301543826 }, "harness|gsm8k|5": { "acc": 0.12282031842304776, "acc_stderr": 0.009041108602874675 }, "harness|winogrande|5": { "acc": 0.7663772691397001, "acc_stderr": 0.011892194477183524 } }

配置详情

以下是数据集的配置详情：

• config_name: harness_arc_challenge_25

  • split: 2023_10_10T09_48_52.263585
    • path: **/details_harness|arc:challenge|25_2023-10-10T09-48-52.263585.parquet
  • split: latest
    • path: **/details_harness|arc:challenge|25_2023-10-10T09-48-52.263585.parquet

• config_name: harness_drop_3

  • split: 2023_10_28T03_32_51.454817
    • path: **/details_harness|drop|3_2023-10-28T03-32-51.454817.parquet
  • split: latest
    • path: **/details_harness|drop|3_2023-10-28T03-32-51.454817.parquet

• config_name: harness_gsm8k_5

  • split: 2023_10_28T03_32_51.454817
    • path: **/details_harness|gsm8k|5_2023-10-28T03-32-51.454817.parquet
  • split: latest
    • path: **/details_harness|gsm8k|5_2023-10-28T03-32-51.454817.parquet

• config_name: harness_hellaswag_10

  • split: 2023_10_10T09_48_52.263585
    • path: **/details_harness|hellaswag|10_2023-10-10T09-48-52.263585.parquet
  • split: latest
    • path: **/details_harness|hellaswag|10_2023-10-10T09-48-52.263585.parquet

• config_name: harness_hendrycksTest_5

  • split: 2023_10_10T09_48_52.263585
    • path:
      • **/details_harness|hendrycksTest-abstract_algebra|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-anatomy|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-astronomy|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-business_ethics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-college_biology|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-college_chemistry|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-college_computer_science|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-college_mathematics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-college_medicine|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-college_physics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-computer_security|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-conceptual_physics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-econometrics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-electrical_engineering|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-formal_logic|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-global_facts|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_biology|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_european_history|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_geography|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_physics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_psychology|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_statistics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_us_history|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-high_school_world_history|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-human_aging|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-human_sexuality|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-international_law|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-jurisprudence|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-logical_fallacies|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-machine_learning|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-management|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-marketing|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-medical_genetics|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-miscellaneous|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-moral_disputes|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-moral_scenarios|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-nutrition|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-philosophy|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-prehistory|5_2023-10-10T09-48-52.263585.parquet
      • **/details_harness|hendrycksTest-professional_accounting|5_2023-10-1

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard 为模型性能的横向对比提供了标准化基准。本数据集正是为记录模型 CHIH-HUNG/llama-2-13b-FINETUNE5_4w-r4-q_k_v_o 在该排行榜上的评估结果而自动生成的。其构建基于两次独立的评测运行，每次运行的结果以时间戳为标识，存储为独立的 split 分区。数据涵盖 64 个配置项，每个配置对应一项具体的评估任务，例如 ARC-Challenge、DROP、GSM8K 等。此外，一个名为“results”的额外配置专门用于聚合所有运行的综合指标，为排行榜的最终展示提供数据支撑。所有原始数据均以 Parquet 格式存储，确保了高效读写与可扩展性。

特点

本数据集的核心特色在于其精细化的多维度结构设计。它并非单一文件，而是由 64 个独立配置构成，每个配置精准对应一个评估任务，并包含按时间戳区分的运行记录 split。这种架构使得研究者能够回溯任意一次评估的原始细节，实现结果的细粒度复现与分析。特别地，“train”split 始终指向最新一次运行的成果，便于快速获取前沿性能数据。同时，聚合的“results”配置以 JSON 格式呈现了如准确率、F1分数等关键指标及其标准误差，为模型综合能力的量化比较提供了直观依据。

使用方法

研究者可通过 Hugging Face 的 datasets 库便捷地加载本数据集。例如，使用 `load_dataset("open-llm-leaderboard/details_CHIH-HUNG__llama-2-13b-FINETUNE5_4w-r4-q_k_v_o", "harness_winogrande_5", split="train")` 即可加载 Winogrande 任务的最新评估详情。通过指定不同的配置名称（如“harness_drop_3”）和 split（如特定时间戳），用户可以灵活获取任意任务、任意运行轮次的细粒度评测数据。这种按需加载的机制，极大地方便了针对特定模型能力（如推理、常识理解）的深入分析与对比研究。

背景与挑战

背景概述

该数据集诞生于大语言模型评估体系蓬勃发展的2023年，由Hugging Face团队主导创建，旨在为开源大语言模型提供标准化、可复现的评测基准。核心研究问题聚焦于如何通过多维度任务（如常识推理、数学计算、阅读理解等）客观衡量模型在零样本或小样本场景下的泛化能力。作为Open LLM Leaderboard的评估数据载体，该数据集通过记录CHIH-HUNG团队微调的Llama-2-13B模型在64个配置任务上的表现，为社区提供了细粒度的模型性能分析工具，对推动大语言模型的可比性评估与透明化研究具有里程碑意义。

当前挑战

当前面临的核心挑战体现在领域问题与构建过程两方面。领域层面，大语言模型评估存在任务多样性不足与指标单一化的困境，例如GSM8K数学推理任务准确率仅12.28%，揭示模型在复杂逻辑推理上的脆弱性；同时，不同任务间评分标准不统一（如DROP的F1值与HellaSwag的准确率），导致难以形成综合能力画像。构建过程中，多轮评测的时间戳管理（如2023-10-10与2023-10-28两批次数据）引发版本一致性难题，而Parquet格式的分布式存储虽提升效率，却增加了跨配置数据关联的复杂度，对自动化流水线的鲁棒性构成考验。

常用场景

经典使用场景

在大型语言模型性能评估的学术研究中，该数据集作为Open LLM Leaderboard的评估记录，被广泛用于衡量模型在多种自然语言理解与推理任务上的表现。其经典使用场景涵盖了对模型在ARC挑战、HellaSwag、MMLU、Winogrande、GSM8K和DROP等多样化基准上的细粒度评测。研究人员通过加载该数据集中各任务的配置与分片，能够系统性地追踪模型在常识推理、数学解题、文本理解等维度的能力，为模型优化提供量化依据。

衍生相关工作

该数据集衍生了一系列与模型评估标准化相关的工作，包括Open LLM Leaderboard本身作为持续更新的排行榜平台，以及基于其数据格式开发的自动化评估流水线工具。后续研究在此基础上扩展了评估任务集，例如引入多语言理解与长文本推理的评测，并催生了关于评估结果统计显著性检验的方法论探讨，进一步提升了语言模型评估的严谨性与可解释性。

数据集最近研究

最新研究方向

在大型语言模型（LLM）评测领域，Open LLM Leaderboard 已成为衡量模型综合能力的重要基准。该数据集记录了 CHIH-HUNG/llama-2-13b-FINETUNE5_4w-r4-q_k_v_o 模型在多项任务上的表现，涵盖常识推理（如 Winogrande）、数学推理（GSM8K）、阅读理解（DROP）以及多学科知识（HendrycksTest）等前沿方向。当前研究热点聚焦于通过参数高效微调（如 LoRA）在保持模型性能的同时降低计算成本，该数据集为评估此类微调策略的有效性提供了关键证据。值得注意的是，模型在 GSM8K 任务上仅取得 12.28% 的准确率，凸显了数学推理仍是 LLM 的薄弱环节，推动着研究者探索更好的推理增强方法。这些结果不仅反映了模型能力的边界，更对理解大模型在复杂认知任务中的局限性具有深远意义。