open-llm-leaderboard/details_Aspik101__vicuna-7b-v1.3-instruct-pl-lora_unload

该数据集是在模型Aspik101/vicuna-7b-v1.3-instruct-pl-lora_unload在Open LLM Leaderboard上进行评估时自动生成的。数据集由64个配置组成，每个配置对应一个评估任务。它由2次运行创建，每次运行在每个配置中表示为特定的分割，分割名称由运行的时间戳命名。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了一个如何使用Python中的datasets库加载运行细节的示例。This dataset was automatically generated when the model Aspik101/vicuna-7b-v1.3-instruct-pl-lora_unload was evaluated on the Open LLM Leaderboard. It consists of 64 configurations, each corresponding to an evaluation task. The dataset is created via two runs, where each run is represented as a specific split under each configuration, and the split names are named after the timestamp of the run. The "train" split always points to the most recent results. An additional configuration named "results" stores the aggregated results across all runs, which are used to calculate and display the aggregate metrics on the Open LLM Leaderboard. The README also provides an example of how to load run details using the datasets library in Python.

原始信息汇总

数据集概述

数据集来源

该数据集是在对模型 Aspik101/vicuna-7b-v1.3-instruct-pl-lora_unload 进行评估运行期间自动创建的，评估结果发布在 Open LLM Leaderboard 上。

数据集结构

• 该数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示聚合指标在 Open LLM Leaderboard 上。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Aspik101__vicuna-7b-v1.3-instruct-pl-lora_unload", "harness_winogrande_5", split="train")

最新结果

以下是 2023-09-23T04:12:47.025545 运行的最新结果： python { "all": { "em": 0.002307046979865772, "em_stderr": 0.0004913221265094532, "f1": 0.05567638422818793, "f1_stderr": 0.001338509283292818, "acc": 0.38151825095307307, "acc_stderr": 0.009759837355311614 }, "harness|drop|3": { "em": 0.002307046979865772, "em_stderr": 0.0004913221265094532, "f1": 0.05567638422818793, "f1_stderr": 0.001338509283292818 }, "harness|gsm8k|5": { "acc": 0.0621683093252464, "acc_stderr": 0.00665103564453169 }, "harness|winogrande|5": { "acc": 0.7008681925808997, "acc_stderr": 0.012868639066091536 } }

配置详情

以下是数据集的配置详情：

• harness_arc_challenge_25

  • 分割: 2023_07_25T09_51_14.882748
    • 路径: **/details_harness|arc:challenge|25_2023-07-25T09:51:14.882748.parquet
  • 分割: latest
    • 路径: **/details_harness|arc:challenge|25_2023-07-25T09:51:14.882748.parquet

• harness_drop_3

  • 分割: 2023_09_23T04_12_47.025545
    • 路径: **/details_harness|drop|3_2023-09-23T04-12-47.025545.parquet
  • 分割: latest
    • 路径: **/details_harness|drop|3_2023-09-23T04-12-47.025545.parquet

• harness_gsm8k_5

  • 分割: 2023_09_23T04_12_47.025545
    • 路径: **/details_harness|gsm8k|5_2023-09-23T04-12-47.025545.parquet
  • 分割: latest
    • 路径: **/details_harness|gsm8k|5_2023-09-23T04-12-47.025545.parquet

• harness_hellaswag_10

  • 分割: 2023_07_25T09_51_14.882748
    • 路径: **/details_harness|hellaswag|10_2023-07-25T09:51:14.882748.parquet
  • 分割: latest
    • 路径: **/details_harness|hellaswag|10_2023-07-25T09:51:14.882748.parquet

• harness_hendrycksTest_5

  • 分割: 2023_07_25T09_51_14.882748
    • 路径:
      • **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-anatomy|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-astronomy|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-business_ethics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-college_biology|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-college_chemistry|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-college_computer_science|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-college_mathematics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-college_medicine|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-college_physics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-computer_security|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-conceptual_physics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-econometrics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-electrical_engineering|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-formal_logic|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-global_facts|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_biology|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_european_history|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_geography|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_physics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_psychology|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_statistics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_us_history|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-high_school_world_history|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-human_aging|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-human_sexuality|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-international_law|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-jurisprudence|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-logical_fallacies|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-machine_learning|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-management|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-marketing|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-medical_genetics|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-miscellaneous|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-moral_disputes|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-moral_scenarios|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-nutrition|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-philosophy|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-prehistory|5_2023-07-25T09:51:14.882748.parquet
      • **/details_harness|hendrycksTest-professional_accounting|5_2023-07-25T09:51:14.882748.par

搜集汇总

数据集介绍

构建方式

该数据集源于Open LLM Leaderboard对模型Aspik101/vicuna-7b-v1.3-instruct-pl-lora_unload的自动化评估流程。构建过程中，系统将模型在多个标准评测任务上的表现结果进行系统化采集与整理，共涵盖64种不同配置，每种配置对应一项独立评估任务。数据集的生成经历了两次独立运行，每次运行的结果均以时间戳为标识，作为特定拆分存储于相应配置中，其中'train'拆分始终指向最新一次的运行结果。此外，数据集还包含一个名为'results'的独立配置，用于汇总并存储所有运行的聚合指标，为排行榜上综合得分的计算与展示提供支撑。

特点

该数据集最显著的特征在于其结构化与版本化设计。它通过64种配置精细地映射了模型在不同任务（如ARC挑战、DROP、GSM8K、HellaSwag及涵盖57个学科的MMLU等）上的细粒度表现。每种配置下，不同时间戳的拆分使得研究者可以追溯模型性能的历史演变，而'train'拆分则自动更新至最新结果，确保了数据时效性。'results'配置进一步提供了如准确率、F1分数等聚合指标及其标准误差，为模型综合能力的量化比较提供了标准化基准。这种多维度、可追溯的数据组织方式，极大便利了大规模语言模型的系统性评估与分析。

使用方法

用户可通过Hugging Face的datasets库便捷地加载本数据集。具体而言，调用load_dataset函数时，需指定数据集标识符'open-llm-leaderboard/details_Aspik101__vicuna-7b-v1.3-instruct-pl-lora_unload'，并选择目标任务的配置名称（如'harness_winogrande_5'）以及期望的拆分（如'train'以获取最新结果）。加载后的数据以Parquet格式存储，可直接用于性能复现、比较分析或可视化。对于需要全局概览的场景，可访问'results'配置，其包含了所有运行的综合得分，便于快速洞察模型在不同基准上的整体表现。

背景与挑战

背景概述

该数据集源于Hugging Face社区发起的Open LLM Leaderboard评测项目，旨在系统性地评估开源大语言模型的多任务能力。其创建时间可追溯至2023年，由Hugging Face团队主导，核心研究人员包括Clémentine等人。该数据集围绕一个关键研究问题展开：如何通过标准化、可复现的评测框架，客观衡量如vicuna-7b-v1.3-instruct-pl-lora_unload这类微调模型的真实性能。作为Open LLM Leaderboard的重要组成部分，该数据集为研究者提供了涵盖推理、常识、数学等多维度的细粒度结果，极大地推动了开源模型性能的透明化比较，对领域内模型迭代与基准测试的规范化产生了深远影响。

当前挑战

该数据集所面临的挑战主要体现在两个层面。在领域问题层面，其核心任务是解决大语言模型评测的标准化难题，包括如何设计覆盖广泛能力的任务集（如GSM8K数学推理、Winogrande常识推理），以及如何规避单一指标带来的偏差，确保评测结果能忠实反映模型在多样化场景下的泛化能力。在构建过程中，挑战则集中于数据管理的复杂性：需要处理来自不同时间戳的多次运行结果，并维护64个独立配置与相应分割的对应关系；同时，确保评测流程的自动化与结果的可复现性，避免因环境差异导致性能波动，这对数据管道的一致性和鲁棒性提出了严苛要求。

常用场景

经典使用场景

在开源大语言模型评估的蓬勃发展中，Open LLM Leaderboard上的评估数据集扮演着基准测试的关键角色。该数据集专为记录和复现vicuna-7b-v1.3-instruct-pl-lora_unload模型的评估过程而设计，其核心用途在于对模型在多种自然语言理解与推理任务上的表现进行细粒度量化分析。通过存储每个评估任务的详细配置与运行结果，研究者可精确回溯模型在ARC挑战集、DROP阅读理解、GSM8K数学推理及Winogrande常识推理等基准上的性能指标，从而系统性地比较不同微调策略或训练配置的优劣，为模型迭代提供坚实的数据支撑。

衍生相关工作

该数据集衍生了一系列关于模型评估标准化与自动化的重要工作。基于其结构化评估框架，研究者开发出更高效的评估流水线工具，如与LangChain和Hugging Face生态深度集成的自动化测试套件。此外，该数据集启发了对多任务联合评估方法论的研究，催生了类似Open LLM Leaderboard 2.0的升级版基准平台。相关衍生工作还包括对评估指标稳定性的分析，以及如何利用此类细粒度结果进行模型能力的多维画像构建，进一步推动了可解释性评估和模型鲁棒性研究的发展。

数据集最近研究

最新研究方向

在大型语言模型（LLM）评测领域，Open LLM Leaderboard 已成为衡量模型性能的权威基准平台。该数据集围绕 Vicuna-7B 模型的波兰语指令微调版本（vicuna-7b-v1.3-instruct-pl-lora_unload）展开，记录了其在 ARC、HellaSwag、MMLU、GSM8K 等多项经典任务上的详细评估结果。当前前沿研究方向聚焦于多语言与跨文化场景下的模型泛化能力，尤其是低资源语言（如波兰语）的指令遵循与推理表现。该工作与多语言 LLM 的公平性评测热点紧密相连，揭示了微调策略（如 LoRA）在保持基础能力的同时适配非英语语言的潜力。其意义在于为社区提供了可复现的细粒度评估框架，推动了对模型在非主流语言上鲁棒性的理解，并为未来多语言对齐研究奠定了数据基础。