open-llm-leaderboard/details_upstage__llama-65b-instruct

该数据集是在Open LLM Leaderboard上对模型upstage/llama-65b-instruct进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由3次运行生成，每次运行的结果存储为特定配置中的一个分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，还有一个名为"results"的配置存储所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

This dataset was automatically created during the evaluation of the model upstage/llama-65b-instruct on the Open LLM Leaderboard. It comprises 64 configurations, each corresponding to a single evaluation task. The dataset is generated from three runs, where the results of each run are stored as a split under a specific configuration, with the split name being the timestamp of the corresponding run. The "train" split always points to the most recent results. Additionally, there is a configuration named "results" that stores the aggregated results of all runs, which are used to calculate and display the aggregated metrics on the Open LLM Leaderboard.

原始信息汇总

数据集概述

数据集摘要

该数据集是在对模型 upstage/llama-65b-instruct 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 3 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_upstage__llama-65b-instruct", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-24T19:27:31.642045 运行的最新结果： python { "all": { "em": 0.454383389261745, "em_stderr": 0.005099113352549085, "f1": 0.5468970218120836, "f1_stderr": 0.004699295426287538, "acc": 0.5364480517576576, "acc_stderr": 0.011564851426457474 }, "harness|drop|3": { "em": 0.454383389261745, "em_stderr": 0.005099113352549085, "f1": 0.5468970218120836, "f1_stderr": 0.004699295426287538 }, "harness|gsm8k|5": { "acc": 0.2623199393479909, "acc_stderr": 0.012116912419925702 }, "harness|winogrande|5": { "acc": 0.8105761641673244, "acc_stderr": 0.011012790432989247 } }

配置详情

• harness_arc_challenge_25

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|arc:challenge|25_2023-07-31T16:32:35.958499.parquet

• harness_drop_3

  • 分割：2023_10_17T01_44_05.835561, 2023_10_24T19_27_31.642045, latest
  • 路径：**/details_harness|drop|3_2023-10-17T01-44-05.835561.parquet, **/details_harness|drop|3_2023-10-24T19-27-31.642045.parquet

• harness_gsm8k_5

  • 分割：2023_10_17T01_44_05.835561, 2023_10_24T19_27_31.642045, latest
  • 路径：**/details_harness|gsm8k|5_2023-10-17T01-44-05.835561.parquet, **/details_harness|gsm8k|5_2023-10-24T19-27-31.642045.parquet

• harness_hellaswag_10

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hellaswag|10_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：多个路径，详见原文档

• harness_hendrycksTest_abstract_algebra_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_anatomy_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_astronomy_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_college_biology_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_college_physics_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_computer_security_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_econometrics_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-07-31T16:32:35.958499.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割：2023_07_31T16_32_35.958499, latest
  • 路径：**/details_harness|hendrycksTest-electrical_engineering|5_2023-07-31T16:32:35.958499.parquet

以上是数据集的详细概述，包括数据集的组成、加载示例、最新结果以及各个配置的详细信息。

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard 为模型性能的横向比较提供了标准化平台。该数据集正是针对 upstage/llama-65b-instruct 模型在执行 Leaderboard 全量评估任务时自动生成的副产品。其构建过程依托于多次独立的评测运行，每次运行均被系统自动捕获并转化为一个独立的数据分片，分片以运行时间戳命名。数据集共计包含 64 个配置项，每个配置对应一项具体的评测任务，例如 ARC-Challenge、DROP、GSM8K 等。此外，一个名为“results”的额外配置负责汇总所有运行的综合指标，用于在 Leaderboard 上展示最终聚合分数。每个配置下的“train”分片始终指向最新一次运行的结果，保证了数据时效性。

使用方法

使用者可通过 Hugging Face Datasets 库便捷地加载该数据集。加载时需指定目标配置名称，例如加载 Winogrande 任务的详情数据，应调用 load_dataset("open-llm-leaderboard/details_upstage__llama-65b-instruct", "harness_winogrande_5", split="train")。若需回溯历史运行结果，可将 split 参数替换为具体的时间戳字符串，从而获取该次评测的原始记录。对于需要分析模型整体性能的场景，可加载“results”配置，其中存储了所有任务聚合后的最终指标，便于进行宏观对比与模型排名分析。

背景与挑战

背景概述

该数据集源自Hugging Face社区发起的Open LLM Leaderboard项目，旨在系统评估大规模语言模型在多样化自然语言处理任务上的性能表现。由Hugging Face团队于2023年创建，核心研究人员包括Clémentine等人，数据集围绕upstage/llama-65b-instruct这一指令微调模型展开，记录了其在ARC、DROP、GSM8K、HellaSwag、MMLU及WinoGrande等基准上的评测结果。作为开源LLM评估体系的重要组成部分，该数据集为研究者提供了透明、可复现的模型性能对比依据，推动了语言模型标准化评测流程的发展，对理解指令微调模型在推理、常识与数学等领域的表现具有显著影响力。

当前挑战

该数据集所解决的领域问题在于，大语言模型评测缺乏统一、透明的标准化框架，不同研究采用的评估指标与任务集各异，导致模型性能难以横向比较。构建过程中面临多重挑战：一是评测任务覆盖范围广泛，需整合从常识推理到专业学科知识的64种配置，确保任务多样性与代表性；二是评测结果需跨多次运行（如2023年7月与10月的三次评测）进行一致性维护，数据版本管理复杂；三是模型输出的自动评估指标（如EM、F1、ACC）在不同任务间存在统计偏差，需精确计算标准误差以保障可靠性。

常用场景

经典使用场景

在大规模语言模型评测领域，该数据集作为Open LLM Leaderboard的评测结果归档库，为研究者提供了对upstage/llama-65b-instruct模型在多项基准任务上的细粒度性能分析。其经典使用场景涵盖对模型在ARC挑战赛、HellaSwag常识推理、MMLU多学科知识、GSM8K数学推理及Winogrande指代消解等任务上的表现进行系统性评估，通过加载不同配置下的评测数据，可深入探究模型在特定任务中的优势与短板。

解决学术问题

该数据集有效解决了大语言模型评测中结果可复现性与透明性不足的学术难题。通过标准化存储模型在64个任务配置上的详细评测记录，包括精确匹配率、F1分数及准确率等关键指标及其标准误差，为比较不同模型架构、训练策略及微调方法提供了统一基准。其意义在于推动了大语言模型性能评估的规范化进程，使得学术社区能够基于一致的数据基础进行公平对比与深入分析。

实际应用

在实际应用中，该数据集支持模型开发人员与工程师进行模型选型与部署决策。通过查阅llama-65b-instruct在DROP阅读理解任务上约54.7%的F1得分，以及在GSM8K数学推理任务上26.2%的准确率，开发者可判断该模型是否适合特定业务场景，如智能客服、教育辅导或知识问答系统。同时，数据集的时间戳记录机制允许追踪模型在不同迭代版本间的性能演进，为持续优化提供数据支撑。

数据集最近研究

最新研究方向

在大型语言模型（LLM）性能评估领域，Open LLM Leaderboard已成为衡量模型综合能力的权威基准。该数据集记录了upstage/llama-65b-instruct在多项任务上的评估结果，涵盖ARC挑战、DROP、GSM8K、HellaSwag及MMLU等核心基准。当前前沿研究方向聚焦于探究指令微调对65B参数级别模型泛化能力的提升效果，尤其是在数学推理（GSM8K）和常识推理（Winogrande）等关键任务上的表现。2023年10月的评估数据显示，该模型在Winogrande上达到81.06%的准确率，在DROP上F1分数为54.69%，反映了指令微调在提升复杂推理能力方面的显著成效。这一研究方向与LLM在学术和工业场景中的实际部署需求紧密相连，为理解模型在多样化任务中的行为模式提供了量化依据，对推动大模型的可信评估体系构建具有深远意义。