open-llm-leaderboard-old/details_GeorgiaTechResearchInstitute__galactica-6.7b-evol-instruct-70k

该数据集是在评估模型GeorgiaTechResearchInstitute/galactica-6.7b-evol-instruct-70k在Open LLM Leaderboard上的表现时自动生成的。数据集包含3个配置，每个配置对应一个评估任务。数据集由一个运行生成，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。该数据集是在评估模型GeorgiaTechResearchInstitute/galactica-6.7b-evol-instruct-70k在Open LLM Leaderboard上的表现时自动生成的。数据集包含3个配置，每个配置对应一个评估任务。数据集由一个运行生成，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集卡片 for Evaluation run of GeorgiaTechResearchInstitute/galactica-6.7b-evol-instruct-70k

数据集描述

数据集概述

数据集是在模型 GeorgiaTechResearchInstitute/galactica-6.7b-evol-instruct-70k 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集由3个配置组成，每个配置对应一个评估任务。

数据集从1次运行中创建。每次运行可以在每个配置中找到一个特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

一个额外的配置 "results" 存储所有运行的聚合结果（并用于计算和显示 Open LLM Leaderboard 上的聚合指标）。

要加载运行的详细信息，可以执行以下操作： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_GeorgiaTechResearchInstitute__galactica-6.7b-evol-instruct-70k", "harness_winogrande_5", split="train")

最新结果

以下是 2023-09-22T18:49:08.232237 运行的最新结果（注意，如果连续评估没有覆盖相同的任务，仓库中可能会有其他任务的结果。你可以在每个评估的 "results" 和 "latest" 分割中找到每个任务的结果）：

python { "all": { "em": 0.03838087248322147, "em_stderr": 0.0019674269651511014, "f1": 0.12162856543624175, "f1_stderr": 0.0024752721568615517, "acc": 0.28326869809409316, "acc_stderr": 0.00781704702542305 }, "harness|drop|3": { "em": 0.03838087248322147, "em_stderr": 0.0019674269651511014, "f1": 0.12162856543624175, "f1_stderr": 0.0024752721568615517 }, "harness|gsm8k|5": { "acc": 0.0037907505686125853, "acc_stderr": 0.0016927007401501821 }, "harness|winogrande|5": { "acc": 0.5627466456195738, "acc_stderr": 0.013941393310695918 } }

搜集汇总

数据集介绍

构建方式

该数据集源于对GeorgiaTechResearchInstitute/galactica-6.7b-evol-instruct-70k模型在Open LLM Leaderboard上进行的一次评估运行。数据集由三个配置组成，每个配置对应一项被评估的任务，如DROP、GSM8K和Winogrande。每个评估运行的结果被存储为特定分割，分割名称采用运行时间戳命名，其中“train”分割始终指向最新结果。此外，还设有“results”配置，用于存储所有聚合的评估指标，以支持排行榜上的可视化展示。

特点

数据集的核心特点在于其结构化的评估记录方式，它忠实复现了模型在多个自然语言理解与推理任务上的表现。每个配置独立存储对应任务的详细结果，包括精确匹配率、F1分数和准确率等关键指标及其标准误差。时间戳分割的设计使得研究人员可以回溯不同运行阶段的结果，便于纵向对比模型性能的演变。聚合结果配置则提供了全局视角，便于快速把握模型整体能力。

使用方法

使用该数据集时，可通过HuggingFace的datasets库加载。用户需指定配置名称（如harness_winogrande_5）和分割（如train），即可获取对应任务的评估详情。例如，调用load_dataset函数并传入数据集标识符、配置名和分割参数，即可获得包含模型在特定任务上输出的Parquet格式数据。最新结果可通过指向“latest”分割直接访问，而历史运行结果则通过时间戳分割进行检索。

背景与挑战

背景概述

在大型语言模型（LLM）迅猛发展的时代，如何系统性地评估模型在多样化任务上的表现成为学术界与工业界共同关注的焦点。Open LLM Leaderboard由Hugging Face团队于2023年创建，旨在为开源LLM提供标准化、可复现的评测基准。本数据集即是对Georgia Tech Research Institute开发的galactica-6.7b-evol-instruct-70k模型在2023年9月22日进行的一次评估运行记录。该模型基于Galactica架构，通过进化指令微调技术增强其科学推理能力。数据集涵盖三个核心评测任务：DROP（离散推理）、GSM8K（数学应用题）和Winogrande（常识推理），其评估结果不仅反映了模型在推理、数学与常识理解维度的能力边界，也为后续研究提供了可比较的基线参考，对推动LLM评测体系的透明化与标准化具有重要价值。

当前挑战

该数据集所承载的挑战首先体现在领域问题的复杂性上：LLM评测需同时应对多种推理类型，如DROP任务要求模型在嘈杂文本中精确抽取数值并执行离散运算，GSM8K考验多步数学推理的连贯性，而Winogrande则依赖对隐性常识的精准把握，三者对模型能力的要求截然不同。从构建过程来看，挑战集中于评测流程的可重复性与数据一致性：每次评估运行需严格对齐任务配置（如few-shot样本数）、硬件环境与随机种子，任何偏差都可能导致结果失真；同时，数据集采用时间戳分割管理多次运行结果，如何确保“latest”分割始终指向最新有效数据、避免旧版本污染对比分析，成为数据维护中的关键难题。

常用场景

经典使用场景

在大型语言模型的评估体系中，该数据集作为Open LLM Leaderboard的标准化评测工具，承载了对GeorgiaTechResearchInstitute/galactica-6.7b-evol-instruct-70k模型的系统性性能度量。其经典使用场景涵盖三个核心任务配置：DROP阅读理解、GSM8K数学推理以及Winogrande指代消解，通过精确记录模型在各任务上的准确率、F1分数与精确匹配指标，为研究者提供了可复现的基准测试框架。该数据集以时间戳划分运行批次，确保每次评估结果的独立性与可追溯性，成为模型迭代优化与横向对比的权威参考。

解决学术问题

该数据集有效回应了大型语言模型评估中普遍存在的标准化缺失与结果不可复现等学术难题。通过将评测结果结构化存储于统一配置中，它解决了不同研究团队因评测环境差异导致的性能比较困境，为自然语言处理领域提供了透明的量化依据。其意义在于推动了模型评估范式的规范化，使得Galactica系列等科学领域大模型在阅读理解、数学推理与常识推理等维度的能力边界得以清晰界定，进而促进了基于实证的模型改进策略，对提升AI系统的鲁棒性与泛化能力产生了深远影响。

衍生相关工作

该数据集衍生出的相关工作主要集中于模型性能追踪与评估方法学创新。基于其提供的标准化评测结果，研究者提出了多种模型能力可视化工具与深度学习模型比较框架，例如利用时间戳分片进行模型进化趋势分析。同时，该数据集催生了针对科学领域大模型（如Galactica系列）的专项研究，探讨指令微调策略对推理能力的影响，并衍生出任务难度自适应评估协议。此外，其与Open LLM Leaderboard的紧密耦合关系，为后续构建更大规模的模型竞技场与多维度评测基准奠定了数据基础，推动了开放科学评价体系的演进。