open-llm-leaderboard/details_Locutusque__Hercules-4.0-Yi-34B

该数据集是在评估模型Locutusque/Hercules-4.0-Yi-34B时自动创建的，评估过程在Open LLM Leaderboard上进行。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行的结果可以在每个配置的特定分割中找到，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集名称

• Evaluation run of Locutusque/Hercules-4.0-Yi-34B

数据集描述

• 创建目的：该数据集是在评估模型Locutusque/Hercules-4.0-Yi-34B的过程中自动创建的。
• 评估平台：数据集相关信息发布于Open LLM Leaderboard。
• 数据结构：数据集包含63个配置，每个配置对应一个评估任务。
• 数据来源：数据集由1次运行创建，每次运行对应一个特定的分割，分割名称基于运行的时间戳。
• 特别配置：存在一个名为"results"的配置，用于存储所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Locutusque__Hercules-4.0-Yi-34B", "harness_winogrande_5", split="train")

最新结果

• 结果来源：latest results from run 2024-04-03T05:58:24.923222
• 结果内容：包括多个任务的评估结果，如准确率(acc)、标准误差(acc_stderr)等。

数据集配置详情

配置列表

1. harness_arc_challenge_25

   • 数据文件：
     • 时间戳分割：2024_04_03T05_58_24.923222
     • 最新分割：latest
     • 文件路径：/details_harness|arc:challenge|25_2024-04-03T05-58-24.923222.parquet

2. harness_gsm8k_5

   • 数据文件：
     • 时间戳分割：2024_04_03T05_58_24.923222
     • 最新分割：latest
     • 文件路径：/details_harness|gsm8k|5_2024-04-03T05-58-24.923222.parquet

3. harness_hellaswag_10

   • 数据文件：
     • 时间戳分割：2024_04_03T05_58_24.923222
     • 最新分割：latest
     • 文件路径：/details_harness|hellaswag|10_2024-04-03T05-58-24.923222.parquet

4. harness_hendrycksTest_5

   • 数据文件：
     • 时间戳分割：2024_04_03T05_58_24.923222
     • 最新分割：latest
     • 文件路径：包含多个子任务的文件路径，如**/details_harness|hendrycksTest-abstract_algebra|5_2024-04-03T05-58-24.923222.parquet**等。

以上配置详细描述了数据集的结构、内容和加载方式，以及各个配置的具体数据文件信息。

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard 为模型性能的标准化评估提供了重要基准。该数据集源自对 Locutusque/Hercules-4.0-Yi-34B 模型的一次完整评测运行，由 Hugging Face 团队自动生成。数据集构建过程围绕 63 个评测任务展开，每个任务对应一个独立的配置项，涵盖 ARC-Challenge、HellaSwag、GSM8K、TruthfulQA 等经典基准以及涵盖 57 个学科领域的 MMLU 测试。每次评测运行的结果被存储为特定时间戳命名的数据集分割，而“train”分割则始终指向最新运行的结果。额外配置“results”汇聚了所有任务的聚合指标，用于在排行榜上计算和展示模型的综合性能。

特点

该数据集呈现出鲜明的结构化与动态更新特征。其核心优势在于多任务覆盖的全面性，从常识推理、数学解题到多学科知识问答，能够多维度评估模型能力。每个配置项均包含详细的评测结果，如准确率及其标准误差，并细分为不同指标（如 acc、acc_norm、mc1、mc2），为深入分析模型表现提供了粒度化数据。多次运行的结果以独立分割形式共存，支持纵向对比，而“latest”分割确保用户总能获取最新评测数据。这种设计兼顾了历史追溯与实时更新的需求，为模型迭代研究提供了可靠的数据支撑。

使用方法

借助 Hugging Face Datasets 库，用户可以便捷地加载该数据集进行深入分析。具体而言，通过 load_dataset 函数指定数据集名称与目标配置（如“harness_winogrande_5”），并选择“train”分割即可获取最新评测结果。若需回溯特定历史运行，可依据时间戳分割名称加载对应数据。对于希望复现排行榜结果或比较不同模型表现的研究者，该数据集提供了直接的接口，能够轻松提取任务级别的准确率与统计误差，从而进行细致的性能剖析与可视化工作。

背景与挑战

背景概述

随着大语言模型（LLM）技术的迅猛发展，如何系统、公正地评估模型性能成为学界与工业界共同关注的核心议题。Open LLM Leaderboard 由 Hugging Face 团队于2023年发起，旨在为开源社区提供一个标准化、透明的模型评测平台。该数据集记录了 Locutusque/Hercules-4.0-Yi-34B 模型在 Leaderboard 上的完整评估结果，涵盖 ARC、HellaSwag、MMLU、TruthfulQA、Winogrande 和 GSM8K 等多项基准任务。通过自动化的评测流程，该数据集不仅为模型开发者提供了细粒度的性能反馈，还推动了 LLM 评估范式的规范化，对理解模型在常识推理、知识掌握与数学求解等维度的能力边界具有重要参考价值。

当前挑战

当前数据集所反映的核心挑战在于大语言模型评估的全面性与公平性。一方面，现有基准如 MMLU 虽覆盖57个学科，但模型在抽象代数、大学数学等任务上准确率不足50%，暴露出其在复杂推理与专业领域知识上的局限；另一方面，构建过程中需处理多任务、多配置的并行评测，确保63个配置下的数据一致性、结果可复现性及最新结果的动态更新，对数据管线的鲁棒性提出严峻考验。此外，模型在 TruthfulQA 上的 mc1 准确率仅36.5%，凸显了生成内容真实性与事实一致性这一尚未解决的难题，亟待更精细的评估指标与对抗性测试集来突破瓶颈。

常用场景

经典使用场景

该数据集专为评估大型语言模型在多样化自然语言理解与推理任务上的表现而设计，是Open LLM Leaderboard生态中的核心评测数据载体。其经典使用场景在于对特定模型（如Hercules-4.0-Yi-34B）进行多维度、标准化的性能测评，涵盖ARC-Challenge、HellaSwag、GSM8K、WinoGrande及TruthfulQA等基准测试。通过加载不同配置下的任务子集，研究者可系统性地分析模型在常识推理、数学解题、事实一致性等方面的能力，为模型迭代与对比提供量化依据。

解决学术问题

该数据集有效解决了大语言模型评估中缺乏统一、可复现基准的学术难题。传统研究常因评测任务分散、指标不透明而难以横向比较模型优劣，而此数据集通过结构化存储评测结果与原始细节，使得研究者能够精准定位模型在特定子任务上的优势与短板。其意义在于推动了模型性能的透明化与标准化评估，为理解模型泛化能力、鲁棒性及知识边界提供了可靠的数据支撑，进而引领了语言模型评测方法论的系统性演进。

衍生相关工作

该数据集衍生了一系列围绕大语言模型评测的经典工作，包括Open LLM Leaderboard榜单的持续更新与扩展，以及基于其评测结果发起的模型优化研究。例如，研究者利用该数据集中的细粒度错误分析，提出了针对性训练策略来提升模型在数学推理（GSM8K）与常识问答（ARC）上的表现。此外，该数据集还催生了多种跨模型对比分析工具与可视化平台，推动了社区对模型能力边界的系统性探索，并成为后续评测数据集构建的重要参考范式。