open-llm-leaderboard-old/details_lodrick-the-lafted__Hermes-Instruct-7B-100K

该数据集是在评估模型[lodrick-the-lafted/Hermes-Instruct-7B-100K](https://huggingface.co/lodrick-the-lafted/Hermes-Instruct-7B-100K)时自动生成的，评估过程在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上进行。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割以运行的时间戳命名。此外，数据集还包含一个名为"results"的配置，用于存储所有运行的聚合结果，并用于计算和显示在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的聚合指标。该数据集是在评估模型[lodrick-the-lafted/Hermes-Instruct-7B-100K](https://huggingface.co/lodrick-the-lafted/Hermes-Instruct-7B-100K)时自动生成的，评估过程在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上进行。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割以运行的时间戳命名。此外，数据集还包含一个名为"results"的配置，用于存储所有运行的聚合结果，并用于计算和显示在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的聚合指标。

原始信息汇总

数据集概述

数据集摘要

该数据集是在对模型 lodrick-the-lafted/Hermes-Instruct-7B-100K 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集由 63 个配置组成，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_lodrick-the-lafted__Hermes-Instruct-7B-100K", "harness_winogrande_5", split="train")

最新结果

以下是 2024-02-20T08:08:38.814549 运行的最新结果：

python { "all": { "acc": 0.6090324026750107, "acc_stderr": 0.03306627928563301, "acc_norm": 0.6132702932279503, "acc_norm_stderr": 0.0337325206267565, "mc1": 0.4614443084455324, "mc1_stderr": 0.017451384104637455, "mc2": 0.6362212933287348, "mc2_stderr": 0.015296863707374602 }, "harness|arc:challenge|25": { "acc": 0.5648464163822525, "acc_stderr": 0.014487986197186038, "acc_norm": 0.6151877133105802, "acc_norm_stderr": 0.014218371065251105 }, "harness|hellaswag|10": { "acc": 0.6383190599482175, "acc_stderr": 0.004795051037917733, "acc_norm": 0.8284206333399721, "acc_norm_stderr": 0.0037624392841951065 }, ... }

配置详情

• harness_arc_challenge_25

  • 分割：2024_02_20T08_08_38.814549
  • 路径：**/details_harness|arc:challenge|25_2024-02-20T08-08-38.814549.parquet
  • 分割：latest
  • 路径：**/details_harness|arc:challenge|25_2024-02-20T08-08-38.814549.parquet

• harness_gsm8k_5

  • 分割：2024_02_20T08_08_38.814549
  • 路径：**/details_harness|gsm8k|5_2024-02-20T08-08-38.814549.parquet
  • 分割：latest
  • 路径：**/details_harness|gsm8k|5_2024-02-20T08-08-38.814549.parquet

• harness_hellaswag_10

  • 分割：2024_02_20T08_08_38.814549
  • 路径：**/details_harness|hellaswag|10_2024-02-20T08-08-38.814549.parquet
  • 分割：latest
  • 路径：**/details_harness|hellaswag|10_2024-02-20T08-08-38.814549.parquet

• harness_hendrycksTest_5

  • 分割：2024_02_20T08_08_38.814549
  • 路径：
    • **/details_harness|hendrycksTest-abstract_algebra|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-anatomy|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-astronomy|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-business_ethics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-clinical_knowledge|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_biology|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_chemistry|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_computer_science|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_mathematics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_medicine|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_physics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-computer_security|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-conceptual_physics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-econometrics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-electrical_engineering|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-elementary_mathematics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-formal_logic|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-global_facts|5_2024-02-20T08-08-38.814549.parquet
    • ...
  • 分割：latest
  • 路径：
    • **/details_harness|hendrycksTest-abstract_algebra|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-anatomy|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-astronomy|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-business_ethics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-clinical_knowledge|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_biology|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_chemistry|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_computer_science|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_mathematics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_medicine|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-college_physics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-computer_security|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-conceptual_physics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-econometrics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-electrical_engineering|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-elementary_mathematics|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-formal_logic|5_2024-02-20T08-08-38.814549.parquet
    • **/details_harness|hendrycksTest-global_facts|5_2024-02-20T08-08-38.814549.parquet
    • ...

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评估框架下，针对lodrick-the-lafted/Hermes-Instruct-7B-100K模型自动生成的评估记录。数据集由63个配置组成，每个配置对应一项被评估的任务。所有数据源自一次运行，每次运行的结果以时间戳命名的分割形式存储于各配置中，而名为"train"的分割始终指向最新一次的评估结果。此外，一个名为"results"的附加配置用于汇总所有运行的聚合指标，这些指标被用于Open LLM Leaderboard上的综合性能展示。

使用方法

用户可通过Hugging Face的datasets库便捷加载数据。例如，使用`load_dataset`函数指定数据集名称和具体配置（如"harness_winogrande_5"），并选择分割（如"train"）即可获取最新结果。对于历史数据，可通过时间戳对应的分割名称进行回溯。聚合结果则可通过"results"配置整体加载。这种标准化接口降低了使用门槛，使研究者能高效地复现评估或开展对比分析。

背景与挑战

背景概述

在大型语言模型（LLM）蓬勃发展的浪潮中，如何系统性地评估模型在多样化任务上的综合表现，已成为推动该领域前进的核心议题。Open LLM Leaderboard作为HuggingFace社区发起的一项关键举措，旨在通过标准化基准测试，为不同模型提供公平、可复现的性能对标。该数据集正是围绕模型lodrick-the-lafted/Hermes-Instruct-7B-100K在Leaderboard上的评估过程而自动生成的，创建于2024年，由HuggingFace团队主导，核心研究问题在于量化该指令微调模型在涵盖常识推理、数学求解、知识问答及伦理判断等63项任务上的泛化能力。通过记录详细的评估细节与聚合结果，该数据集为研究者深入剖析模型在复杂场景下的优势与短板提供了宝贵资源，进而对LLM评估范式的标准化产生了积极影响。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：LLM评估需覆盖从ARC挑战赛、HellaSwag到GSM8K数学推理及MMLU多学科知识等广泛任务，单一模型难以在所有维度上取得均衡表现，例如Hermes-Instruct-7B-100K在抽象代数（acc=0.34）和高中数学（acc=0.31）上表现薄弱，揭示了模型在逻辑与数学推理上的固有局限。此外，构建过程中亦存在显著挑战：评估结果依赖于特定运行时间戳（如2024-02-20T08:08:38）和配置参数（如few-shot数量），不同次运行间的结果一致性需严格保障；同时，63个独立配置的管理与数据文件的组织，要求精密的自动化流程以避免碎片化，且最新结果与历史版本的分割机制增加了数据追踪与复现的难度。

常用场景

经典使用场景

在大型语言模型（LLM）评估领域，该数据集作为Open LLM Leaderboard的标准化评测记录，承载了Hermes-Instruct-7B-100K模型在63项任务上的细粒度性能数据。研究者常利用其按任务分层的配置结构，复现模型在ARC挑战、HellaSwag常识推理、GSM8K数学问题及涵盖57个学科领域的MMLU测试中的表现。通过加载特定任务子集（如winogrande指代消解），可精准分析模型在不同能力维度上的优劣，为模型迭代提供量化基准。

解决学术问题

该数据集系统性地解决了LLM评测中结果碎片化与不可复现的学术痛点。它将单次评估的原始得分、标准误差及归一化指标结构化存储，使研究者能追溯特定时间戳下的完整评估过程，避免因评测版本更迭导致的结论偏差。其多任务聚合机制（如准确率均值0.609）为模型能力的横向对比提供了统计学依据，推动了LLM评估范式的标准化进程，尤其对指令微调模型在知识推理与诚实性（TruthfulQA）之间的权衡研究具有方法论价值。

实际应用

在实际应用中，该数据集可作为模型选型的决策工具。开发者通过对比Hermes-Instruct-7B-100K在高中地理（77.8%）、市场营销（88.0%）等任务上的高准确率，可快速判断其在教育问答、商业文案生成等垂直场景的适配性。同时，GSM8K数学（44.0%）与大学数学（34.0%）的得分差异揭示了模型在复杂符号推理上的局限，指导企业优先将其部署于弱逻辑依赖的对话系统而非金融风控等严苛场景。

数据集最近研究

最新研究方向

在大型语言模型（LLM）性能评估领域，Hermes-Instruct-7B-100K模型在Open LLM Leaderboard上的评测结果揭示了当前研究的前沿动态。该数据集聚焦于通过标准化基准（如ARC-Challenge、HellaSwag、GSM8K及涵盖57个学科的MMLU）对指令微调模型进行多维度能力量化。前沿方向集中在对模型推理、世界知识及数学能力的细粒度剖析，特别是其在高阶任务（如大学数学、形式逻辑）上展现的局限与潜力。该研究紧密关联LLM在科学推理与教育辅助中的热点应用，其意义在于为模型迭代提供可复现的对比基准，推动构建更透明、可靠的评估体系，从而引导未来模型在复杂认知任务上的优化路径。