open-llm-leaderboard-old/details_Locutusque__Hyperion-2.0-Yi-34B

该数据集是在模型Locutusque/Hyperion-2.0-Yi-34B在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。它包含1次运行的结果，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用datasets库加载数据集的示例，并包含了特定运行的最新结果。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型 Locutusque/Hyperion-2.0-Yi-34B 在 Open LLM Leaderboard 上的自动创建的。数据集包含 63 个配置，每个配置对应一个评估任务。

数据集结构

数据集由 1 次运行创建，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

额外配置

一个额外的配置 "results" 存储了所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Locutusque__Hyperion-2.0-Yi-34B", "harness_winogrande_5", split="train")

最新结果

以下是 最新结果 的摘要：

python { "all": { "acc": 0.7556279602672477, "acc_stderr": 0.028204936421836208, "acc_norm": 0.7605576976803771, "acc_norm_stderr": 0.02873099940778838, "mc1": 0.3953488372093023, "mc1_stderr": 0.017115815632418194, "mc2": 0.5529839160462177, "mc2_stderr": 0.01494979176313861 }, "harness|arc:challenge|25": { "acc": 0.6143344709897611, "acc_stderr": 0.014224250973257174, "acc_norm": 0.643344709897611, "acc_norm_stderr": 0.013998056902620194 }, "harness|hellaswag|10": { "acc": 0.6547500497908784, "acc_stderr": 0.004744780201276634, "acc_norm": 0.856602270464051, "acc_norm_stderr": 0.0034976171082184136 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.42, "acc_stderr": 0.049604496374885836, "acc_norm": 0.42, "acc_norm_stderr": 0.049604496374885836 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.7703703703703704, "acc_stderr": 0.03633384414073465, "acc_norm": 0.7703703703703704, "acc_norm_stderr": 0.03633384414073465 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.8881578947368421, "acc_stderr": 0.02564834125169361, "acc_norm": 0.8881578947368421, "acc_norm_stderr": 0.02564834125169361 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.79, "acc_stderr": 0.040936018074033256, "acc_norm": 0.79, "acc_norm_stderr": 0.040936018074033256 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.7849056603773585, "acc_stderr": 0.025288394502891366, "acc_norm": 0.7849056603773585, "acc_norm_stderr": 0.025288394502891366 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.8819444444444444, "acc_stderr": 0.026983346503309354, "acc_norm": 0.8819444444444444, "acc_norm_stderr": 0.026983346503309354 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.51, "acc_stderr": 0.05024183937956912, "acc_norm": 0.51, "acc_norm_stderr": 0.05024183937956912 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.63, "acc_stderr": 0.048523658709391, "acc_norm": 0.63, "acc_norm_stderr": 0.048523658709391 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.47, "acc_stderr": 0.05016135580465919, "acc_norm": 0.47, "acc_norm_stderr": 0.05016135580465919 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.7052023121387283, "acc_stderr": 0.03476599607516478, "acc_norm": 0.7052023121387283, "acc_norm_stderr": 0.03476599607516478 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.49019607843137253, "acc_stderr": 0.04974229460422817, "acc_norm": 0.49019607843137253, "acc_norm_stderr": 0.04974229460422817 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.83, "acc_stderr": 0.03775251680686371, "acc_norm": 0.83, "acc_norm_stderr": 0.03775251680686371 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.7659574468085106, "acc_stderr": 0.02767845257821239, "acc_norm": 0.7659574468085106, "acc_norm_stderr": 0.02767845257821239 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.5350877192982456, "acc_stderr": 0.046920083813689104, "acc_norm": 0.5350877192982456, "acc_norm_stderr": 0.046920083813689104 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.8068965517241379, "acc_stderr": 0.032894455221274016, "acc_norm": 0.8068965517241379, "acc_norm_stderr": 0.032894455221274016 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.6428571428571429, "acc_stderr": 0.024677862841332783, "acc_norm": 0.6428571428571429, "acc_norm_stderr": 0.024677862841332783 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.5873015873015873, "acc_stderr": 0.04403438954768176, "acc_norm": 0.5873015873015873, "acc_norm_stderr": 0.04403438954768176 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.51, "acc_stderr": 0.05024183937956911, "acc_norm": 0.51, "acc_norm_stderr": 0.05024183937956911 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.8838709677419355, "acc_stderr": 0.018225757949432306, "acc_norm": 0.8838709677419355, "acc_norm_stderr": 0.018225757949432306 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.6305418719211823, "acc_stderr": 0.03395970381998573, "acc_norm": 0.6305418719211823, "acc_norm_stderr": 0.03395970381998573 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.82, "acc_stderr": 0.038612291966536955, "acc_norm": 0.82, "acc_norm_stderr": 0.038612291966536955 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.8727272727272727, "acc_stderr": 0.026024657651656194, "acc_norm": 0.8727272727272727, "acc_norm_stderr": 0.026024657651656194 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.8888888888888888, "acc_stderr": 0.02239078763821677, "acc_norm": 0.8888888888888888, "acc_norm_stderr": 0.02239078763821677 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.9740932642487047, "acc_stderr": 0.01146452335695318, "acc_norm": 0.9740932642487047, "acc_norm_stderr": 0.01146452335695318 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.7948717948717948, "acc_stderr": 0.020473233173551965, "acc_norm": 0.7948717948717948, "acc_norm_stderr": 0.020473233173551965 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.44814814814814813, "acc_stderr": 0.030321167196316286, "acc_norm": 0.44814814814814813, "acc_norm_stderr": 0.030321167

搜集汇总

数据集介绍

构建方式

在大型语言模型评估的学术实践中，Open LLM Leaderboard为模型性能的量化分析提供了标准化平台。该数据集源自对Locutusque/Hyperion-2.0-Yi-34B模型的一次完整评估运行，通过自动化流程采集了63个独立配置的评测结果。每个配置对应一项具体任务，其数据以Parquet格式存储，并以运行时间戳作为拆分标识，同时设立'train'拆分以指向最新评估数据。此外，还构建了名为'results'的聚合配置，用于汇总并展示所有任务的综合指标，为排行榜的指标计算与可视化呈现提供了结构化支撑。

特点

该数据集在结构设计上展现出高度的系统性与可追溯性。其核心特色在于将多维度评估任务解耦为独立配置，涵盖了从常识推理（如ARC、HellaSwag）到数学求解（如GSM8K）及专业知识问答（如MMLU系列）等广泛领域。每个配置内均包含精确的准确率及标准误差指标，确保了评估结果的统计严谨性。数据的时间戳拆分机制使得研究者能够回溯历史评估记录，而'latest'拆分的设置则保障了数据更新的即时性与便捷性，为模型性能的动态追踪提供了理想的数据基础设施。

使用方法

借助HuggingFace Datasets库，研究者可便捷地加载该数据集以进行深度分析。具体而言，通过`load_dataset`函数指定数据集名称及目标配置，例如`load_dataset('open-llm-leaderboard/details_Locutusque__Hyperion-2.0-Yi-34B', 'harness_winogrande_5', split='train')`，即可获取特定任务的评估细节。配置名称遵循'harness_{任务名}_{few-shot数量}'的命名规范，便于用户根据研究需求精准定位。加载后的数据可直接用于复现排行榜结果、比较不同模型在特定任务上的表现，或作为元分析的数据源，支撑关于模型能力边界与评估方法论的研究探索。

背景与挑战

背景概述

随着大规模语言模型（LLM）的迅猛发展，如何系统性地评估其多维能力成为学界与工业界关注的焦点。在此背景下，HuggingFace社区于2023年推出了Open LLM Leaderboard，旨在通过标准化基准测试为不同模型提供可复现的性能对比。本数据集正是该排行榜自动生成的评估记录，针对研究者Locutusque所开发的Hyperion-2.0-Yi-34B模型（基于零一万物Yi-34B架构的微调版本），于2024年3月11日完成的一次完整评测。该数据集整合了63项细粒度任务配置，涵盖常识推理（如ARC-Challenge）、数学求解（GSM8K）、多学科知识（MMLU的57个学科子集）及对抗性真实性测试（TruthfulQA）等核心维度，为探究34B参数级别模型的综合能力边界提供了详实的量化依据。其结构化存储方式支持按时间戳回溯历史评估结果，对追踪模型迭代性能演变具有重要参考价值。

当前挑战

该数据集所反映的核心挑战在于多维度评估体系的构建与标准化。一方面，LLM评测需覆盖从基础推理到专业知识的广谱能力，但不同任务间的难度差异与评分一致性难以调和，例如模型在HellaSwag（85.7%归一化准确率）与高中物理（50.3%）上表现悬殊，凸显了能力分布的非均衡性。另一方面，构建过程面临动态基准维护的困境：评测任务需随模型能力演进持续迭代，而固定任务集易导致“基准过拟合”。此外，数据集的63个独立配置虽提升了粒度，却增加了跨任务结果聚合与比较的复杂性，如TruthfulQA的多选指标（MC1仅39.5%）与生成式评估的衔接问题尚未妥善解决。同时，单次评估的统计噪声（如部分MMLU子任务标准误超过5%）也要求更严谨的多次采样验证机制。

常用场景

经典使用场景

在大型语言模型（LLM）性能评估领域，该数据集作为Open LLM Leaderboard的标准化评测结果存储库，被广泛用于衡量模型在多维度任务上的综合能力。它涵盖了ARC Challenge、HellaSwag、MMLU（涵盖57个学科子集）、TruthfulQA、Winogrande和GSM8K等经典基准测试，通过统一的评测框架记录模型在推理、常识理解、知识问答、数学求解等任务上的表现。研究者可便捷地加载特定任务的细粒度结果，例如从'harness_winogrande_5'配置中获取代词消歧任务的准确率与标准误差，从而对模型在特定能力维度上的优劣进行深入剖析。

解决学术问题

该数据集系统性地解决了LLM评估中结果碎片化与复现困难的核心学术问题。传统上，不同研究团队采用各异的数据集版本、评测脚本和超参数，导致模型性能对比缺乏公信力。此数据集通过统一记录每次评测运行的完整配置与原始输出，为学术社区提供了可追溯、可复现的评估基准。其存储的63个任务配置涵盖了从基础推理到专业领域知识的广泛维度，使研究者能够精准定位模型在特定学科（如解剖学、天文学）或能力（如数学推理、伦理判断）上的优势与短板，从而推动对模型泛化能力和知识边界的系统性认知。

衍生相关工作

该数据集衍生了一系列重要的学术与工程工作。Open LLM Leaderboard本身已成为社区公认的模型能力风向标，催生了大量关于评测方法论的研究，例如针对MMLU中学科平衡性的讨论以及Few-shot提示策略对结果的影响分析。基于该数据集，研究者开发了自动化模型性能追踪工具，能够实时监控新提交模型在历史基准上的表现趋势。同时，该数据集的细粒度结果被用于训练性能预测模型，通过元学习预估未评测模型在不同任务上的潜在表现，从而加速模型筛选流程。这些衍生工作共同构建了LLM评估生态的良性循环。