open-llm-leaderboard-old/details_PulsarAI__EnsembleV5-Nova-13B
收藏Hugging Face2023-10-23 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_PulsarAI__EnsembleV5-Nova-13B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在模型PulsarAI/EnsembleV5-Nova-13B在Open LLM Leaderboard上的评估运行过程中自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为特定配置中的一个split，split以运行的时间戳命名。train split始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。
该数据集是在模型PulsarAI/EnsembleV5-Nova-13B在Open LLM Leaderboard上的评估运行过程中自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为特定配置中的一个split，split以运行的时间戳命名。train split始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。
原始信息汇总
数据集概述
数据集来源
该数据集是在模型 PulsarAI/EnsembleV5-Nova-13B 在 Open LLM Leaderboard 上的评估运行期间自动创建的。
数据集结构
- 数据集包含 64 个配置，每个配置对应一个评估任务。
- 数据集从 2 次运行中创建，每次运行可以在每个配置中作为一个特定的分片找到，分片名称使用运行的时间戳。
- "train" 分片始终指向最新的结果。
- 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_PulsarAI__EnsembleV5-Nova-13B", "harness_winogrande_5", split="train")
最新结果
以下是 2023-10-23T15:24:00.966689 运行的最新结果： python { "all": { "em": 0.007445469798657718, "em_stderr": 0.0008803652515899855, "f1": 0.08636220637583875, "f1_stderr": 0.0018310737230495444, "acc": 0.4350441276875584, "acc_stderr": 0.010249391454413254 }, "harness|drop|3": { "em": 0.007445469798657718, "em_stderr": 0.0008803652515899855, "f1": 0.08636220637583875, "f1_stderr": 0.0018310737230495444 }, "harness|gsm8k|5": { "acc": 0.10765731614859743, "acc_stderr": 0.008537484003023352 }, "harness|winogrande|5": { "acc": 0.7624309392265194, "acc_stderr": 0.011961298905803157 } }
配置详情
以下是部分配置的详细信息：
-
config_name: harness_arc_challenge_25
- split: 2023_10_03T19_22_59.151966
- path: **/details_harness|arc:challenge|25_2023-10-03T19-22-59.151966.parquet
- split: latest
- path: **/details_harness|arc:challenge|25_2023-10-03T19-22-59.151966.parquet
- split: 2023_10_03T19_22_59.151966
-
config_name: harness_drop_3
- split: 2023_10_23T15_24_00.966689
- path: **/details_harness|drop|3_2023-10-23T15-24-00.966689.parquet
- split: latest
- path: **/details_harness|drop|3_2023-10-23T15-24-00.966689.parquet
- split: 2023_10_23T15_24_00.966689
-
config_name: harness_gsm8k_5
- split: 2023_10_23T15_24_00.966689
- path: **/details_harness|gsm8k|5_2023-10-23T15-24-00.966689.parquet
- split: latest
- path: **/details_harness|gsm8k|5_2023-10-23T15-24-00.966689.parquet
- split: 2023_10_23T15_24_00.966689
-
config_name: harness_hellaswag_10
- split: 2023_10_03T19_22_59.151966
- path: **/details_harness|hellaswag|10_2023-10-03T19-22-59.151966.parquet
- split: latest
- path: **/details_harness|hellaswag|10_2023-10-03T19-22-59.151966.parquet
- split: 2023_10_03T19_22_59.151966
-
config_name: harness_hendrycksTest_5
- split: 2023_10_03T19_22_59.151966
- path:
- **/details_harness|hendrycksTest-abstract_algebra|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-anatomy|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-astronomy|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-business_ethics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-clinical_knowledge|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-college_biology|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-college_chemistry|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-college_computer_science|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-college_mathematics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-college_medicine|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-college_physics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-computer_security|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-conceptual_physics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-econometrics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-electrical_engineering|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-elementary_mathematics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-formal_logic|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-global_facts|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_biology|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_chemistry|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_computer_science|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_european_history|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_geography|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_mathematics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_physics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_psychology|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_statistics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_us_history|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-high_school_world_history|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-human_aging|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-human_sexuality|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-international_law|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-jurisprudence|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-logical_fallacies|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-machine_learning|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-management|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-marketing|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-medical_genetics|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-miscellaneous|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-moral_disputes|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-moral_scenarios|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-nutrition|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-philosophy|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-prehistory|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-professional_accounting|5_2023-10-03T19-22-59.151966.parquet
- **/details_harness|hendrycksTest-professional_law|5_2023-10-03T19-22-59.
- path:
- split: 2023_10_03T19_22_59.151966
搜集汇总
数据集介绍
构建方式
该数据集是在Open LLM Leaderboard平台上对PulsarAI/EnsembleV5-Nova-13B模型进行自动化评估过程中生成的。数据集由64个配置组成，每个配置对应一个评估任务，涵盖ARC挑战、DROP、GSM8K、HellaSwag、WinoGrande以及涵盖57个学科的HendrycksTest等基准。数据来源于两次评估运行，每次运行的结果以时间戳命名的分割形式存储，其中'train'分割始终指向最新结果。此外，一个名为'results'的独立配置汇总了所有运行的聚合指标，用于在排行榜上计算和展示综合性能。
使用方法
研究者可通过Hugging Face的datasets库便捷地加载该数据集。具体而言，使用load_dataset函数并指定配置名称（如'harness_winogrande_5'）和分割（如'train'或具体时间戳），即可获取特定任务的评估细节。例如，加载WinoGrande任务的最新结果，可通过data = load_dataset("open-llm-leaderboard/details_PulsarAI__EnsembleV5-Nova-13B", "harness_winogrande_5", split="train")实现。这种设计使得用户能够灵活地访问单个任务的细粒度数据或跨任务的聚合结果。
背景与挑战
背景概述
随着大语言模型（LLM）的迅猛发展，如何系统、公平地评估其综合能力成为学术界与工业界的核心议题。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在通过标准化评测基准（如ARC、HellaSwag、MMLU、GSM8K等）对开源模型进行多维度性能排名。该数据集记录了PulsarAI团队开发的EnsembleV5-Nova-13B模型在2023年10月的两次评估运行结果，涵盖从常识推理到复杂数学求解的64项任务配置。作为Open LLM Leaderboard生态的关键组成部分，这一数据集为模型开发者提供了细粒度性能剖析，推动了开源LLM的透明化比较与迭代优化。
当前挑战
该数据集面临的核心挑战在于评测任务的多样性与模型泛化能力之间的张力。EnsembleV5-Nova-13B在Winogrande（76.24%准确率）等常识推理任务上表现尚可，但在GSM8K数学推理（10.77%准确率）和DROP阅读理解（F1仅8.64%）上暴露了显著短板，凸显了当前模型在复杂推理与精确信息提取方面的系统性局限。此外，构建过程中需处理跨任务评测结果的不一致性——不同运行时间戳导致的数据版本管理、以及57个MMLU子领域评测结果的异构整合，对数据标准化与可复现性提出了严苛要求。
常用场景
经典使用场景
在自然语言处理领域，对大规模语言模型进行系统化评估是推动模型迭代与优化的重要环节。该数据集专为Open LLM Leaderboard设计，记录了PulsarAI/EnsembleV5-Nova-13B模型在多种基准任务上的详细评测结果，涵盖ARC挑战、DROP、GSM8K、HellaSwag、Winogrande以及涵盖57个学科的MMLU等任务。研究者可通过加载不同配置下的任务子集，获取模型在每项任务上的逐样本表现、准确率、F1分数等细粒度指标，从而深入分析模型的推理、常识、数学与知识掌握能力。这一标准化评估流程为横向比较不同架构与训练策略的模型提供了可靠的数据基础，是探索语言模型能力边界的关键工具。
解决学术问题
该数据集有效解决了大语言模型评估中普遍存在的基准不统一、结果不可复现的学术难题。通过结构化存储模型在多个权威基准上的评测细节，它使研究人员能够精确追溯模型在特定任务上的表现差异，从而诊断模型在推理、常识理解与知识应用等维度的优劣。这一机制促进了模型可解释性研究，并为理解模型泛化能力与偏见提供了量化依据。其影响在于推动了评估流程的标准化，加速了模型改进方向的识别，对构建更可靠、更透明的语言模型具有深远意义。
实际应用
在实际应用中，该数据集为模型选型与部署决策提供了关键参考。开发团队可通过分析模型在GSM8K上的数学推理能力或在Winogrande上的指代消解表现，评估其是否适合教育辅助、智能客服或自动化写作等场景。数据集中的细粒度结果还可用于识别模型在特定领域（如医学、法律）的薄弱环节，指导微调数据的收集与模型优化。此外，它支持持续集成流程，使企业能在模型更新后快速验证性能变化，确保部署模型的稳定与可靠。
数据集最近研究
最新研究方向
当前，大语言模型评估领域正经历从单一指标向多维能力图谱的范式转变。本数据集作为Open LLM Leaderboard对PulsarAI/EnsembleV5-Nova-13B模型的评测记录，其研究前沿聚焦于模型在常识推理、数学求解与知识掌握等维度的综合表现。值得注意的是，该模型在Winogrande任务上取得76.24%的准确率，彰显了其在解决指代消解与常识推理问题上的显著进步，而GSM8K数学任务中10.77%的准确率则揭示了复杂符号推理仍是当前模型的瓶颈。这一结果与业界对13B参数级别模型能力的讨论形成呼应——模型在知识密集型任务（如HendrycksTest涵盖的57个学科）上的表现，直接关联到开源社区对“中等规模模型能否匹敌更大参数模型”这一热点议题的探索。该数据集通过标准化评测流程与细粒度结果记录，为研究者提供了可复现的基准，推动了模型能力边界与评估方法论的双向演进。
以上内容由遇见数据集搜集并总结生成
