open-llm-leaderboard-old/details_PulsarAI__Nebula-7B

Name: open-llm-leaderboard-old/details_PulsarAI__Nebula-7B
Creator: open-llm-leaderboard-old
Published: 2023-10-23 05:55:10
License: 暂无描述

Hugging Face2023-10-23 更新2024-06-22 收录

下载链接：

https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_PulsarAI__Nebula-7B

下载链接

链接失效反馈

官方服务：

资源简介：

该数据集是在Open LLM Leaderboard上对PulsarAI/Nebula-7B模型进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个被评估的任务。数据集是从2次运行中生成的，每次运行在每个配置中表示为特定的分割，分割名称由运行的时间戳命名。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的指标。README还提供了如何使用`datasets`库加载数据集的示例，并包含了特定运行的最新结果。

提供机构：

open-llm-leaderboard-old

原始信息汇总

数据集概述

数据集来源

该数据集是在评估模型 PulsarAI/Nebula-7B 在 Open LLM Leaderboard 上的自动创建的。

数据集结构

数据集包含 64 个配置，每个配置对应一个评估任务。
数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
"train" 分割始终指向最新的结果。
额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_PulsarAI__Nebula-7B", "harness_winogrande_5", split="train")

配置详情

harness_arc_challenge_25
- 分割: 2023_10_09T12_29_36.965037
- 路径: **/details_harness|arc:challenge|25_2023-10-09T12-29-36.965037.parquet
- 分割: latest
- 路径: **/details_harness|arc:challenge|25_2023-10-09T12-29-36.965037.parquet
harness_drop_3
- 分割: 2023_10_23T05_54_57.990759
- 路径: **/details_harness|drop|3_2023-10-23T05-54-57.990759.parquet
- 分割: latest
- 路径: **/details_harness|drop|3_2023-10-23T05-54-57.990759.parquet
harness_gsm8k_5
- 分割: 2023_10_23T05_54_57.990759
- 路径: **/details_harness|gsm8k|5_2023-10-23T05-54-57.990759.parquet
- 分割: latest
- 路径: **/details_harness|gsm8k|5_2023-10-23T05-54-57.990759.parquet
harness_hellaswag_10
- 分割: 2023_10_09T12_29_36.965037
- 路径: **/details_harness|hellaswag|10_2023-10-09T12-29-36.965037.parquet
- 分割: latest
- 路径: **/details_harness|hellaswag|10_2023-10-09T12-29-36.965037.parquet
harness_hendrycksTest_5
- 分割: 2023_10_09T12_29_36.965037
- 路径:
  - **/details_harness|hendrycksTest-abstract_algebra|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-anatomy|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-astronomy|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-business_ethics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-clinical_knowledge|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-college_biology|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-college_chemistry|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-college_computer_science|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-college_mathematics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-college_medicine|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-college_physics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-computer_security|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-conceptual_physics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-econometrics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-electrical_engineering|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-elementary_mathematics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-formal_logic|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-global_facts|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_biology|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_chemistry|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_computer_science|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_european_history|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_geography|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_mathematics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_physics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_psychology|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_statistics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_us_history|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-high_school_world_history|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-human_aging|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-human_sexuality|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-international_law|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-jurisprudence|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-logical_fallacies|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-machine_learning|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-management|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-marketing|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-medical_genetics|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-miscellaneous|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-moral_disputes|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-moral_scenarios|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-nutrition|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-philosophy|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-prehistory|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-professional_accounting|5_2023-10-09T12-29-36.965037.parquet
  - **/details_harness|hendrycksTest-professional_law|5_2023-10-09T12-29-36.965037.parquet
  - `**/details_harness|hendrycksTest-professional_medicine|5_2023-10-09T

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard 作为权威的基准平台，为模型性能的透明化评估提供了关键支撑。该数据集是专为评测模型 PulsarAI/Nebula-7B 在 Leaderboard 上的表现而自动生成的产物。其构建方式基于两次独立的评测运行，每次运行的结果被组织为数据集中的特定分割（split），并以运行时间戳命名，便于追溯。数据集共包含 64 个配置（configuration），每个配置对应一项具体的评测任务，例如 ARC-Challenge、DROP、GSM8K 等。此外，还设有一个名为“results”的独立配置，用于汇总所有运行的整体指标，这些聚合结果直接用于 Leaderboard 上最终分数的计算与展示。数据以 Parquet 格式存储，确保高效存取。

特点

该数据集最显著的特质在于其结构化的多任务覆盖与版本化追踪能力。64 个配置全面囊括了从常识推理（如 HellaSwag）到数学求解（如 GSM8K）、从知识问答（如 MMLU 的 57 个子领域）到阅读理解（如 Winogrande）等多样化评测维度，为模型能力的细粒度剖析提供了丰富素材。每个配置下均包含按时间戳命名的历史运行分割以及始终指向最新结果的“latest”分割，这种设计既保留了评测历史的完整性，又简化了最新数据的获取。数据集中还存储了详细的逐样本结果，使得研究者能够深入分析模型在不同样本上的表现差异，而不仅仅是宏观指标。

使用方法

使用该数据集进行模型性能分析时，研究者可通过 Hugging Face 的 datasets 库便捷加载。例如，通过指定配置名称（如 "harness_winogrande_5"）和分割（如 "train" 以获取最新结果），即可调用 load_dataset 函数获取对应任务的详细评测数据。对于需要跨任务对比的场景，可依次遍历各配置并加载相应分割，从而构建全面的性能矩阵。若需回溯历史版本，只需将分割参数替换为具体的时间戳字符串即可。此外，"results" 配置提供了所有任务的聚合指标，适合快速获取模型整体表现概览。数据格式为 Parquet，支持高效的列式查询与过滤操作。

背景与挑战

背景概述

在大规模语言模型迅猛发展的浪潮中，如何系统性地评估模型在多样化任务上的泛化能力成为学界与工业界共同关注的焦点。Open LLM Leaderboard应运而生，由HuggingFace团队于2023年创建，旨在为开源社区提供一个公正、透明的模型性能对比平台。该项目通过集成涵盖推理、常识、数学及多领域知识等维度的标准化评测基准，如ARC-Challenge、GSM8K、HellaSwag、MMLU及WinoGrande等，为研究者提供了统一的度量标尺。本数据集正是该评测体系下的一个具体实例，记录了PulsarAI团队开发的Nebula-7B模型在2023年10月间两次评估运行中的详细结果。Nebula-7B作为一款70亿参数规模的模型，其表现不仅反映了当前中等规模开源模型的典型能力边界，也为后续模型优化与基准演进提供了宝贵的实证数据，对推动自然语言处理领域的可重复性研究具有重要参考价值。

当前挑战

该数据集所应对的核心领域挑战在于，语言模型评估的碎片化与不可复现性长期困扰着研究社区。不同研究机构采用迥异的评测脚本、数据集版本及采样策略，导致模型性能的横向对比缺乏公信力。构建过程中，技术团队需解决多源异构评测任务的统一集成难题，例如将MMLU中涵盖从抽象代数到病毒学的57个学科子集、以及DROP等需要精确数值匹配的阅读理解任务，纳入同一自动化流水线。此外，评测结果的时间戳管理、不同运行轮次间的数据版本控制、以及海量parquet格式评测细节文件的高效存储与检索，均构成工程实现上的显著挑战。更棘手的是，如何确保评测指标（如精确匹配与F1分数）在跨任务间保持统计一致性，同时避免由于随机种子或采样噪声导致的性能波动，从而为社区提供可信赖的基准参照。

常用场景

经典使用场景

在大型语言模型（LLM）评估领域，该数据集作为Open LLM Leaderboard的评测记录载体，被广泛用于标准化模型性能的横向对比。研究者通过加载特定任务配置（如ARC挑战、GSM8K数学推理或Winogrande常识推理），获取模型在统一基准下的细粒度表现，从而量化模型在推理、知识储备及语言理解等维度的能力。其结构化存储方式支持对多次评测结果的追溯与聚合分析，成为LLM迭代优化中不可或缺的参照基准。

实际应用

在实际应用中，该数据集为模型选型与部署决策提供了实证支撑。企业或开发者可依据评测结果筛选出在特定领域（如医学知识、法律推理）表现优异的模型，用于构建垂直场景的智能系统。同时，评测数据的公开透明性促进了模型质量的可信度验证，降低了技术选型中的试错成本，例如在客服机器人或教育辅导等场景中，通过对比Winogrande的常识推理得分来预估模型的交互可靠性。

衍生相关工作

基于该数据集，衍生出多项推动LLM评估标准化的重要工作。例如，Open LLM Leaderboard本身成为社区公认的基准平台，催生了针对评估任务难度校准的研究；部分工作利用其细粒度结果分析模型在HendrycksTest等学科知识测试中的泛化边界，进而提出知识增强训练策略。此外，评测数据的时序记录特性被用于追踪模型版本迭代的性能演变，为持续学习与模型退化研究提供了实证数据基础。

以上内容由遇见数据集搜集并总结生成