open-llm-leaderboard/details_PulsarAI__GenAI-Nova-13B
收藏Hugging Face2023-10-29 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard/details_PulsarAI__GenAI-Nova-13B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在Open LLM Leaderboard上对模型PulsarAI/GenAI-Nova-13B进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例。
This dataset was automatically created during the evaluation of the model PulsarAI/GenAI-Nova-13B on the Open LLM Leaderboard. The dataset consists of 64 configurations, each corresponding to an evaluation task. It is generated from 2 runs, where each run is represented as a specific split within each configuration. The train split always points to the most recent results. In addition, there is a results configuration that stores the aggregated results from all runs, which are used to calculate and display the aggregated metrics on the Open LLM Leaderboard. The README also provides examples of how to use the `load_dataset` function from the `datasets` library to load the dataset.
提供机构：
open-llm-leaderboard原始信息汇总
数据集概述
该数据集是在对模型 PulsarAI/GenAI-Nova-13B 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。
数据集组成
- 数据集包含 64 个配置，每个配置对应一个评估任务。
- 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
- "train" 分割始终指向最新的结果。
- 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_PulsarAI__GenAI-Nova-13B", "harness_winogrande_5", split="train")
最新结果
以下是 2023-10-29T14:58:59.300779 运行的最新结果：
python { "all": { "em": 0.10769714765100671, "em_stderr": 0.003174664916131534, "f1": 0.18815016778523358, "f1_stderr": 0.0033317211011039192, "acc": 0.4254059872915611, "acc_stderr": 0.009560931288960338 }, "harness|drop|3": { "em": 0.10769714765100671, "em_stderr": 0.003174664916131534, "f1": 0.18815016778523358, "f1_stderr": 0.0033317211011039192 }, "harness|gsm8k|5": { "acc": 0.07733131159969674, "acc_stderr": 0.007357713523222347 }, "harness|winogrande|5": { "acc": 0.7734806629834254, "acc_stderr": 0.01176414905469833 } }
配置详情
以下是数据集的部分配置详情：
-
harness_arc_challenge_25
- 分割：2023_10_08T15_05_19.512883
- 路径：
**/details_harness|arc:challenge|25_2023-10-08T15-05-19.512883.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|arc:challenge|25_2023-10-08T15-05-19.512883.parquet
- 路径：
- 分割：2023_10_08T15_05_19.512883
-
harness_drop_3
- 分割：2023_10_29T14_58_59.300779
- 路径：
**/details_harness|drop|3_2023-10-29T14-58-59.300779.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|drop|3_2023-10-29T14-58-59.300779.parquet
- 路径：
- 分割：2023_10_29T14_58_59.300779
-
harness_gsm8k_5
- 分割：2023_10_29T14_58_59.300779
- 路径：
**/details_harness|gsm8k|5_2023-10-29T14-58-59.300779.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|gsm8k|5_2023-10-29T14-58-59.300779.parquet
- 路径：
- 分割：2023_10_29T14_58_59.300779
-
harness_hellaswag_10
- 分割：2023_10_08T15_05_19.512883
- 路径：
**/details_harness|hellaswag|10_2023-10-08T15-05-19.512883.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|hellaswag|10_2023-10-08T15-05-19.512883.parquet
- 路径：
- 分割：2023_10_08T15_05_19.512883
-
harness_hendrycksTest_5
- 分割：2023_10_08T15_05_19.512883
- 路径：
**/details_harness|hendrycksTest-abstract_algebra|5_2023-10-08T15-05-19.512883.parquet**/details_harness|hendrycksTest-anatomy|5_2023-10-08T15-05-19.512883.parquet- ...
- 路径：
- 分割：latest
- 路径：
**/details_harness|hendrycksTest-abstract_algebra|5_2023-10-08T15-05-19.512883.parquet**/details_harness|hendrycksTest-anatomy|5_2023-10-08T15-05-19.512883.parquet- ...
- 路径：
- 分割：2023_10_08T15_05_19.512883
搜集汇总
数据集介绍
构建方式
在大型语言模型评估领域，该数据集是专为Open LLM Leaderboard上PulsarAI/GenAI-Nova-13B模型的自动化评测而构建的。其构建方式基于多次运行（run），每次运行对应一个独立的时间戳，并作为数据集内各配置（configuration）的一个分割（split）。数据集共包含64个配置，每个配置与一个评估任务相对应，例如harness_winogrande_5、harness_drop_3等。所有运行的聚合结果被存储于一个名为“results”的额外配置中，用于计算和展示排行榜上的综合指标。数据集文件采用Parquet格式存储，确保了高效的数据读取与处理能力。
使用方法
使用者可通过HuggingFace的datasets库便捷地加载该数据集。加载时需指定配置名称（如“harness_winogrande_5”）和分割名称（如“train”或时间戳对应的分割）。例如，执行`load_dataset("open-llm-leaderboard/details_PulsarAI__GenAI-Nova-13B", "harness_winogrande_5", split="train")`即可获取最新运行结果。若需回溯历史评估，可选用具体时间戳作为分割，如"2023_10_29T14_58_59.300779"。此外，通过加载"results"配置，可一键获取所有任务上的聚合评估指标，便于进行整体性能分析。
背景与挑战
背景概述
随着大规模语言模型（LLMs）在自然语言处理领域的迅猛发展，如何系统性地评估其多维度能力成为了研究热点。由Hugging Face社区主导的Open LLM Leaderboard应运而生，旨在为全球研究者提供一个公平、透明的模型性能比较平台。该数据集记录了对PulsarAI/GenAI-Nova-13B模型在2023年10月进行的两次评估运行结果，涵盖ARC挑战、DROP、GSM8K、HellaSwag、WinoGrande及Hendrycks测试等64项配置任务，覆盖推理、常识、数学及专业知识等多个维度。作为开源评测生态的重要组成部分，该数据集不仅为模型开发者提供了可复现的基准参考，还推动了LLM评估标准化的进程，其影响力贯穿模型迭代与学术研究，成为衡量13B参数级别模型能力的标杆之一。
当前挑战
该数据集所解决的领域问题在于，LLM评测长期面临任务碎片化与结果不可复现的困境。具体挑战包括：1）多任务评估的异构性，如DROP的精确匹配（EM）与F1分数、GSM8K的准确率等指标需统一纳入分析框架，而Hendrycks测试涵盖57个学科，对模型跨领域泛化能力构成严峻考验；2）评估过程的动态性，两次运行的时间戳差异（2023年10月8日与29日）可能导致模型版本或环境配置的微小变动，影响结果一致性；3）数据构建的复杂性，64个配置各自对应独立Parquet文件，需通过多拆分（如latest与时间戳命名）管理历史版本，确保数据追溯的准确性，这对存储与加载效率提出了额外要求。
常用场景
经典使用场景
在大型语言模型评估领域，该数据集作为Open LLM Leaderboard的标准化评测组件，核心用途在于对GenAI-Nova-13B模型进行多维度能力检验。它整合了ARC挑战赛、DROP阅读理解、GSM8K数学推理、HellaSwag常识推理以及涵盖57个学科的MMLU基准测试，通过统一的评测框架量化模型在推理、知识储备与语言理解层面的表现。研究人员可借助该数据集复现模型在特定任务上的精确得分，并横向对比不同模型间的性能差异。
解决学术问题
该数据集系统性地解决了大语言模型评估中存在的碎片化与不可复现问题。传统上，模型评测常因评测标准不一、数据版本混乱而导致结果难以横向比较。该数据集通过标准化配置与版本控制机制，为学术社区提供了可追溯、可复现的评估基准。其涵盖的多种任务类型使得研究者能够深入剖析模型在推理能力、世界知识掌握及语言理解方面的缺陷，从而推动模型架构优化与训练策略改进。
实际应用
在实际应用中，该数据集为模型选型与部署提供了量化依据。企业或开发者可依据该数据集中的评测结果，判断GenAI-Nova-13B在特定场景下的适用性，例如在客服系统中评估其常识推理能力，或在教育辅助中检验其数学解题水平。此外，该数据集的标准化输出格式便于自动化流水线集成，能够持续监控模型迭代过程中的性能变化，为模型更新与版本管理提供数据支撑。
数据集最近研究
最新研究方向
在大型语言模型（LLM）性能评估领域，开放式排行榜（Open LLM Leaderboard）已成为衡量模型综合能力的重要基准。针对PulsarAI/GenAI-Nova-13B模型的评估数据集，其研究前沿聚焦于多任务、多维度下的模型鲁棒性与泛化能力分析。该数据集覆盖了从常识推理（如ARC挑战）、数学问题求解（GSM8K）到复杂文本理解（DROP）等64项细分任务，尤其关注模型在零样本或少样本场景下的表现。近期热点包括利用该数据集追踪模型在时间序列上的性能演化，以及通过细粒度指标（如精确匹配F1分数）揭示模型在特定领域（如医学、法律）的短板。这一研究方向不仅推动了LLM在真实世界应用中的可靠性评估，也为模型迭代提供了量化依据，对构建更透明、可复现的AI评测体系具有里程碑意义。
以上内容由遇见数据集搜集并总结生成
